Hive基本操作之用户访问次数统计 Hive基本操作之用户访问次数统

前言 【Hive基本操作之用户访问次数统计】根据对用户ID、访问日期、访问次数的若干条数据，分析得出每个用户的累计访问次数，涉及字符串替换、时间函数、开窗、求和等技术。
1. 假如有用户访问数据（用户ID，访问日期，访问次数）

userId	visitDate	visitCount
u01	2017/1/21	5
u02	2017/1/23	6
u03	2017/1/22	8
u04	2017/1/20	3
u01	2017/1/23	6
u01	2017/2/21	8
u02	2017/1/23	6
u01	2017/2/22	4

2. 希望得到每个月用户的访问累计次数

用户id	月份	小计	累积
u01	2017-01	11	11
u01	2017-02	12	23
u02	2017-01	12	12
u03	2017-01	8	8
u04	2017-01	3	3

3. 启动hive，选库，建表

create table action (userId string, visitDate string, visitCount int) row format delimited fields terminated by "\t";

4. 将数据导入表

load data local inpath '/data/action.dat' into table action;

5. 转换日期字符串为标准格式

select userId, date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn, visitCount from action;

userid	mn	visitcount
u01	2017-01	5
u02	2017-01	6
u03	2017-01	8
u04	2017-01	3
u01	2017-01	6
u01	2017-02	8
u02	2017-01	6
u01	2017-02	4

6. 计算每人单月访问量

select userId, mn, sum(visitCount) mn_count from (select userId, date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn, visitCount from action) as t1 group by userId,mn;

userid	mn	mn_count
u01	2017-01	11
u01	2017-02	12
u02	2017-01	12
u03	2017-01	8
u04	2017-01	3

7. 按月累计访问量

select userId, mn, mn_count, sum(mn_count) over(partition by userId order by mn) from (select userId, mn, sum(visitCount) mn_count from (select userId, date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn, visitCount from action) as t1 group by userId,mn) as t2;