[实例]网站日志分析项目案例 [实例]网站日志分析项目案例

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析
http://www.tuicool.com/m/articles/nABN3yI
一、借助Hive进行统计
1.1 准备工作：建立分区表
为了能够借助Hive进行统计分析，首先我们需要将清洗后的数据存入Hive中，那么我们需要先建立一张表。这里我们选择分区表，以日期作为分区的指标，建表语句如下：（这里关键之处就在于确定映射的HDFS位置，我这里是/project/techbbs/cleaned即清洗后的数据存放的位置）
hive>CREATE EXTERNAL TABLE techbbs(ip string, atime string, url string) PARTITIONED BY (logdate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/project/techbbs/cleaned';
建立了分区表之后，就需要增加一个分区，增加分区的语句如下：（这里主要针对20150425这一天的日志进行分区）
hive>ALTER TABLE techbbs ADD PARTITION(logdate='2015_04_25') LOCATION '/project/techbbs/cleaned/2015_04_25';
【[实例]网站日志分析项目案例】（5）将所有关键指标放入一张汇总表中以便于通过Sqoop导出到MySQL
为了方便通过Sqoop统一导出到MySQL，这里我们借助一张汇总表将刚刚统计到的结果整合起来，通过表连接结合，HQL代码如下：
hive>CREATE TABLE techbbs_2015_04_25 AS SELECT '2015_04_25', a.pv, b.reguser, c.ip, d.jumper FROM techbbs_pv_2015_04_25 a JOIN techbbs_reguser_2015_04_25 b ON 1=1 JOIN techbbs_ip_2015_04_25 c ON 1=1 JOIN techbbs_jumper_2015_04_25 d ON 1=1;

文章图片
Paste_Image.png

[实例]网站日志分析项目案例

推荐阅读

svm智能模型算法的算法分析

lpr对房贷利率的影响你知道多少

德国威能壁挂炉停水怎么办,我们如何解决故障?

中国十大电饭煲品牌排行榜电饭煲哪个品牌的好

儿子结婚请柬邀请函怎么写结婚请柬电子邀请函怎么做

游戏战斗系统redis

怎么吃石斛效果最佳

花猫乐租怎么借款？申请入口流程详细介绍

吉利帝豪gl雨刮器调节帝豪gl更换雨刮器

口腔厌氧菌感染的症状怎么引起的口腔厌氧菌感染的症状怎么引起的图片

山东属不属于平原地区山东属于平原地区吗

ios的代码，苹果手机注册id时候代码是什么代码怎么填

在梦里爱你汤雷的歌曲在梦里爱你的歌词

番荔枝糖尿病人能吃吗释迦果糖尿病人可以吃吗

关于vb.net获取当前小时的信息

北京年度最低工资标准，北京今年最低工资标准

阿奇侬黑糖珍珠味雪糕全家多少钱一个阿奇侬黑糖珍珠味雪糕好吃吗

荣耀80gt

秋天丰收的句子

怎么提高蚂蚁借呗额度蚂蚁借呗提升额度技巧