[实例]网站日志分析项目案例 [实例]网站日志分析项目案例

Hadoop学习笔记—20.网站日志分析项目案例（三）统计分析
http://www.tuicool.com/m/articles/nABN3yI
一、借助Hive进行统计
1.1 准备工作：建立分区表
为了能够借助Hive进行统计分析，首先我们需要将清洗后的数据存入Hive中，那么我们需要先建立一张表。这里我们选择分区表，以日期作为分区的指标，建表语句如下：（这里关键之处就在于确定映射的HDFS位置，我这里是/project/techbbs/cleaned即清洗后的数据存放的位置）
hive>CREATE EXTERNAL TABLE techbbs(ip string, atime string, url string) PARTITIONED BY (logdate string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LOCATION '/project/techbbs/cleaned';
建立了分区表之后，就需要增加一个分区，增加分区的语句如下：（这里主要针对20150425这一天的日志进行分区）
hive>ALTER TABLE techbbs ADD PARTITION(logdate='2015_04_25') LOCATION '/project/techbbs/cleaned/2015_04_25';
【[实例]网站日志分析项目案例】（5）将所有关键指标放入一张汇总表中以便于通过Sqoop导出到MySQL
为了方便通过Sqoop统一导出到MySQL，这里我们借助一张汇总表将刚刚统计到的结果整合起来，通过表连接结合，HQL代码如下：
hive>CREATE TABLE techbbs_2015_04_25 AS SELECT '2015_04_25', a.pv, b.reguser, c.ip, d.jumper FROM techbbs_pv_2015_04_25 a JOIN techbbs_reguser_2015_04_25 b ON 1=1 JOIN techbbs_ip_2015_04_25 c ON 1=1 JOIN techbbs_jumper_2015_04_25 d ON 1=1;

文章图片
Paste_Image.png

[实例]网站日志分析项目案例

推荐阅读

家庭自制榨菜腌制方法家庭自制榨菜腌制方法窍门

网站内部优化分析

云顶之弈魔幻AOE卡牌流阵容搭配分享魔幻AOE卡牌流玩法技巧

肛裂会自愈吗？

#支教之行#打球篇

入伏要注意什么 2021入伏就是出梅了吗

跨境电商是做什么的电商属于什么端，关于电商

学美发多久能学成呢？

幼猫感冒吃什么药猫感冒吃什么药

QVE音频剪辑软件怎么剪辑音频？

气虚会对月经有影响吗

安卓边框渐变,边框line可设置为渐变颜色或仅显示一种颜色

Apollo热发布配置

王者训练营怎么关冷却时间

陆绎八岁了是什么梗

拍一拍有什么用处

焦作市是什么气候

男人吃什么对肾脏好

西游记与本草纲目不得不说的秘密本草纲目

佳能G9X相机照相黑色是怎么回事