课程特色：
规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态、打通数据服务层、以及如何应用用户标签和效果评估
实操性强：每章案例都进行详细的分析和开发过程讲解，附有相应的分析报告、文档以及代码。通过在搭建的虚拟机环境中执行任务，帮助学习者更好地理解工程上的实现方式和实现细节
课程大纲：
第一章：用户画像基础知识
1、开发用户画像需要掌握的能力
2、实际案例-用户画像及其应用规划说明
3、实际案例-用户标签应用实施方案说明
4、实际案例-工程开发代码
5、需要开发的表及表结构设计
第二章：用户标签指标体系
1、用户属性维度指标体系
2、用户行为维度指标体系
3、用户消费维度指标体系
4、用户风控维度指标体系
5、标签口径及数据调研分析
6、标签命名方式小结
第三章： 搭建开发环境
1、搭建虚拟机开发环境及节点间互信
2、HDFS的安装及应用场景
3、zookeeper的安装及应用场景
4、yarn的安装及应用场景
5、Hbase的安装及应用场景
6、MySQL的安装及应用场景
7、sqoop的安装及应用场景
8、kafka的安装及应用场景
9、Spark的安装及应用场景
第四章：标签数据存储
1、Hive存储及应用特点
2、MySQL存储及应用特点
3、Hbase存储数据及应用特点
4、为什么用不同数据库存储标签数据
第五章：标签数据开发
1、数据仓库基础知识
2、统计类标签开发案例
3、规则类别标签开发案例
4、挖掘类别标签开发案例
5、流式计算标签开发(1)-kafka介绍
6、流式计算标签开发(2)-streaming的Receiver模式与Direct模式
7、流式计算标签开发(4)-记录消费的offset
8、流式计算标签开发(5)-Spark Streaming上线工程化
第六章：开发性能调优
1、数据倾斜调优
2、Hive合并小文件
3、使用Spark缓存(cache、persist、checkpoint)
4、开发中间表
第七章：作业流程调度
1、crontab命令调度
2、airflow调度-基础概念
3、airflow调度-安装
4、airflow调度-主要功能模块
5、airflow调度-工作流调度
6、airflow调度-工程案例
7、标签数据监控预警(Hive、MySQL、Hbase)
8、ETL异常问题排查及解决方案
第八章： 用户画像产品化
1、标签视图与标签查询
2、标签编辑管理
3、自定义查询与人群圈定
4、维透视分析功能
第九章：用户画像应用
1、业务数据分析
2、精准营销(短信、邮件)
3、推荐系统中应用
【用户画像|用户画像】百度网盘
推荐阅读
- 项目方案|【用户画像】从0到1掌握用户画像知识体系
- spark|spark 数据框 删除列_【学习笔记】大数据运维实战
- 开发|python数据分析之Numpy
- python数据分析|【python数据分析】numpy创建数组
- 机器学习|Pandas 学习
- 大数据|数据读取与保存Sequence文件_大数据培训
- spark|Spark SQL的自定义函数UDF
- 数据仓库|如何保障数仓数据质量（）
- 数据仓库|Hive、SparkSQL是如何决定写文件的数量的（）