数据清洗|数据清洗——黑马程序员（学习笔记）
1 抽取CSV文件
1.1 打开Kettle工具，创建转换 通过使用Kettle工具，创建一个转换csv_extract，并添加“CSV文件输入”控件、“表输出”控件以及Hop跳连接线，具体如图所示。
文章图片
图1 创建转换
1.2配置CSV文件输入控件 1）双击“CSV文件输入”控件，进入“CSV文件输入”界面。
文章图片
图2 csv配置
2）单击【浏览】按钮，选择要抽取的文件csv_extract.csv。
文章图片
图3 选择
3）单击【获取字段】按钮，Kettle自动检索CSV文件，并对文件中的字段类型、格式、长度、精度等属性进行分析。
文章图片
图4 获取字段
4）单击【预览】按钮，查看文件csv_extract.csv的数据是否抽取到CSV文件输入流中。
文章图片
图5 预览
1.3 配置表输出控件 1）双击“表输出”控件，进入“表输出”控件的配置界面。
文章图片
图6 表输入设置
2）单击目标表右侧的【浏览】按钮，获取目标表，即数据表csv；勾选“指定数据库字段”的复选框。
文章图片
图7 浏览
3）单击“数据库字段”选项卡,再单击【输入字段映射】按钮，弹出“映射匹配”对话框,将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。
文章图片
图8 映射匹配
4）“表输出”控件配置的最终效果，具体如图所示。
文章图片
图9 表输出配置最终效果
1.4 运行csv_extract转换 1）单击转换工作区顶部的运行按钮，运行创建的csv_extract转换。
文章图片
图10 运行
1.5 查看csv数据表中的数据 1）通过SQLyog工具，查看数据表csv是否已成功插入100行数据。
文章图片
图11 结果
2 抽取JSON文件 2.1 创建转换
1）通过使用Kettle工具，创建一个转换json_extract，并添加“JSON input”控件、“表输出”控件以及Hop跳连接线，具体如图所示。
文章图片
2.2 配置JSON文件输入控件
2）双击“JSON input”控件，进入“JSON输入”界面。
文章图片
3）单击【浏览】按钮，选择要抽取的JSON文件json_extract.json；单击【增加】按钮，将所选择的文件添加到“选中的文件和目录”处。
【数据清洗|数据清洗——黑马程序员（学习笔记）】
文章图片
4）单击“字段”选项卡，添加要抽取的数据字段（这里采用分层抽取数据字段，先抽取id和data字段，再从data字段中抽取field和value字段）。
文章图片
5）双击“JSON input 2”控件，进入“JSON输入”界面。并勾选“源定义在一个字段里？”的复选框；在“从字段获取源”处的下拉框中选择字段名，即data。
文章图片
5）单击“字段”选项卡；添加从字段data中抽取的field和value字段。
文章图片
2.3 配置表输出控件
1）双击“表输出”控件，进入“表输出”配置界面。
文章图片
2）单击【新建】按钮，配置数据库连接，配置完成后单击【确认】按钮。
文章图片
3）单击目标表右侧的【浏览】按钮，选择输出的目标表，即数据表json；勾选“指定数据库字段”的复选框，用于将数据表json的字段与JSON文件json_extract.json中的字段进行匹配。
文章图片
4）单击“数据库字段”选项卡，再单击【输入字段映射】按钮，弹出“映射匹配”对话框，将“源字段”选项框的字段和“目标字段”选项框对应的字段进行映射匹配。
文章图片
5）“表输出”控件配置的最终效果，具体如图所示。
文章图片
2.4 运行转换json_extract
1）单击转换工作区顶部的运行按钮，运行创建的json_extract转换
文章图片
文章图片
推荐阅读
- 急于表达——往往欲速则不达
- 慢慢的美丽
- Docker应用:容器间通信与Mariadb数据库主从复制
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量
- 2019-02-13——今天谈梦想（）
- 考研英语阅读终极解决方案——阅读理解如何巧拿高分
- Ⅴ爱阅读，亲子互动——打卡第178天
- 低头思故乡——只是因为睡不着
- 取名——兰
- 每日一话（49）——一位清华教授在朋友圈给大学生的9条建议