黑猴子的家(Sqoop|黑猴子的家:Sqoop 命令&参数:import)
【黑猴子的家(Sqoop|黑猴子的家:Sqoop 命令&参数:import)】将关系型数据库中的数据导入到HDFS(包括Hive,HBase)中,如果导入的是Hive,那么当Hive中没有对应表时,则自动创建。
序号 | 参数 | 说明 |
---|---|---|
1 | --append | 将数据追加到HDFS中已经存在的DataSet中,如果使用该参数,sqoop会把数据先导入到临时文件目录,再合并。 |
2 | --as-avrodatafile | 将数据导入到一个Avro数据文件中 |
3 | --as-sequencefile | 将数据导入到一个sequence文件中 |
4 | --as-textfile | 将数据导入到一个普通文本文件中 |
5 | --boundary-query | 边界查询,导入的数据为该参数的值(一条sql语句)所执行的结果区间内的数据。 |
6 | --columns |
指定要导入的字段 |
7 | --direct | 直接导入模式,使用的是关系数据库自带的导入导出工具,以便加快导入导出过程。 |
8 | --direct-split-size | 在使用上面direct直接导入的基础上,对导入的流按字节分块,即达到该阈值就产生一个新的文件 |
9 | --inline-lob-limit | 设定大对象数据类型的最大值 |
10 | --m或–num-mappers | 启动N个map来并行导入数据,默认4个。 |
11 | --query或--e | 将查询结果的数据导入,使用时必须伴随参--target-dir,--hive-table,如果查询中有where条件,则条件后必须加上$CONDITIONS关键字 |
12 | --split-by |
按照某一列来切分表的工作单元,不能与--autoreset-to-one-mapper连用(请参考官方文档) |
13 | --table |
关系数据库的表名 |
14 | --target-dir |
指定HDFS路径 |
15 | --warehouse-dir |
与14参数不能同时使用,导入数据到HDFS时指定的目录 |
16 | --where | 从关系数据库导入数据时的查询条件 |
17 | --z或--compress | 允许压缩 |
18 | --compression-codec | 指定hadoop压缩编码类,默认为gzip(Use Hadoop codec default gzip) |
19 | --null-string |
string类型的列如果null,替换为指定字符串 |
20 | --null-non-string |
非string类型的列如果null,替换为指定字符串 |
21 | --check-column |
作为增量导入判断的列名 |
22 | --incremental |
mode:append或lastmodified |
23 | --last-value |
指定某一个值,用于标记增量导入的位置 |
推荐阅读
- 热闹中的孤独
- JAVA(抽象类与接口的区别&重载与重写&内存泄漏)
- 放屁有这三个特征的,请注意啦!这说明你的身体毒素太多
- 一个人的旅行,三亚
- 布丽吉特,人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事,我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量