hbase export 使用小技巧

【hbase export 使用小技巧】在工作中经常使用hbase的export功能来导出数据,在此总结几种小技巧:
建议导出的数据先放到hdfs上,再从hdfs上拿下来
之前经常使用如下命令进行数据备份:

hbase org.apache.hadoop.hbase.mapreduce.Export backup_table file:///opt/backup_table


使用单机版做此操作是没有问题的,但是当使用多机版的hbase的时候,如果你的系统中有多个mapreduce的tasktracker。那么数据会被导出到多台机器(每个tasktracker)的local目录。 所以在使用export 命令在进行导出操作时,建议现将数据导出到hdfs中,然后再将数据从hdfs中获取下来:
# 默认不写file://的时候就是导出到hdfs上了 hbase org.apache.hadoop.hbase.mapreduce.Export backup_table /tmp/backup_table hadoop dfs -get /tmp/backup_table /opt/backup_table



导出时可以限制scanner.batch的大小
如果在hbase中的一个row出现大量的数据,那么导出时会报出ScannerTimeoutException的错误。 这时候需要设置hbase.export.scaaner.batch 这个参数。这样导出时的错误就可以避免了。
hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.export.scanner.batch=2000 backup_table /tmp/backup_table


为了节省空间可以使用compress选项
hbase的数据导出的时候,如果不适用compress的选项,数据量的大小可能相差5倍。因此使用compress的选项,备份数据的时候是可以节省不少空间的。 并且本人测试了compress选项的导出速度,和无此选项时差别不大(几乎无差别):
hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.export.scanner.batch=2000 -D mapred.output.compress=true backup_table /tmp/backup_table



    推荐阅读