hbase 写入性能优化之旅

参考 http://hbasefly.com/2016/12/10/hbase-parctice-write/?oijmty=ucuvq1

  • 1、一张表,一个列族,一个列
  • 2、rowkey尽量短
  • 3、rowkey去“热点”问题,(高位不要一直,散列)
  • 4、建表使用预分区
  • 5、不写wal
  • 6、批量提交put
  • 7、异步提交put
  • 8、写入的keyvalue不要过长
  • 9、region数量是否不够用
  • 10、表使用压缩
实例,一张创建好的表的描述
‘table_name’, {TABLE_ATTRIBUTES => {DURABILITY => ‘SKIP_WAL’, coprocessor$1 => ‘|org.apache.hadoop.hbase.coprocessor.AggregateImplementation|1073741823|’, METADATA => {‘KeyPrefixRegionSplitPolicy.prefix_length’ => ‘2’, ‘SPLIT_POLICY’ => ‘org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy’}}, {NAME => ‘f0’, BLOOMFILTER => ‘NONE’, COMPRESSION => ‘SNAPPY’, BLOCKSIZE => ‘131072’}
【hbase 写入性能优化之旅】预分区策略参考–详细
https://cloud.tencent.com/developer/article/1374592

    推荐阅读