hbase 写入性能优化之旅
参考 http://hbasefly.com/2016/12/10/hbase-parctice-write/?oijmty=ucuvq1
- 1、一张表,一个列族,一个列
- 2、rowkey尽量短
- 3、rowkey去“热点”问题,(高位不要一直,散列)
- 4、建表使用预分区
- 5、不写wal
- 6、批量提交put
- 7、异步提交put
- 8、写入的keyvalue不要过长
- 9、region数量是否不够用
- 10、表使用压缩
‘table_name’, {TABLE_ATTRIBUTES => {DURABILITY => ‘SKIP_WAL’, coprocessor$1 => ‘|org.apache.hadoop.hbase.coprocessor.AggregateImplementation|1073741823|’, METADATA => {‘KeyPrefixRegionSplitPolicy.prefix_length’ => ‘2’, ‘SPLIT_POLICY’ => ‘org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy’}}, {NAME => ‘f0’, BLOOMFILTER => ‘NONE’, COMPRESSION => ‘SNAPPY’, BLOCKSIZE => ‘131072’}
【hbase 写入性能优化之旅】预分区策略参考–详细
https://cloud.tencent.com/developer/article/1374592
推荐阅读
- ExcelPackage读取写入
- 数据库|SQL行转列方式优化查询性能实践
- 性能测试中QPS和TPS的区别
- javascript|javascript 性能测试笔记
- mvcc原理和hbase实现
- 使用交叉点观察器延迟加载图像以提高性能
- golang锁竞争性能
- Linux性能分析-平均负载
- swoole打造高性能赛事直播平台1(准备工作)
- locust——python性能测试模块