锐客网

  1. 首页 > 睿知 > it技术 > >

hbase计数器数据批量导入，hbase增量导入数据

IT技术导入

关于hbase的问题,开启hbase后一会hmaster和hregionserver就没了...将hbase.bulkload.retries.number这个参数设置为更大的值，比如目标表的region数量或者将这个参数设置成0，0表示不断重试直到成功 。设置之后问题解决 。
测试环境正常 ， 生产环境下 ， 时不时出现HRegionServer挂掉的情况， 而HMaster正常 。重启Hbase之后，短时间内恢复正常，然而一段时间之后，再次出现RegionServer挂掉的情况 。因此，我们决定对此故障进行深入排查 ， 找出故障原因 。
查资料得知该错一般由于客户端获取hbase regionServer的Ip错误导致，查看zookeeper中的地址发现存的是localhost 。
此功能用于将统一的大HBase 集群的 RegionServer 划分为多个分组，管理员可以将不同的表放入不同分组进行资源隔离 ， 避免无关系的业务之间互相影响 。同样也可以根据不同的业务需求提供不同的硬件资源 。
首先Hbase是依赖于HDFS和zookeeper的 。Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互 。
六、HBase写入流程1、和读相比 ， HBase写数据流程倒是显得很简单：数据先顺序写入HLog，再写入对应的缓存Memstore ， 当Memstore中数据大小达到一定阈值(128M)之后，系统会异步将Memstore中数据flush到HDFS形成小文件 。
2、(1)当一个Region中的某个Store下的StoreFile的总大小查过某个值 ， 由参数hbase.hregion.max.filesize设定(默认10g)，该Region就会按照RowKey进行拆分 。
3、业务需求 flume需要从kafka获取数据并写入hbase开始写的想法：按照flume的流程：一个source ， 三个channel，三个sink，因为我需要三个列族，如果使用官方的hbase sink那么需要三个sink 。
4、该过程会自动从指定hbase表内一行一行读取数据进行处理 。
HBase写数据的异常问题以及优化HBase数据写入通常会遇到两类问题，一类是写性能较差，另一类是数据根本写不进去 。
必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式 ， 若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
出现这种问题的原因是因为和服务器通信超时导致的 。所以需要将下面两个参数的默认值进行调整 。hbase.snapshot.region.timeout hbase.snapshot.master.timeoutMillis 这两个值的默认值为60000，单位是毫秒，也即1min 。
region下的StoreFile数目越少 ， HBase读性能越好 Hfile可以被压缩并存放到HDFS上，这样有助于节省磁盘IO，但是读写数据时压缩和解压缩会提高CPU的利用率 。
hbase内部工具类批量导出报错1、Put API Put API可能是将数据快速导入HBase表的最直接的方法 。但是在导入【大量数据】时不建议使用！但是可以作为简单数据迁移的选择，直接写个代码批量处理，开发简单、方便、可控强 。
2、直接将数据导出到hdfs目录中，当不指定file前缀时 。另外：export ， fs的参数为hdfs上的路径时，该路径必须不能已经存在，否则会报错 。import的表必须是hbase中已经创建好的，否则会报错 。
3、方法2：使用这种方法之前其实是需要先将数据导出到本地，以文本的形式保存，然后使用TableReudcer类编写MapReduce job 。这种方法需要频繁的I/O操作，所以效率不高 ， 容易导致HBase节点的不稳定 。
4、Bulk load是通过一个MapReduce Job来实现的，通过Job直接生成一个HBase的内部HFile格式文件来形成一个特殊的HBase数据表 ， 然后直接将数据文件加载到运行的集群中 。使用bulk load功能最简单的方式就是使用importtsv 工具 。
5、两种方式：一，建立一个hive和hbase公用的表，这样可以使用hive操作hbase的表，但是插入数据较慢 ， 不建议这样做 。二，手写mapreduce，把hive里面的数据转换为hfile，然后倒入 。
【hbase计数器数据批量导入，hbase增量导入数据】关于hbase计数器数据批量导入和hbase增量导入数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：如何用3千元购买服务器配件？ 3千的服务器怎么配电脑

    下一篇：html5考研，考研考html吗