锐客网

  1. 首页 > 生活百科 > it技术 > >

hbase重装恢复数据，hbase 数据恢复

IT技术hbase

HBase宕机恢复-SplitWALHbase Split 是一个很重要的功能，HBase 通过把数据分配到一定数量的 Region 来达到负载均衡的 。
测试环境正常 ， 生产环境下，时不时出现HRegionServer挂掉的情况 ， 而HMaster正常 。重启Hbase之后，短时间内恢复正常，然而一段时间之后，再次出现RegionServer挂掉的情况 。因此，我们决定对此故障进行深入排查，找出故障原因 。
HBase 运行在 HDFS 上，HDFS 的多副本存储可以让它在岀现故障时自动恢复，同时 HBase 内部也提供 WAL 和 Replication 机制 。
【hbase重装恢复数据，hbase 数据恢复】首先Hbase是依赖于HDFS和zookeeper的 。Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互 。
HBase的失败因子和恢复方法HBase包含以下几个组件：HRegionServer负责数据的分布处理，由HMaster进行监控 。HDFS存储和复制数据，Zookeeper存储了HMaster以及备选HMaster的储存单元信息 。如果没有为每个组件建立冗余，所有的组件都会成为SPoF 。
hbase显示isdisabled可以恢复吗目的：ambari-metrics是一个很容易出问题挂掉的组件，如果无法重启的情况下 。我们可以舍弃之前集群的监控数据，然后进行格式化恢复 。
is not a valid integer value 意思：不是有效的整数值 。请查看一下所注册的区域，到控制面板-》区域和语言选项，如果是中文版操作系统将地区选项下的两个选项都选择中国 。
具体可以参考官方jira： https：//issues.apache.org/jira/browse/HBASE-12848 该特性也是对WAL进行改造，当前WAL设计为一个RegionServer上所有Region共享一个WAL，可以想象在写入吞吐量较高的时候必然存在资源竞争，降低整体性能 。
hbase里的hlog存在哪?regionserver里还是zookeeper里?1、HBase 写入数据会写到HMemcache 和Hlog 中，HMemcache 建立缓存，Hlog 同步Hmemcache和Hstore 的事务日志 ， 发起Flush Cache 时 ， 数据持久化到Hstore 中，并清空HMemecache 。
2、首先Hbase是依赖于HDFS和zookeeper的 。Zookeeper分担了Hmaster的一部分功能，客户端进行DML语句的时候，都是先跟ZK交互 。
3、Hbase是强依赖于ZooKeeper，我们读或写一个表的数据，都会优先访问ZooKeeper 。通常是集群中单独的3/5台服务器 。HMaster通常是Hadoop集群中的一台或两台（backup-Master） 。
4、上图描述Hadoop EcoSystem中的各层系统 。其中 ， HBase位于结构化存储层，Hadoop HDFS为HBase提供了高可靠性的底层存储支持 ， Hadoop MapReduce为HBase提供了高性能的计算能力，Zookeeper为HBase提供了稳定服务和failover机制 。
5、hbase.zookeeper.useMulti 属性默认为true。
6、Region与RegionServer之间的映射关系存储在Zookeeper中的META表中，通过读取META表，你就可以知道那个Region可以负责处理你的rowkey操作，其实这也代表着在HBase读写操作的时候是不用经过Master节点的，你可以之间联系RegionServer 。
hbase的删除和关系数据库的删除有何不同HBase操作则不存在复杂的表与表之间的关系 ， 只有简单的插入、查询、删除、清空等，因为HBase在设计上就避免了复杂的表与表之间的关系，通常只采用单表的主键查询，所以它无法实现像关系数据库中那样的表与表之间的连接操作 。
简单来说，传统关系型数据库的修改与删除，可以快速通过主键、列或索引直接锁定到某一行或某些行，进行物理删除 。
Hive的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整张表而不是单行数据，查询的延迟较高 。其本质是更加方便的使用mr的威力来进行离线分析的一个数据分析工具 。
存储模式：传统数据库中是基于行存储的 ， 而HBase是基于列进行存储的 。表字段：传统数据库中的表字段不能超过30个，而HBase中的表字段不作限制 。
关系数据库：可以对某一行或某些行的数据进行更新、删除操作 。更新、事务和索引等等 。hive：不支持对某个具体行的操作，也不支持事务和索引，hive对数据的操作只支持覆盖原数据和追加数据 。
hbase重装恢复数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于hbase 数据恢复、hbase重装恢复数据的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：服务器坏了怎么办 服务器瘫痪后怎么办

    下一篇：mysql字段字符串大小写，mysql存储大字符串