锐客网

  1. 首页 > 睿知 > it技术 > >

hbase指定key列，hbase获取指定列的值

IT技术Vnstat

HBASE之创建表、插入值、表结构查看创建表 使用HBaseShell或HBaseAPI可以创建表，需要指定表的名称和列族 。例如，创建一个名为student的表，包含一个列族info 。插入数据 使用Put命令可以向表中插入数据，需要指定行键、列族、列和值 。
对表的创建、删除、显示以及修改等，可以用HBaseAdmin ， 一旦创建了表，那么可以通过HTable的实例来访问表，每次可以往表里增加数据 。
全表扫描(scan)RowKey行键 (RowKey)可以是任意字符串(最大长度是64KB ， 实际应用中长度一般为 10-100bytes)，在HBASE内部 ， RowKey保存为字节数组 。存储时，数据按照RowKey的字典序(byte order)排序存储 。
两种方式：一 ， 建立一个hive和hbase公用的表，这样可以使用hive操作hbase的表，但是插入数据较慢，不建议这样做 。二 ， 手写mapreduce，把hive里面的数据转换为hfile，然后倒入 。
hbase web管理工具phphbaseadmin HBase – Hadoop Database ， 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统 。
命令：disable tableName --disable表 。注：修改表结构时，必须要先disable表 。
HBase存储架构1、HBase采用了类似Google Bigtable的数据模型 ， 即一个稀疏的、分布式的、持久化的多维映射表，每个表都由行键、列族、列限定符和时间戳组成 。
2、/hbase/.archiveHBase 在做 Split或者 compact 操作完成之后，会将 HFile 移到.archive 目录中，然后将之前的 hfile 删除掉 ， 该目录由 HMaster 上的一个定时任务定期去清理 。
3、hbase的核心数据结构为LSM树 。LSM树分为内存部分和磁盘部分 。内存部分是一个维护有序数据集合的数据结构 。
HBase性能优化-Rowkey&列族设计1、必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据 ， 则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
2、必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据 ， 则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
3、我这里只分了三个region，用hbase shell命令创建表，设置预分区数量为3 下图中，可以看到，预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题 。
HBase是什么?为什么要使用HBase?HBase是一种分布式、可扩展的NoSQL数据库，它是基于Hadoop的HDFS文件系统构建的 。HBase被设计用来处理海量数据 ， 并提供高可靠性、高性能的读写操作 。
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统” 。
HBase 是 Apache 的 Hadoop 项目的子项目，它不同于一般的关系数据库 ， 而是一个适合于非结构化数据存储的数据库 。HBase 分布式数据库具有如下几个显著特点 。
HBase 是典型的 NoSQL 数据库，通常被描述成稀疏的、分布式的、持久化的，由行键、列键和时间戳进行索引的多维有序映射数据库，主要用来存储非结构化和半结构化的数据 。
Hbase是一种NoSQL数据库，这意味着它不像传统的RDBMS数据库那样支持SQL作为查询语言 。
Hbase是一个面向列存储的分布式存储系统，可以实现高性能的并发读写操作，同时Hbase还会对数据进行透明的切分，这样就使得存储本身具有了水平伸缩性 。
HBase中rowkey设计有哪些注意点必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上 ， 避免数据热点现象 。
设计的RowKey应均匀的分布在各个HBase节点上 ， 避免数据热点现象 。
rowkey的设计主要为了方便后期的查询（条件查询语句），如果设计的合理，查询速率可以大大提升 分区的设计 ， 主要考量的是入库HBase的速率 。如果设计的不合理，会导致局部入库数据过热，严重的有可能出现入库失败的情况 。
避免用特殊字符 。ASCII 码可显示字符有 95 个，大致顺序如下 第一个是：「空格」，最后一个是：「~」下一篇将讲讲 rowkey 的设计与优化 ， 包括预分区的选择策略 。
Hadoop,如何设置key和value?【hbase指定key列，hbase获取指定列的值】1、如果client设置Combiner，其会将有相同key的key/value对的value加起来，减少溢写到磁盘的数据量 。
2、(1). core-site.xml 配置：其中的hadoop.tmp.dir的路径可以根据自己的习惯进行设置 。
3、键和值的关联很简单，用put(Object key，Object value)方法即可将一个键与一个值对象相关联 。用get(Object key)可得到与此key对象所对应的值对象 。
4、它的基本编程模型是将问题抽象成Map和Reduce两个阶段，其中Map阶段将输入数据解析成key/value，迭代调用map()函数处理后 ， 再以key/value的形式输出到本地目录，而Reduce阶段则将key相同的value进行规约处理，并将最终结果写到HDFS上 。
关于hbase指定key列和hbase获取指定列的值的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息 ， 记得收藏关注本站 。

    推荐阅读


    上一篇：为什么6核服务器的性能如此缓慢？ 6核服务器怎么性能这么慢

    下一篇：redis库同步表的简单介绍