锐客网

  1. 首页 > 睿知 > it技术 > >

hbase压缩影响，hbase压测

IT技术平台

大数据三大核心技术:拿数据、算数据、卖数据!1、大数据技术的体系庞大且复杂 ， 基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面 。
2、大数据技术的核心技术是：在大数据产业中，主要的工作环节包括：大数据采集、大数据预处理、大数据存储和管理、大数据分析和大数据显示和应用的挖掘（大数据检索、大数据可视化、大数据应用、大数据安全性等） 。
3、零售业：主要集中在客户营销分析上 ， 通过大数据技术可以对客户的消费信息进行分析 。获知客户的消费习惯、消费方向等，以便商场做好更合理商品、货架摆放，规划市场营销方案、产品推荐手段等 。
4、大数据的三大支撑要素是数据存储、数据处理和数据应用 。数据存储：大数据需要大量的存储空间来保存各种类型的数据，包括结构化数据 。数据处理：大数据需要强大的计算能力来处理海量的数据 。
HBase集群配置Snappy压缩算法其中 row1 为行键(即Row Key)； column family：column name 为列族名和列名； value 为插入列的值 。
HBase目前提供了三种常用的压缩方式： GZip、LZO、Snappy。Snappy的压缩率最低 ， 但是编解码速率最高，对CPU的消耗也最小 ， 所以目前一般建议使用Snappy 。
反观 LZ4 算法，它在吞吐量方面则是毫无疑问的执牛耳者 。GZIP、Snappy、LZ4 甚至是 zstd 的表现各有千秋 。
安装Snappy下载snappywgetmon编译完成了后，cdhadoop-0-src/hadoop-dist/target/hadoop-0file一下native下面的so文件将native/*再cp到$hadoop_home/bin的各个datanode的native/*和native/Linux-amd64-64下 。
步骤4：修改虚拟机的配置文件，修改虚拟机的设备名称，名称需要与之前两个配置文件的映射名称一致 。步骤5：实现查询、新建、删除等 。
当在完全分布式环境下运行HBase时，在对HBase配置文件进行修改后，确保将/conf/目录下的配置文件同步到集群其他节点上 ， 可以使用rsync 、 scp或其他安全机制将配置文件复制到其他节点上 。
HBase是什么呢,都有哪些特点呢?1、HBase是一种分布式、可扩展的NoSQL数据库，它是基于Hadoop的HDFS文件系统构建的 。HBase被设计用来处理海量数据，并提供高可靠性、高性能的读写操作 。
2、hbase的特点：高可靠性、高性能、面向列、可伸缩的 。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群 。
3、容量大：HBase 分布式数据库中的表可以存储成千上万的行和列组成的数据 。面向列：HBase 的数据在表中是按照某列存储的，根据数据动态地增加列，并且可以单独对列进行各种操作 。
4、非关系型数据库，列存储和文档存储(查询低延迟)，hbase是nosql的一个种类 ， 其特点是列式存储 。
HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
我这里只分了三个region，用hbase shell命令创建表 ， 设置预分区数量为3 下图中，可以看到，预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题 。

推荐阅读


上一篇：redis支持java客户端，redis的java代码

下一篇：java模板代码太多了 javadoc模板