锐客网

  1. 首页 > 睿知 > it技术 > >

flink流读写hbase性能优化，flink读取hbase数据

IT技术购入

flink流处理特点Flink 是一个流处理框架，支持流处理和批处理，特点是流处理有限，可容错，可扩展 ， 高吞吐 ， 低延迟 。
Java Apache Flink是一个开源的分布式，高性能，高可用，准确的流处理框架 。支持实时流处理和批处理 。
将二者统一起来：Flink是完全支持流处理，也就是说作为流处理看待时输入数据流是无界的；批处理被作为一种特殊的流处理，只是它的输入数据流被定义为有界的 。
【flink流读写hbase性能优化，flink读取hbase数据】Flink流处理特性： Flink以层级式系统形式组件其软件栈，不同层的栈建立在其下层基础上，并且各层接受程序不同层的抽象形式 。
Flink实现了流批一体化模式 ， 实现按照事件处理和无序处理两种形式，基于内存计算 。强大高效的反压机制和内存管理，基于轻量级分布式快照checkpoint机制，从而自动实现了Exactly-Once一致性语义 。
Flink采用分布式快照的方式实现了一个高吞吐、低延迟、支持exactly once的流式系统，流式处理的方式也能更优雅的支持window和event time 。
Flink:特性、概念、组件栈、架构及原理分析1、Flink流处理特性： Flink以层级式系统形式组件其软件栈，不同层的栈建立在其下层基础上，并且各层接受程序不同层的抽象形式 。
2、用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据 ， 而Transformation是一个操作 ， 它对一个或多个输入Stream进行计算处理 ， 输出一个或多个结果Stream 。
3、Client虽然不是Flink Cluster 运行态的一部分，但也是Flink重要组件之一，用来提交流任务 。Flink集群之间的通信 ， 是通过Akka Actor System来进行管控通信的 。
HBase性能优化-Rowkey&列族设计必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上，避免数据热点现象 。
必须在设计上保证RowKey的唯一性 。由于在HBase中数据存储是Key-Value形式，若向HBase中同一张表插入相同RowKey的数据，则原先存在的数据会被新的数据覆盖 。设计的RowKey应均匀的分布在各个HBase节点上 ，  避免数据热点现象 。
我这里只分了三个region，用hbase shell命令创建表 ， 设置预分区数量为3 下图中，可以看到 ， 预分区以后，数据的读写访问请求数量均匀分布在3台RegionServer上，避免了热点问题 。
flink流读写hbase性能优化的介绍就聊到这里吧 ， 感谢你花时间阅读本站内容，更多关于flink读取hbase数据、flink流读写hbase性能优化的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：python编程打开指定文件夹的照片，python打开指定文件夹下的文件

    下一篇：mysql怎么求百分率 mysql中百分号如何表示