flink实时读redis,flink实时读取hudi( 二 )


基于Flink的实时计算平台的构建1、消息队列的数据既是离线数仓的原始数据,也是实时计算的原始数据,这样可以保证实时和离线的原始数据是统一的 。
2、Flink框架的主要特点包括: 流处理:Flink是一个流处理引擎,专门为处理连续、动态的数据流而设计 。这意味着它可以实时分析大量的数据流,而无需等待数据的完整批次 。
3、像Flink 、 Spark Streaming 这类包含状态的实时计算框架 , 需要恢复 Master 节点的同时还需要对其状态进行恢复 , Master 状态信息包含一些必要的配置、以及对 Slave 节点状态管理的信息(如“某个 Slave 节点的状态快照所在的 HDFS 路径”) 。
4、Flink在德语中是快速和灵敏的意思 ,用来体现流式数据处理速度快和灵活性强等特点 。
5、Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能 。
关于flink实时读redis和flink实时读取hudi的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。

推荐阅读