锐客网

  1. 首页 > 生活百科 > it技术 > >

flink redis sink flink对redis优化

生活百科flink

flink流处理特点1、flink的流处理特性：支持高吞吐量、低延迟和高性能流处理 。支持带事件时间的窗口操作 。支持有状态计算的恰好一次语义支持高度灵活的窗口操作 ， 支持基于时间、计数、会话和数据驱动的窗口操作 。
2、Flink框架的主要特点包括： 流处理：Flink是一个流处理引擎，专门为处理连续、动态的数据流而设计 。这意味着它可以实时分析大量的数据流，而无需等待数据的完整批次 。
3、流、转换、操作符 Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream 。
Flink之工作原理1、flink同时支持两种，flink的网络传输是设计固定的缓存块为单位，用户可以设置缓存块的超时值来决定换存块什么时候进行传输 。数据大于0 进行处理就是流式处理 。如果设置为无限大就是批处理模型 。
2、在JobManager端，会接收到Client提交的JobGraph形式的Flink Job，JobManager会将一个JobGraph转换映射为一个ExecutionGraph，ExecutionGraph是JobGraph的并行表示，也就是实际JobManager调度一个Job在TaskManager上运行的逻辑视图 。
【flink redis sink flink对redis优化】3、使用flinkPlanner.validate（sqlNode）方法会拿到校验后的SqlNode变量 ， 会判断SqlNode的类型，采用不同的转换逻辑最终获得需要的Operation对象 。
4、Flink基于Checkpoint机制实现容错，它的原理是不断地生成分布式Streaming数据流Snapshot 。在流处理失败时，通过这些Snapshot可以恢复数据流处理 。
5、托管的State（ Managed State ）由Flink运行时控制的数据结构表示，例如内部哈希表或者RocksDB，例子是ValueSate ，  ListState等 。Flink运行时会对State编码并将它们写入checkpoint中 。
基于Flink的实时计算平台的构建消息队列的数据既是离线数仓的原始数据，也是实时计算的原始数据，这样可以保证实时和离线的原始数据是统一的 。
Flink程序是由Stream和Transformation这两个基本构建块组成，其中Stream是一个中间结果数据，而Transformation是一个操作，它对一个或多个输入Stream进行计算处理，输出一个或多个结果Stream 。Flink程序被执行的时候，它会被映射为Streaming Dataflow 。
Flink在德语中是快速和灵敏的意思 ，用来体现流式数据处理速度快和灵活性强等特点 。
像Flink 、 Spark Streaming 这类包含状态的实时计算框架，需要恢复 Master 节点的同时还需要对其状态进行恢复 ， Master 状态信息包含一些必要的配置、以及对 Slave 节点状态管理的信息（如“某个 Slave 节点的状态快照所在的 HDFS 路径”） 。

    推荐阅读


    上一篇：公众号后台怎么新建图文，公众号写新图文

    下一篇：定位查询找人 定位查询redis