关于flink反压1、反压主要出现在算子反压：在 Flink web ui 中，定位到一个具体的算子之后 ， 查看BackPressure模块，通过颜色和数值来判断任务的繁忙和反压情况 。
2、Flink、Storm、Spark Streaming 的反压机制都采用动态反馈/自动反压原理 ， 可以动态反映节点限流情况，进而实现自动的动态反压 。Flink Web UI 的反压监控提供了 Subtask 级别 的反压监控 。
3、我们上面描述的这个方案可以从两个 Task 之间的数据传输自然地扩展到更复杂的 pipeline 中，保证反压机制可以扩散到整个 pipeline 。
4、首先应检查 CheckpointConfig.setCheckpointTimeout（） 方法设定的检查点超时，如果设的太短，适当改长一点 。另外就是考虑发生了反压或数据倾斜，或者barrier对齐太慢 。具体思路不再赘述，看官可以参考 这篇文章，非常详细 。
5、Flink实现了流批一体化模式，实现按照事件处理和无序处理两种形式，基于内存计算 。强大高效的反压机制和内存管理 ， 基于轻量级分布式快照checkpoint机制，从而自动实现了Exactly-Once一致性语义 。
6、flink 8里 kafka的Source 是可以支持限流的 。可以set kafka 的 consumer 我的每秒钟不能超过多少的一个消费（setRate 方法 。在提交作业前，这个rate就静态写死了 。SparkStreaming 里面也有类似的机制去配置） 。
聊聊批计算、流计算、Hadoop、Spark、Storm、Flink等等Spark streaming批量读取数据源中的数据，然后把每个batch转化成内部的RDD 。Spark streaming以batch为单位进行计算（默认1s产生一个batch） ， 而不是以Tuple为单位，大大减少了ack所需的开销，显著提高了吞吐 。
大数据的四种主要计算模式包括：批处理模式、流处理模式、交互式处理模式、图处理模式 。
storm的网络直传、内存计算，其时延必然比hadoop的通过hdfs传输低得多；当计算模型比较适合流式时 ， storm的流式处理，省去了批处理的收集数据的时间；因为storm是服务型的作业，也省去了作业调度的时延 。
常见的大数据处理工具有Hadoop、Spark、Apache Flink、Kafka和Storm等 。**Hadoop**：Hadoop是一个分布式计算框架，它允许用户存储和处理大规模数据集 。
Spark还提供了包括机器学习库MLlib、图计算库GraphX、流处理库Streaming等在内的多个库 。Flink：Flink是一个高性能、高吞吐量的分布式流处理框架，它提供了基于流的处理和批处理的功能 。
· 仅批处理框架：Apache Hadoop· 仅流处理框架：Apache StormApache Samza· 混合框架：Apache SparkApache Flink大数据处理框架是什么？处理框架和处理引擎负责对数据系统中的数据进行计算 。
flink的背压问题产生原因和解决方法问题原因：做窗口聚合的任务的分组字段 ， 分组粒度太?。?hash不能打散，数据倾斜严重，导致少数TaskManager上压力过大 ， 从而影响落Es的效率 ， 导致背压 。解决方式：将两个任务独立开来，作为不同的流程 。
所以，Flink的新特性从发布到应用线上，稳定性与性能上都不能过于乐观、听信于官方宣传 ， 司内另一教训就是过早在热数据存储层启用了Hadoop的纠删码，导致问题不断，被迫退化到副本机制 。
【flink keyby reduce flink读取redis数据慢】AsyncDataStream有2个方法，unorderedWait表示数据不需要关注顺序，处理完立即发送，orderedWait表示数据需要关注顺序 ， 为了实现该目标，操作算子会在该结果记录之前的记录为发送之前缓存该记录 。
flinkudf函数执行过慢1、以上两个 UDF 对全部组成员有效，主机或从机上均可执行 。结论 若想使用信息碎片功能 。建议将组复制成员全部升级为 0.16 。
2、必须用malloc或新的MyTest_init或MyTest函数分配，然后用MyTest_deinit释放它 。能用UDF_INIT的指针保存分配的内存地址，并在MyTest中重用 。
3、解决办法：在initialize中判断资源是否已经加载到GeoTreeData中 ， 如果未加载，则加载资源，否则不加载资源 。
推荐阅读
- 如何在网易服务器上开启披风模式？ 网易服务器怎么弄披风模式
- 服务器配置在哪里看 服务器资源配置怎么查看
- 如何将服务器拆分成独立的部分？ 怎么把服务器分成单独
- redis淘汰策略和删除策略 redis淘汰策略算法底层原理
- 如何在网易服务器上添加披风？ 网易服务器怎么弄披风
- 游戏代理ip怎么设置 玩网游怎么设置代理服务器