Spark与Flink读取动态配置信息 Spark与Flink读取动态配置信息

更新正在运行的流式应用程序的配置是常见要求。
1spark使用非静态全局变量，即可解决实时流式配置问题。
实例demo:
```
final FlowConstant flowConstant =new FlowConstant();
...
JavaPairDStream flowInfoPairDStream = diretcStream.mapToPair(new PairFunction, String, FlowInfoBean>() {
@Override
public Tuple2call(Tuple2 tuple2)throws Exception {
...
StringcInOutFlag = IPUtils.isInHomeBitNet(clientIP, flowConstant.HOMENET_BIT);
StringdefaultCInOutFlag = IPUtils.isInHomeBitNet(clientIP, flowConstant.DEFAULT_HOMENET_BIT);
StringsInOutFlag = IPUtils.isInHomeBitNet(serverIP, flowConstant.HOMENET_BIT);
StringdefaultSInOutFlag = IPUtils.isInHomeBitNet(serverIP, flowConstant.DEFAULT_HOMENET_BIT);
...
}
});
```
2在Flink的DataStream API中，这可以通过使用所谓的CoFlatMapFunction处理两个输入流来完成。其中一个流可以是数据流，另一个是控制流。

文章图片
实例demo:
```
val data: DataStream[String] = ???
val control: DataStream[Int] = ???
val filtered: DataStream[String] = data
// broadcast all control messages to the following CoFlatMap subtasks
.connect(control.broadcast)
// process data and control messages
.flatMap(new DynLengthFilter)
class DynLengthFilter extends CoFlatMapFunction[String, Int, String] with Checkpointed[Int] {
var length = 0
// filter strings by length
override def flatMap1(value: String, out: Collector[String]): Unit = {
if (value.length < length) {
out.collect(value)
}
}
// receive new filter length
override def flatMap2(value: Int, out: Collector[String]): Unit = {
length = value
}
override def snapshotState(checkpointId: Long, checkpointTimestamp: Long): Int = length
override def restoreState(state: Int): Unit = {
length = state
}
}
【Spark与Flink读取动态配置信息】```

Spark与Flink读取动态配置信息

推荐阅读

燃气表怎么看？燃气表如何重启

苹果手机怎么制作相册文件夹，iphone40怎样建文件夹

电视剧战雷全集免费播放战雷电视剧

HTML如何使用DOM createComment()方法（代码示例）

《上古卷轴5》怎么招募NPC当伙伴？

豆芽怎么发,自己在家发豆芽怎么发

iwatch价格，iwatch多少钱

打印机废墨清零软件叫什么

海尔卡萨帝空调显示029 海尔冰箱卡萨帝调节温度出现h是什么意思

2023年宁波机场提醒周边禁燃烟花爆竹宁波市区禁止燃放烟花吗

类似稻草人的旅行社稻草人旅行社网站

尼康d7100拍照偏黄尼康d7200拍人像黄

被禁言的群怎么说话？QQ群全体禁言强制说话的方法

做梦梦到捡钱做梦梦到捡钱什么意思周公解梦

无线鼠标可以使用无线键盘却不能使用怎么办？

我现在有15万,可以投资什么最赚钱？

大红袍茶叶的营养价值与功效

形容人性格的词语大全形容人性格的词语

武汉街头现手机无线充电路灯收费吗

有哪些让人三观端正的书籍推荐？