flink内存模型详解与案例 flink内存模型详解与案例

任务提交时的一些yarn设置（通用客户端模式）
指定并行度-p 5 \
指定yarn队列-Dyarn.application.queue=xxx \
指定JM总进程的大小-Djobmanager.memory.process.size=1024mb \
指定每个TM的总进程大小，一般是 2-8g，yarn默认最大给8g-Dtaskmanager.memory.process.size=1024mb \
指定每个TM的slot数-Dtaskmanager.numberOfTaskSlots=2 \
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
flink 内存模型如下图：

文章图片

1.flink框架内存使用了堆上内存和堆外内存，不计入slot资源
2、task执行的内存使用了堆上内存和堆外内存
3、网络缓冲内存：网络数据交换所使用的堆外内存大小，如网络数据交换缓冲区
4、框架堆外内存、task堆外内存、网络缓冲内存，都在堆外的直接内存里。
5、管理内存：flink管理的堆外内存。用于管理排序、哈希表、缓存中间结果及RocksDB State Backend 的本地内存
6、jvm特有内存：jvm本身占用的内存，包括元空间和执行开销
7、flink使用内存=框架堆内和堆外内+Task堆内和堆外内存+网络缓冲内存+管理内存
8、进程内存=Flink内存+jvm特有内存
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
内存模型详解:
jvm特定内存：jvm本身使用的内存，包含jvm的metaspace和over-head
①JVM metaspace：jvm元空间
taskmanager.memory.jvm-metaspace.size 默认256mb
②JVM over-head执行开销：JVM执行时自身所需要的内容，包括线程堆栈、IO、编译缓存等所使用的内存。
taskmanager.memory.jvm-overhead.fraction, 默认0.1
taskmanager.memory.jvm-overhead.min,默认192mb
taskmanager.memory.jvm-overhead.max,默认1gb
总进程内存*fraction，如果小于配置的min或大于配置的max，则使用min/max
框架内存：flink框架，即TaskManager本身所占用的内存，不计入slot的资源中。
堆内：taskmanager.memory.framework.heap.size, 默认128mb
堆外：taskmanager.memory.framework.off-heap.size,默认128mb
Task内存：Task执行用户代码时所使用的内存
堆内：taskmanager.memory.task.heap.size,默认none，由flinl内存口扣除掉其他部分的内存得到、
堆外：taskmanager.memory.task.off-size,默认0，表示不使用堆外内存
网络内存：网络数据交换所使用的堆外内存大小，如网络数据交换缓冲区
堆外：taskmanager.memory.network.fraction,默认0.1
taskmanager.memory.network,min,默认64mb
taskmanager.memory.network.max,默认1gb
flink内存*fraction，如果小于配置的min或大于配置的max，则使用min/max
管理内存：用于RocksDB State Backend 的本地内存和批的排序、哈希表、缓存中间结果。
堆外：taskmanager.memory.managed.fraction,默认0.4
taskmanager.memory.managed.size,默认none
如果size没指定，则等于flink内存*fraction
【flink内存模型详解与案例】------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
实际案例
基于yarn模式，一般参数指定的是总进程内存，taskmanager.memory.process.size,
如果该大小为4G，每一块内存得到大小如下：
①计算flink内存
jvm元空间256m
jvm执行开销：4g*0.1=409.6，在[192.1g]之间，最终结果409.6m
flink内存=4g-256m-409.6m=3430.4m
②网络内存=3430.4*0.1=343.04，在[64m,1g]之间，最终结果343.04m
③托管内存=3430.4m*0.4=1372.16m
④框架内存，堆内和堆外都是128m
⑤Task堆内内存=3430.4m-128m-128m-343.04m-1372.16m=1459.2m堆内内存是总内存减去所有其他的内存。在总大小不变的情况小想调大堆内内存，就把其他内存调小。
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
提交程序，查看flink ui结果。和计算的几乎一致

文章图片

文章图片

------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
JVM参数与内存
jvm Options：
-Xmx1664299798
-Xms1664299798jvm堆内内存大小(最大与最小)约1587m=Task堆内+框架堆内

文章图片

-XX:MaxDirectMemorySize=493921243 jvm堆外内存大小约471m=Task堆外+框架堆外+网络内存

文章图片

-XX:MaxMetaspaceSize=268435456jvm元空间大小，约256m
------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
调优原则，根据程序运行时每块内存的使用情况来调整。

文章图片

flink内存模型详解与案例

推荐阅读

江苏28所高校排名江苏大学排行榜

忍界大战怎么打忍界大战普通怎么打

使用Trimmomatic过滤低质量序列

仓鼠吃莴笋叶仓鼠吃莴笋能补充水分吗?!

打磨翡翠用什么打磨翡翠用什么胶水粘接

转型中的博弈（医学影像人工智能落地基层为何这么难（））

精灵宝可梦剑盾冠军怎么打

国家卫健委|国家卫健委：重点人群除开展疫苗接种外还要坚持做好个人防护

黄精是补肾阴虚还是阳虚

刘韦伯名字打分95分

做人做事就两个字

j2ee架构分析

steam余额给别人教程

减肥怎样运动才好得快减肥怎样运动才好

哪些补益食疗方可缓解失眠

国赫天玺二期规划天玺国际

黄芪配什么比较好

ps网页,ps怎么做网页

辣椒酱的几种做法辣椒酱常见做法

阴阳师一速多少合格