JAVA写文件的基本流程 在不使用堆外内存的情况下，java在写文件时，先将字节写入JVM的堆内内存中；然后调用jvm的写文件函数，将字节写入jvm的堆外内存中，jvm再调用系统内核的写文件函数，将字节写入内核的heap中；然后内核将字节写入page cache中，将page cache状态改为dirty，根据page cache的回写机制在合适的时机将字节写入磁盘。

文章图片

page cache 自动回写机制 page cache的回写时机由系统配置/etc/sysctl.conf 中的几个参数决定，分别是：

• dirty_background_bytes

默认值：0表示不启用
当脏页所占的内存大小超过dirty_background_bytes时，内核的pdflush线程会从后台开始回写脏页，不会影响应用程序的后序IO操作。

• dirty_background_ratio

默认值 ：10
参数意义：当脏页所占的百分比（相对于所有可用内存，即空闲内存页+可回收内存页）达到dirty_background_ratio时内核的pdflush线程从后台开始回写脏页，不会影响应用程序的后序IO操作。增大会使用更多内存用于缓冲，可以提高系统的读写性能。当需要持续、恒定的写入场合时，应该降低该数值。
注意：dirty_background_bytes参数和dirty_background_ratio参数是相对的，只能指定其中一个。当其中一个参数文件被写入时，会立即开始计算脏页限制，并且会将另一个参数的值清零。

• dirty_bytes

默认值：0表示不启用
当脏页所占的内存数量达到dirty_bytes时，内核将脏页中的数据刷入磁盘并阻塞后序的IO操作。
注意：dirty_bytes参数和dirty_ratio参数是相对的，只能指定其中一个。当其中一个参数文件被写入时，会立即开始计算脏页限制，并且会将另一个参数的值清零

• dirty_ratio

默认值：20
参数意义：当脏页所占的百分比（相对于所有可用内存，即空闲内存页+可回收内存页）达到dirty_ratio时，内核将脏页中的数据刷入磁盘并阻塞后序的IO操作。

• dirty_background_ratio与dirty_ratio比较

dirty_ratio是属于强制性的回写,也就是说当一个内存区的脏页达到这个比例时就会触发内核内存管理把脏页强制回写的流程,但dirty_background_ratio是属于软性的行为,因为这是透过pdflush内核线程进行的流程,可以在后台执行对这些脏页面回写,并不会因此影响到当下正在执行中的过程。 所以看Linux内核中预设的比例是脏页达到5%的比例时就会先透过pdflush内核线程进行回写,当脏页达到10%比例时,就等于是一个很严重的状况,此时就会在平衡脏页面流程中触发强制的回写,让系统可以回复到原本预设合理的状态。

• dirty_expire_centisecs

默认值：3000
参数意义：用来指定脏数据能存活的时间。指定的值是按100算做一秒计算。只有当超过这个值后，才会被内核进程pdflush写到磁盘。

• dirty_writeback_centisecs

默认值：500
参数意义：pdflush回写的频率，每次的唤醒的间隔，是以数字100算做1秒。如果将这项值设为500就相当5秒唤醒pdflush进程。如果将这项值设为0就表示完全禁止定期回写数据。

• drop_caches

向/proc/sys/vm/drop_caches文件中写入数值可以使内核释放page cache，dentries和inodes缓存所占的内存。
只释放pagecache：

echo 1 > /proc/sys/vm/drop_caches

只释放dentries和inodes缓存：

echo 2 > /proc/sys/vm/drop_caches

释放pagecache、dentries和inodes缓存：

echo 3 > /proc/sys/vm/drop_caches

这个操作不是破坏性操作，脏的对象（比如脏页）不会被释放，因此要首先运行sync命令。
注：这个只能是手动释放
测试 采用javaBIO不断向一个文件写入数据，通过pcstat观察page cache的大小。文件初始状态：

[root@node01 ~]# ll test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug1 19:58 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0| 0| 0|NaN |+----------+----------------+------------+-----------+---------+

dirty_background_bytes测试
将脏页阈值设置为10MB，脏页存活时间设置为5000s，当脏页大小不足10MB时，绝对不会被刷入磁盘，当脏页大小超过10MB,但是存活时间不超过5000s时，满足dirty_background_bytes的条件，被刷入磁盘。

#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试，设为1048576010mb vm.dirty_background_bytes = 10485760#便于测试，设为104857600100mb vm.dirty_bytes = 104857600#便于测试，设为5000005000svm.dirty_writeback_centisecs = 500000#便于测试，设为30000 5minvm.dirty_expire_centisecs = 30000 #加载系统配置[root@node01 ~]# sysctl -p

【Java|Java page cache回写机制案例详解】当page cache大小超过10mb前，停止写入，关闭电源，重启设备。
关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug1 20:20 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1660| 1| 1| 100.000 |+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）
重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug1 20:20 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0| 0| 0|NaN |+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，由于没有达到后台自动刷入磁盘的阈值（dirty_background_bytes），page cache内的数据丢失。
当page cache大小超过10mb后，停止写入，关闭电源，重启设备。
关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 37M Aug1 20:26 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 37985420| 9274| 9274| 100.000 |+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）
重启后page cache状态及文件大小。

[root@node01 ~]#ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 30M Aug1 20:26 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 31035392| 7577| 0| 000.000 |+----------+----------------+------------+-----------+---------+

之前写入的数据部分丢失，每次达到后台自动刷入磁盘的阈值（dirty_background_bytes）时内核都会进行一次刷入操作，而没有达到阈值的部分就会丢失。关机前37M，关机后30M，自动刷入阈值设置为10M，37-10=7M，这7M数据没有被刷入磁盘，重启后丢失。
dirty_expire_centisecs测试
将脏页阈值设置为100MB，检测频率设置为1s，脏页存活时间设置为15s。这样可以达到这样一个测试目的，当我的page cache大小未到达100MB时，由于超过了存活时间15s,检测的又很及时，几乎可以被全部刷入磁盘。为什么说几乎呢？因为不管怎么样，靠检测频率自动刷入机制终究会丢失检测真空期的数据。脏页在每次刷入磁盘后重写前都是干净的状态。

#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试，设为104857600100mb vm.dirty_background_bytes = 104857600#便于测试，设为104857600100mb vm.dirty_bytes = 104857600#便于测试，设为150015svm.dirty_writeback_centisecs = 1500#便于测试，设为100 1svm.dirty_expire_centisecs = 100 #加载系统配置[root@node01 ~]# sysctl -p

当page cache大小超过100mb前，停止写入,未超过15s，关闭电源，重启设备。
关机前page cache状态及文件大小。

-rw-r--r--. 1 root root 150 Aug1 20:44 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 150| 1| 1| 100.000 |+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）
重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 0 Aug1 20:44 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0| 0| 0|NaN |+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，由于没有超过脏页存活时间，page cache内的数据丢失。
当page cache存活超过15s后，关闭电源，重启设备。
关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug1 20:48 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1680| 1| 1| 100.000 |+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）
重启后page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt -rw-r--r--. 1 root root 1.7K Aug1 20:48 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 1680| 1| 1| 100.000 |+----------+----------------+------------+-----------+---------+

超过15s且被检测到的数据全部保留
dirty_writeback_centisecs测试
将脏页阈值设置为100MB，检测频率设置为15s，脏页存活时间设置为1s。这样可以达到这样一个测试目的，当我的page cache大小未到达100MB时，且超过了存活时间1s,由于检测的不及时，导致超过存活时间的数据还是没有被刷入磁盘。

#修改系统配置[root@node01 ~]# vi /etc/sysctl.conf...#便于测试，设为104857600100mb vm.dirty_background_bytes = 104857600#便于测试，设为104857600100mb vm.dirty_bytes = 104857600#便于测试，设为1001svm.dirty_writeback_centisecs = 100#便于测试，设为1500 15svm.dirty_expire_centisecs = 1500 #加载系统配置[root@node01 ~]# sysctl -p

当page cache大小超过100mb前，停止写入,未超过15s，关闭电源，重启设备。
关机前page cache状态及文件大小。

[root@node01 ~]# ll -h test.txt && pcstat test.txt-rw-r--r--. 1 root root 550 Aug1 21:02 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 550| 1| 1| 100.000 |+----------+----------------+------------+-----------+---------+

掐断电源，重启。（注意，这里不能按正常流程重启电源）
重启后page cache状态及文件大小。

[root@node01 ~]#ll -h test.txt && pcstat test.txt-rw-r--r--. 1 root root 0 Aug1 21:04 test.txt+----------+----------------+------------+-----------+---------+| Name| Size (bytes)| Pages| Cached| Percent ||----------+----------------+------------+-----------+---------|| test.txt | 0| 0| 0|NaN |+----------+----------------+------------+-----------+---------+

之前写入的数据全部丢失，虽然超过脏页存活时间，但是没有到检测时间，page cache内的数据丢失。
到此这篇关于Java page cache回写机制案例详解的文章就介绍到这了,更多相关Java page cache回写机制内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

推荐阅读

• 

  白糖可以炒糖色吗
• 

  appscan报告分析
• 

  云顶之弈S5.5厄斐琉斯装备 云顶之弈手游厄斐琉斯阵容S5.5黑夜
• 

  安卓手机|安卓手机用一年变破烂，二手价格暴跌，苹果iPhone却最保值
• 

  佳能打印机为什么要清零-佳能打印机怎么清零？
• 

  【1班4组】Day10|【1班4组】Day10 掌握这几招，解决写作没选题的难题
• 

  宝宝不吃乳头怎么办？
• 

  八宝粥材料
• 

  秋老虎和三伏天哪个热
• 

  航海王燃烧意志天梯怎么打 平民天梯阵容搭配及打法技巧分析
• 

  普洱茶存放方法 详解存放普洱茶的三种方法
• 

  焦点解决长期班第二期杨玉焕持续分享第65天20180526周六晴转雨
• 

  Win10如何设置合上笔记本盖子后睡眠问题？
• 

  z2|一加 OnePlus Buds Z2 真无线耳塞关键规格与细节曝光
• 

  商业银行信息科技风险分析及管理策略
• 

  哪种计算机语言用途广，计算机语言中什么语言是用途最广的
• 

  文件传输助手是真人吗
• 

  如何快速练成胸肌的方法 如何快速练成胸肌，如何快速练成胸肌和腹肌
• 

  倘佯与徜徉哪个对
• 

  货车超载扣多少分

• JAVA（抽象类与接口的区别&重载与重写&内存泄漏）
• 事件代理
• Java|Java OpenCV图像处理之SIFT角点检测详解
• java中如何实现重建二叉树
• 数组常用方法一
• 【Hadoop踩雷】Mac下安装Hadoop3以及Java版本问题
• Java|Java基础——数组
• RxJava|RxJava 在Android项目中的使用（一）
• java之static、static|java之static、static final、final的区别与应用
• Java基础-高级特性-枚举实现状态机