JVM|JVM OOM 排查 JVMOOM排查

1、jdk 自带基础工具 2、MAT 分析dump 3、VM 实时监控 4 、遇到过OOM 内存溢出有哪些

1、Java堆溢出（java.lang.OutofMemoryError:Java heap space）
2、PermGen space
3、StackOverflowError（虚拟机在扩展栈时无法申请到足够的内存空间）
4、直接崩溃

内存溢出与泄漏

内存溢出 out of memory：
是指程序在申请内存时，没有足够的内存空间供其使用，出现out of memory；
内存泄露 memory leak，
是指程序在申请内存后，无法释放已申请的内存空间，一次内存泄露危害可以忽略，但内存泄露堆积后果很严重，无论多少内存,迟早会被占光

一、jdk 自带基础工具
1、 ** jps(Java Virtual Machine Process Status Tool) **
实际中这是最常用的命令，下面要介绍的小工具更多的都是先要使用jps查看出当前有哪些Java进程，获取该Java进程的id后再对该进程进行处理。

jps [options] [hostid]
-q 不输出类名、Jar名和传入main方法的参数
-m 输出传入main方法的参数
-l 输出main类或Jar的全限名
-v 输出传入JVM的参数

[root@iZbp11b3erzreb4xi5utvzZ /]# jps -ml
22611 /usr/lib/jenkins/jenkins.war --logfile=/var/log/jenkins/jenkins.log --webroot=/var/cache/jenkins/war 740 org.apache.catalina.startup.Bootstrap start19942 org.apache.zookeeper.server.quorum.QuorumPeerMain /mnt/zk/zookeeper-3.4.13/bin/../conf/zoo.cfg20537 sun.tools.jps.Jps -ml11309 org.sonatype.nexus.bootstrap.jsw.JswLauncher ./conf/jetty.xml ./conf/jetty-requestlog.xml32190 org.apache.catalina.startup.Bootstrap start

2、 jstack

jstack 主要用来查看某个Java进程内的线程堆栈信息。语法格式如下：

jstack [option] pid
jstack [option] executable core
jstack [option] [server-id@]remote-hostname-or-ip
pid: java应用程序的进程号,一般可以通过jps来获得;
executable:产生core dump的java可执行程序（$JAVA_HOME/bin/java）;
core:打印出的core文件; （jvm崩溃产生的core文件，从hs_err_pid log file 查看）
emote-hostname-or-ip:远程debug服务器的名称或IP
server-id: 唯一id,假如一台主机上多个远程debug服务;

option 说明如下：
-l，会打印出额外的锁信息，在发生死锁时可以用jstack -l pid来观察锁持有情况
-m 不仅会输出Java堆栈信息，还会输出C/C++堆栈信息（比如Native方法）

jstack -l pid

文章图片
image

RUNNABLE,在虚拟机内执行的。运行中状态，可能里面还能看到locked字样，表明它获得了某把锁。
BLOCKED,受阻塞并等待监视器锁。被某个锁(synchronizers)給block住了。
WATING,无限期等待另一个线程执行特定操作。等待某个condition或monitor发生，一般停留在park(), wait(), sleep(),join() 等语句里。
TIMED_WATING,有时限的等待另一个线程的特定操作。和WAITING的区别是wait() 等语句加上了时间限制 wait(timeout)。
TERMINATED,已退出的。

查看耗时线程
top -Hp pid

文章图片
image

printf "%x\n" 21226
获取耗时线程id 的十六进制
52ec

获取耗时信息
[root@2 logs]# jstack 21222 | grep 52ec
"GC task thread#3 (ParallelGC)" os_prio=0 tid=0x00007fee24027000 nid=0x52ec runnable

3、jmap（Memory Map）

jmap导出堆内存，然后使用jhat来进行分析

jmap [option] pid
jmap [option] executable core
jmap [option] [server-id@]remote-hostname-or-ip

参数如下：

-heap：打印jvm heap的情况
-histo：打印jvm heap的直方图。其输出信息包括类名，对象数量，对象占用大小。
-histo：live ：同上，但是只打印存活对象的情况
-permstat：打印permanent generation heap情况（持久代）
输出类加载器名称、对象是否存活、对象地址、父类加载器、已加载的类大小等信息
-dump: 打印 dump（内存使用）日志文件

jmap -heap pid
查看进程堆内存使用情况:****包括使用的GC算法、堆配置参数和各代中堆内存使用：

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -heap 32326
Attaching to process ID 32326, please wait...
Debugger attached successfully.
Server compiler detected.
JVM version is 25.161-b12
using thread-local object allocation.
Parallel GC with 4 thread(s)
Heap Configuration:
MinHeapFreeRatio = 0
MaxHeapFreeRatio = 100
MaxHeapSize = 536870912 (512.0MB)
NewSize = 201326592 (192.0MB)
MaxNewSize = 201326592 (192.0MB)
OldSize = 335544320 (320.0MB)
NewRatio = 2
SurvivorRatio = 8
MetaspaceSize = 21807104 (20.796875MB)
CompressedClassSpaceSize = 1073741824 (1024.0MB)
MaxMetaspaceSize = 17592186044415 MB
G1HeapRegionSize = 0 (0.0MB)
Heap Usage:
PS Young Generation
Eden Space:
capacity = 121634816 (116.0MB)
used = 105409240 (100.52608489990234MB)
free = 16225576 (15.473915100097656MB)
86.6604180171572% used
From Space:
capacity = 38797312 (37.0MB)
used = 6225208 (5.936820983886719MB)
free = 32572104 (31.06317901611328MB)
16.045462118612754% used
To Space:
capacity = 39845888 (38.0MB)
used = 0 (0.0MB)
free = 39845888 (38.0MB)
0.0% used
PS Old Generation
capacity = 335544320 (320.0MB)
used = 19401584 (18.502792358398438MB)
free = 316142736 (301.49720764160156MB)
5.782122611999512% used
19968 interned Strings occupying 2526840 bytes.

jmap -histo[:live] pid
查看堆内存中的对象数目、大小统计直方图，如果带上live则只统计活对象

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -histo 32326
num #instances #bytes class name
1: 351157 49044840 [C
2: 140145 26768472 [B
3: 30637 18927560 [I
4: 191987 4607688 java.lang.String
5: 46693 3523560 [Ljava.lang.Object;
6: 27813 2447544 java.lang.reflect.Method
7: 30591 2447048 [S
8: 58522 2340880 java.util.TreeMap$Entry
9: 81040 1683096 [Ljava.lang.Class;
10: 38542 1541680 java.util.HashMap$KeyIterator
11: 44546 1069104 java.lang.StringBuilder
12: 18696 1046976 java.util.concurrent.ConcurrentHashMap$KeyIterator
13: 37638 903312 java.util.Collections1
14: 10197 896216 [Ljava.util.HashMap$Node;
15: 7902 879416 java.lang.Class

class name是对象类型，说明如下:

B byte
C char
D double
F float
I int
J long
Z boolean
[ 数组，如[I表示int[]
[L+类名其他对象

jmap -dump:format=b,file=dumpFileName pid

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -dump:format=b,file=/mnt/d.bat 32326
Dumping heap to /mnt/d.bat ...
Heap dump file created

问题：
这些工具真靠谱吗？
大应用异常下直接使用jmap jstack 根本无法加载内存信息或者耗时很久？
有什么可以替代吗？
gcore？
二、MAT 分析Dump
【JVM|JVM OOM 排查】Dump 是什么

Dump是反应Java堆使用情况的内存镜像，其中主要包括系统信息、虚拟机属性、完整的线程Dump、所有类和对象的状态等。一般，在内存不足、GC异常等情况下，我们就会怀疑有内存泄漏。这个时候我们就可以制作堆Dump来查看具体情况。分析原因。

Dump 文件的分析有多种方式

1、命令jhat 分析（麻烦）

2、**VisualVM** 工具分析 3、MAT 分析

MAT分析
J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling（剖析面），叫做HPROF
Shallow Size
对象自身占用的内存大小，不包括它引用的对象。
针对非数组类型的对象，它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。
针对数组类型的对象，它的大小是数组元素对象的大小总和。
Retained Size
Retained Size=当前对象大小+当前对象可直接或间接引用到的对象的大小总和。(间接引用的含义：A->B->C, C就是间接引用)
换句话说，Retained Size就是当前对象被GC后，从Heap上总共能释放掉的内存。
不过，释放的时候还要排除被GC Roots直接或间接引用的对象。他们暂时不会被被当做Garbage。
**List objects --> with outgoing references **
：查看当前对象持有的外部对象引用（在对象关系图中为从当前对象指向外的箭头）
**List objects --> with incoming references **
：查看当前对象被哪些外部对象所引用（在对象关系图中为指向当前对象的箭头）
三、VM 实时监控
四、遇到过OOM
1、刚开始用eclipse 开发，没事就本地OOM
2、DateForm oom
3、POI 导出xls 包含图片
4、万恶的死循环
5、hashmap
6、websocket 大内存长久占用

事故：
1、遇到fullgc 了，oom了？完蛋
2、抓不出来dump ？完蛋
3、jmap、jstack 都用不了？完蛋

1、记录时间点
2、抓住一切日志可用日志（应用日志）
3、慢慢分析

参考
GC:https://www.cnblogs.com/wozixiaoyao/p/5658950.html
jstack：https://www.jianshu.com/p/08b816d9b34f
executable core：https://lydawen.iteye.com/blog/2215300
内存划分：https://www.cnblogs.com/haitaofeiyang/p/8392268.html
mat：http://www.cnblogs.com/trust-freedom/p/6744948.html#histogram
oom：https://mp.weixin.qq.com/s/kJe8WScwB4XcqRNE2vM7EA?