识字粗堪供赋役,不须辛苦慕公卿。这篇文章主要讲述Linux CPU 平均负载和利用率是什么关系?相关的知识,希望能为你提供帮助。
一、平均负载作为系统管理员,我们会经常遇到服务器负载比较高,我们一般都是会快速登录到服务器上面,使用 ??top?
? 或者 ??uptime?
? 指令来查看 CPU 的负载情况,以及哪个进程占用 CPU 比较高。当发现 ??load average?
? 数字超过 CPU 核心数的时候,就认为业务量太大,CPU 不够了,需要提升 CPU 的个数,那么负载高真的就是 CPU 的使用率高么?
wangzan:~ $ uptime
01:58:09 up 253 days, 10:27,0 users,load average: 0.66, 0.67, 0.70
什么是平均负载?
我们知道最后三个数字呢,依次则是过去 1 分钟、5 分钟、15 分钟的平均负载(Load Average)。
我猜很多人会认为平均负载就是单位时间内的 CPU 使用率,比如上面的 ?
?0.66?
?,会认为目前的 CPU 使用率是 66%,但其实并不是这样的,我们可以通过 ??man uptime?
? 来查看一下平均负载的详细解释。System load averages is the average number of processes that are either in a runnable or uninterruptable state.A process in a runnable state is eitherusingtheCPUor简单来说,平均负载是指单位时间内,系统处于可运行状态和不可中断状态的平均进程数,也就是平均活跃进程数,它和 CPU 使用率并没有直接关系。
waiting to use the CPU.A process in uninterruptable state is waiting for some I/O access, eg waiting for disk.The averages are taken over the three time intervals.Load
averages are not normalized for the number of CPUs in a system, so a load average of 1 means a single CPU system is loaded all the time while on a 4 CPU system itmeansit
was idle 75% of the time.
- 所谓可运行状态的进程,是指正在使用 CPU 或者正在等待 CPU 的进程。
- 不可中断状态的进程则是正处于内核态关键流程中的进程,并且这些流程是不可打断的,比如最常见的是等待硬件设备的 I/O 响应。不可中断状态实际上是系统对进程和硬件设备的一种保护机制。
平均负载为2,代表什么意思
既然平均的是活跃进程数,那么最理想的,就是每个 CPU 上都刚好运行着一个进程,这样每个 CPU 都得到了充分利用。比如当平均负载为 2 时,意味着什么呢?
- 在只有 2 个 CPU 的系统上,意味着所有的 CPU 都刚好被完全占用。
- 在 4 个 CPU 的系统上,意味着 CPU 有 50% 的空闲。
- 而在只有 1 个 CPU 的系统中,则意味着有一半的进程竞争不到 CPU。
平均负载最理想的情况是等于 CPU 个数。所以在评判平均负载时,首先你要知道系统有几个 CPU,这可以通过 top 命令或者从文件 /proc/cpuinfo 中读取。
wangzan:~ $ grep model name /proc/cpuinfo | wc -l
2
负载达到多少需要我们关注
当平均负载高于 CPU 数量 70% 的时候,你就应该分析排查负载高的问题了。一旦负载过高,就可能导致进程响应变慢,进而影响服务的正常功能。
二、平均负载和 CPU 使用率平均负载是指单位时间内,处于可运行状态和不可中断状态的进程数。所以,它不仅包括了正在使用 CPU 的进程,还包括等待 CPU 和等待 I/O 的进程。
而 CPU 使用率,是单位时间内 CPU 繁忙情况的统计,跟平均负载并不一定完全对应。比如:
- CPU 密集型进程,使用大量 CPU 会导致平均负载升高,此时这两者是一致的;
- I/O 密集型进程,等待 I/O 也会导致平均负载升高,但 CPU 使用率不一定很高;
- 大量等待 CPU 的进程调度也会导致平均负载升高,此时的 CPU 使用率也会比较高。
- 操作系统:Aliyun Ubuntu 18.04
- 机器配置:2 CPU,4GB 内存。
- 预先安装 stress 和 sysstat 包,如 sudo apt install stress sysstat。
mpstat 是一个常用的多核 CPU 性能分析工具,用来实时查看每个 CPU 的性能指标,以及所有 CPU 的平均指标。
pidstat 是一个常用的进程性能分析工具,用来实时查看进程的 CPU、内存、I/O 以及上下文切换等性能指标。
场景一:CPU 密集型进程
窗口1:
在第一个终端运行 stress 命令,模拟一个 CPU 使用率 100% 的场景:
root@wangzan:~# stress --cpu 1 --timeout 600
stress: info: [3218] dispatching hogs: 1 cpu, 0 io, 0 vm, 0 hdd
窗口2:
在第二个终端运行 uptime 查看平均负载的变化情况:
# -d 参数表示高亮显示变化的区域
root@wangzan:~# watch -d uptime
11:19:22 up 6 min,3 users,load average: 0.96, 0.50, 0.20
窗口3:
第三个终端运行 mpstat 查看 CPU 使用率的变化情况:
# -P ALL 表示监控所有 CPU,后面数字 5 表示间隔 5 秒后输出一组数据
root@wangzan:~# mpstat -P ALL 5
Linux 4.15.0-169-generic (wangzan)03/17/2022_x86_64_(2 CPU)
11:16:51 AMCPU%usr%nice%sys %iowait%irq%soft%steal%guest%gnice%idle
11:16:56 AMall50.250.000.200.100.000.000.000.000.0049.45
11:16:56 AM00.400.000.400.000.000.000.000.000.0099.20
11:16:56 AM1100.000.000.000.000.000.000.000.000.000.00
从终端二中可以看到,1 分钟的平均负载会慢慢增加到 1.00,而从终端三中还可以看到,正好有一个 CPU 的使用率为 100%,但它的 iowait 只有 0。这说明,平均负载的升高正是由于 CPU 使用率为 100% 。
那么,到底是哪个进程导致了 CPU 使用率为 100% 呢?你可以使用 pidstat 来查询,当然你也可以使用 top 查看,这都是可以的。
# 间隔 5 秒后输出一组数据
root@wangzan:~# pidstat -u 5 1
11:19:43 AMUIDPID%usr %system%guest%wait%CPUCPUCommand
11:19:48 AM0321999.800.000.000.0099.800stress
从这里可以明显看到,stress 进程的 CPU 使用率为 99.80%。
场景二:I/O 密集型进程
窗口1:
这次模拟 I/O 压力,即不停地执行 sync
root@wangzan:~# stress -i 1 --timeout 600
窗口2:
在第二个终端运行 uptime 查看平均负载的变化情况:
# -d 参数表示高亮显示变化的区域
root@wangzan:~# watch -d uptime
11:23:11 up 9 min,3 users,load average: 1.15, 0.82, 0.40
窗口3:
第三个终端运行 mpstat 查看 CPU 使用率的变化情况:
# 显示所有 CPU 的指标,并在间隔 5 秒输出一组数据
root@wangzan:~# mpstat -P ALL 5 1
Linux 4.15.0-169-generic (wangzan)03/17/2022_x86_64_(2 CPU)
11:22:01 AMCPU%usr%nice%sys %iowait%irq%soft%steal%guest%gnice%idle
11:22:06 AMall0.210.0012.417.030.000.000.000.000.0080.35
11:22:06 AM00.210.004.2214.140.000.000.000.000.0081.43
11:22:06 AM10.000.0020.280.200.000.000.000.000.0079.51
从这里可以看到,1 分钟的平均负载会慢慢增加到 1.15,其中一个 CPU 的系统 CPU 使用率升高到了 20.28,而 iowait 14.14%。这说明,平均负载的升高是由于 iowait 的升高。
那么到底是哪个进程,导致 iowait 这么高呢?我们还是用 pidstat 来查询:
root@wangzan:~# pidstat -d 5 1
Linux 4.15.0-169-generic (wangzan)03/17/2022_x86_64_(2 CPU)
11:32:56 AMUIDPIDkB_rd/skB_wr/s kB_ccwr/s iodelayCommand
11:33:01 AM049440.000.000.00363stress
场景三:大量进程的场景
窗口1:
这次模拟的是 8 个进程
root@wangzan:~# stress -c 8 --timeout 600
stress: info: [4061] dispatching hogs: 8 cpu, 0 io, 0 vm, 0 hdd
窗口2:
在第二个终端运行 uptime 查看平均负载的变化情况:
# -d 参数表示高亮显示变化的区域
root@wangzan:~# watch -d uptime
11:27:06 up 13 min,3 users,load average: 6.52, 2.75, 1.19
窗口3:
第三个终端运行 pidstat 或者 htop 查看 CPU 使用率的变化情况:
root@wangzan:~# pidstat -u 5 1
Linux 4.15.0-169-generic (wangzan)03/17/2022_x86_64_(2 CPU)
11:29:07 AMUIDPID%usr %system%guest%wait%CPUCPUCommand
11:29:12 AM09350.400.000.000.000.400AliYunDun
11:29:12 AM032200.000.200.000.400.201watch
11:29:12 AM0406224.800.000.0075.4024.800stress
11:29:12 AM0406325.000.000.0075.2025.001stress
11:29:12 AM0406424.800.000.0075.0024.801stress
11:29:12 AM0406525.000.000.0075.0025.001stress
11:29:12 AM0406625.000.000.0075.0025.000stress
11:29:12 AM0406725.000.000.0075.2025.000stress
11:29:12 AM0406824.800.000.0075.2024.801stress
11:29:12 AM0406924.600.000.0075.4024.600stress
11:29:12 AM048540.000.200.000.000.201pidstat
可以看出,8 个进程在争抢 2 个 CPU,每个进程等待 CPU 的时间(也就是代码块中的 %wait 列)高达 75%。这些超出 CPU 计算能力的进程,最终导致 CPU 过载。
小结平均负载提供了一个快速查看系统整体性能的手段,反映了整体的负载情况。但只看平均负载本身,我们并不能直接发现,到底是哪里出现了瓶颈。所以,在理解平均负载时,也要注意:
- 平均负载高有可能是 CPU 密集型进程导致的;
- 平均负载高并不一定代表 CPU 使用率高,还有可能是 I/O 更繁忙了;
- 当发现负载高的时候,你可以使用 mpstat、pidstat、htop 等工具,辅助分析负载的来源。
文章图片
推荐阅读
- linux之read命令
- 深入理解http1.xhttp 2和https
- NoSQL数据库之Memcached的认识及安装使用
- 使用while循环语句做猜价格游戏
- 监控cpu 内存 根分区使用率
- 简单介绍python中使用正则表达式的方法
- Kubernetes的包管理器—Helm
- 一图看懂pod亲和性调度策略,再也不担心学不废了!
- mysql主从搭建(二进制脚本安装)