浅谈Python的GIL机制
python多线程
【浅谈Python的GIL机制】实验:
- 开启两个线程
- 一个线程sleep 4s 死循环打印
- 另外一个线程sleep 1s 死循环打印
会正常的交替运行
结论:一个线程被阻塞的时候,CPU会被释放,然后另外一个线程被执行。。
使用python为例子 参考资料:
[http://zhuoqiang.me/python-thread-gil-and-ctypes.html](http://zhuoqiang.me/python-thread-gil-and-ctypes.html)
所有Thread的PID都与主程序相同,而每个Process都有一个不同的PID要
单线程 使用如下的代码:
#!coding=utf8
"""
使用多核
"""
import sys
sys.path.append('../../')if __name__ == "__main__":
print("start run here")
while True:
a = 4 / 34.0
print('end run here')
开始运行前
文章图片
image.png 使用
python expmultiprocess.py
开始运行后
文章图片
image.png 可以看出,占满一个核心的所有资源了。
主线程外再开启一个线程
文章图片
image.png 可以看出:
- 有两个进程号。PID是不一样的。
- 所有的CPU并没有占満
- 单进程单线程可以占用并占满一个核心。
- 单进程多线程可以占用多核心但无法占满,只会分时复用。
GIL 的全程为 Global Interpreter Lock ,意即全局解释器锁。
在 Python 语言的主流实现 CPython 中,GIL 是一个货真价实的全局线程锁,在解释器解释执行任何 Python 代码时,都需要先获得这把锁才行,在遇到 I/O 操作时会释放这把锁。如果是纯计算的程序,没有 I/O 操作,解释器会每隔 100 次操作就释放这把锁,让别的线程有机会执行,这个次数可以通过sys.setcheckinterval。
所以虽然 CPython 的线程库直接封装操作系统的原生线程,但 CPython 进程做为一个整体,同一时间只会有一个获得了 GIL 的线程在跑,其它的线程都处于等待状态等着 GIL 的释放。这也就解释了我们上面的实验结果:虽然有两个死循环的线程,而且有两个物理 CPU 内核,但因为 GIL 的限制,两个线程只是做着分时切换,总的 CPU 占用率还略低于 50%。
以java为例子 Java的多线程是完全可以把多个核心跑满的。
package com.data;
public class ThreadDemo extends Thread {public ThreadDemo() {}public void run() {while (true) {continue;
}}public static void main(String[] args) {try {ThreadDemo h1 = new ThreadDemo();
h1.start();
ThreadDemo h2 = new ThreadDemo();
h2.start();
ThreadDemo h3 = new ThreadDemo();
h3.start();
h1.join();
h2.join();
h3.join();
} catch (InterruptedException e) {// TODO Auto-generated catch blocke.printStackTrace();
}}}
里面开启了三个线程,然后CPU三个核心都跑满了。
文章图片
image.png 使用pyspark运行 Python可以通过一些专门的数据处理框架来实现高效利用CPU,直接所有的核心都利用起来了。不用自己再去写并行计算的内容结构了。
文章图片
image.png
推荐阅读
- 热闹中的孤独
- JAVA(抽象类与接口的区别&重载与重写&内存泄漏)
- 放屁有这三个特征的,请注意啦!这说明你的身体毒素太多
- 一个人的旅行,三亚
- 布丽吉特,人生绝对的赢家
- 慢慢的美丽
- 尽力
- 一个小故事,我的思考。
- 家乡的那条小河
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量