锐客网

  1. 首页 > 睿知 > it技术 > >

go语言调度器起源 go 调度模型

IT技术执行

Go语言——goroutine并发模型参考：
Goroutine并发调度模型深度解析手撸一个协程池
Golang 的 goroutine 是如何实现的？
Golang - 调度剖析【第二部分】
OS线程初始栈为2MB 。Go语言中，每个goroutine采用动态扩容方式 ， 初始2KB，按需增长，最大1G 。此外GC会收缩栈空间 。
BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题 。
更多关于stack的内容，可以参见大佬的文章 。聊一聊goroutine stack
用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的，不借助OS系统调用，减少系统资源消耗 。
Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的 。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文 。这就是G-M-P模型
Go调度器有两个不同的运行队列：
go1.10\src\runtime\runtime2.go
Go调度器根据事件进行上下文切换 。
调度的目的就是防止M堵塞，空闲，系统进程切换 。
详见Golang - 调度剖析【第二部分】
Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller） 。
文件IO操作
上面都是防止M堵塞，任务窃取是防止M空闲
每个M都有一个特殊的G，g0 。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈 。g0的栈不会自动增长，不会被gc，来自os线程的栈 。
go1.10\src\runtime\proc.go
G没办法自己运行 ， 必须通过M运行
M通过通过调度 ， 执行G
从M挂载P的runq中找到G，执行G
golang csp 模型调度器 由三方面实体构成：
三者对应关系：
上图有2个 物理线程 Mgo语言调度器起源，每一个 M 都拥有一个上下文（P）go语言调度器起源，每一个也都有一个正在运行的goroutine（G） 。
P 的数量可由runtime.GOMAXPROCS()进行设置go语言调度器起源 ， 它代表了真正的并发能力go语言调度器起源，即可有多少个 goroutine 同时运行 。
调度器为什么要维护多个上下文P 呢go语言调度器起源？ 因为当一个物理线程 M 被阻塞时 ， P 可以转而投奔另一个OS线程 M （即 P 带着 G 连茎拔起，去另一个 M 节点下运行） 。这是 Golang调度器厉害的地方，也是高并发能力的保障 。
Golang的调度模型Go有四大核心模块，基本全部体现在runtime，有调度系统、GC、goroutine、channel，那么深入理解其中的精髓可以帮助我们理解Go这一门语言！
参考: 调度系统设计精要
下面是我用Go语言简单写的一个调度器，大家可以看看设计思路，以及存在的问题！
1、测试条件，调度器只启动两个线程，然后一个线程主要是负责循环的添加任务，一个线程循环的去执行任务
2、测试条件，调度器启动三个线程，然后两个线程去执行任务，一个添加任务
3、继续测试 ， 启动十个线程，一个添加任务 ， 九个执行任务
4、我们添加一些阻塞的任务
执行可以看到完全不可用
1、 可以看到随着M的不断的增加，可以发现执行任务的数量也不断的减少 ， 原因是什么呢？有兴趣的同学可以加一个pprof可以看看，其实大量的在等待锁的过程！
2、如果我的M运行了类似于Sleep操作的方法如何解决了，我的调度器还能支撑这个量级的调度吗？
关于pprof如何使用：在代码头部加一个这个代码：
我们查看一下go tool pprof main/prof.pporf
可以看到真正执行代码的时间只有 0.17s + 0.02s 其他时间都被阻塞掉了！
1、GM模型中的所有G都是放入到一个queue ， 那么导致所有的M取执行任务时都会去竞争锁，我们插入G也会去竞争锁，所以解决这种问题一般就是减少对单一资源的竞争，那就是桶化，其实就是每个线程都分配一个队列

推荐阅读


上一篇：js字符串指定位置翻转，js字符串方法

下一篇：快手王者为啥直播不了了，快手直播打王者荣耀怎么看不见说话