Go语言——goroutine并发模型参考:
Goroutine并发调度模型深度解析手撸一个协程池
Golang 的 goroutine 是如何实现的?
Golang - 调度剖析【第二部分】
OS线程初始栈为2MB 。Go语言中大佬眼中go语言 , 每个goroutine采用动态扩容方式大佬眼中go语言 , 初始2KB,按需增长,最大1G 。此外GC会收缩栈空间 。
BTW,增长扩容都是有代价的,需要copy数据到新的stack,所以初始2KB可能有些性能问题 。
更多关于stack的内容,可以参见大佬的文章 。聊一聊goroutine stack
用户线程的调度以及生命周期管理都是用户层面,Go语言自己实现的,不借助OS系统调用,减少系统资源消耗 。
Go语言采用两级线程模型,即用户线程与内核线程KSE(kernel scheduling entity)是M:N的 。最终goroutine还是会交给OS线程执行,但是需要一个中介,提供上下文 。这就是G-M-P模型
Go调度器有两个不同的运行队列:
go1.10\src\runtime\runtime2.go
Go调度器根据事件进行上下文切换 。
调度的目的就是防止M堵塞 , 空闲,系统进程切换 。
详见Golang - 调度剖析【第二部分】
Linux可以通过epoll实现网络调用,统称网络轮询器N(Net Poller) 。
文件IO操作
上面都是防止M堵塞,任务窃取是防止M空闲
每个M都有一个特殊的G,g0 。用于执行调度,gc,栈管理等任务,所以g0的栈称为调度栈 。g0的栈不会自动增长,不会被gc,来自os线程的栈 。
go1.10\src\runtime\proc.go
G没办法自己运行,必须通过M运行
M通过通过调度,执行G
从M挂载P的runq中找到G , 执行G
golang的线程模型——GMP模型内核线程(Kernel-Level Thread ,KLT)
轻量级进程(Light Weight Process,LWP):轻量级进程就是我们通常意义上所讲的线程,由于每个轻量级进程都由一个内核线程支持,因此只有先支持内核线程 , 才能有轻量级进程
用户线程与系统线程一一对应 , 用户线程执行如lo操作的系统调用时,来回切换操作开销相对比较大
多个用户线程对应一个内核线程,当内核线程对应的一个用户线程被阻塞挂起时候,其他用户线程也阻塞不能执行了 。
多对多模型是可以充分利用多核CPU提升运行效能的
go线程模型包含三个概念:内核线程(M),goroutine(G),G的上下文环境(P);
GMP模型是goalng特有的 。
P与M一般是一一对应的 。P(上下文)管理着一组G(goroutine)挂载在M(内核线程)上运行 , 图中左边蓝色为正在执行状态的goroutine,右边为待执行状态的goroutiine队列 。P的数量由环境变量GOMAXPROCS的值或程序运行runtime.GOMAXPROCS()进行设置 。
当一个os线程在执行M1一个G1发生阻塞时,调度器让M1抛弃P,等待G1返回 , 然后另起一个M2接收P来执行剩下的goroutine队列(G2、G3...),这是golang调度器厉害的地方,可以保证有足够的线程来运行剩下所有的goroutine 。
当G1结束后,M1会重新拿回P来完成 , 如果拿不到就丢到全局runqueue中,然后自己放到线程池或转入休眠状态 。空闲的上下文P会周期性的检查全局runqueue上的goroutine,并且执行它 。
另一种情况就是当有些P1太闲而其他P2很忙碌的时候 , 会从其他上下文P2拿一些G来执行 。
详细可以翻看下方第一个参考链接,写得真好 。
最后用大佬的总结来做最后的收尾————
Go语言运行时,通过核心元素G , M,P 和 自己的调度器,实现了自己的并发线程模型 。调度器通过对G,M,P的调度实现了两级线程模型中操作系统内核之外的调度任务 。整个调度过程中会在多种时机去触发最核心的步骤 “一整轮调度”,而一整轮调度中最关键的部分在“全力查找可运行G”,它保证了M的高效运行(换句话说就是充分使用了计算机的物理资源),一整轮调度中还会涉及到M的启用停止 。最后别忘了,还有一个与Go程序生命周期相同的系统监测任务来进行一些辅助性的工作 。
浅析Golang的线程模型与调度器
Golang CSP并发模型
Golang线程模型
Go语言使用 map 时尽量不要在 big map 中保存指针 不知道你有没有听过这么一句:在使用 map 时尽量不要在 big map 中保存指针 。好吧大佬眼中go语言,你现在已经听过大佬眼中go语言了:)为什么呢?原因在于 Go 语言的垃圾回收器会扫描标记 map 中的所有元素大佬眼中go语言 , GC 开销相当大,直接GG 。
这两天在《Mastering Go》中看到 GC 这一章节里面对比 map 和 slice 在垃圾回收中的效率对比,书中只给出结论没有说明理由,这大佬眼中go语言我是不能忍的,于是有了这篇学习笔记 。扯那么多,Show Your Code
这是一个简单的测试程序,保存字符串的 map 和 保存整形的 map GC 的效率相差几十倍 , 是不是有同学会说明明保存的是 string 哪有指针?这个要说到 Go 语言中 string 的底层实现了,源码在 src/runtime/string.go里,可以看到 string 其实包含一个指向数据的指针和一个长度字段 。注意这里的是否包含指针,包括底层的实现 。
Go 语言的 GC 会递归遍历并标记所有可触达的对象,标记完成之后将所有没有引用的对象进行清理 。扫描到指针就会往下接着寻找,一直到结束 。
Go 语言中 map 是基于 数组和链表 的数据结构实现的,通过 优化的拉链法 解决哈希冲突 , 每个 bucket 可以保存8对键值,在8个键值对数据后面有一个 overflow 指针,因为桶中最多只能装8个键值对,如果有多余的键值对落到了当前桶 , 那么就需要再构建一个桶(称为溢出桶),通过 overflow 指针链接起来 。
因为 overflow 指针的缘故,所以无论 map 保存的是什么 , GC 的时候就会把所有的 bmap 扫描一遍,带来巨大的 GC 开销 。官方 issues 就有关于这个问题的讨论,runtime: Large maps cause significant GC pauses #9477
无脑机翻如下:
如果我们有一个map [k] v,其中k和v都不包含指针,并且我们想提高扫描性能,则可以执行以下操作 。
将“ allOverflow [] unsafe.Pointer”添加到 hmap 并将所有溢出存储桶存储在其中 。然后将 bmap 标记为noScan 。这将使扫描非常快,因为我们不会扫描任何用户数据 。
实际上,它将有些复杂 , 因为我们需要从allOverflow中删除旧的溢出桶 。而且它还会增加 hmap 的大小,因此也可能需要重新整理数据 。
最终官方在 hmap 中增加了overflow相关字段完成了上面的优化,这是具体的commit地址 。
下面看下具体是如何实现的,源码基于 go1.15,src/cmd/compile/internal/gc/reflect.go 中
【大佬眼中go语言 大佬眼中go语言怎么说】 通过注释可以看出,如果 map 中保存的键值都不包含指针(通过 Haspointers 判断),就使用一个 uintptr 类型代替 bucket 的指针用于溢出桶 overflow 字段,uintptr 类型在 GO 语言中就是个大小可以保存得下指针的整数,不是指针,就相当于实现了 将 bmap 标记为 noScan,GC 的时候就不会遍历完整个 map 了 。随着不断的学习 , 愈发感慨 GO 语言中很多模块设计得太精妙了 。
差不多说清楚了,能力有限 , 有不对的地方欢迎留言讨论,源码位置还是问的群里大佬 _
各位大佬 , 自学golang大概需要多久为什么要学习GO语言,GO的优势是什么?
1、 Go有什么优势
Go的优势
1:性能
2:语言性能很重要
3:开发者效率不要过于创新
4:并发性通道
5:快速的编译时间
6:打造团队的能力
7:强大的生态系统
8:GOFMT,强制代码格式
9:gRPC 和 Protocol Buffers
可直接编译成机器码,不依赖其他库,glibc的版本有一定要求,部署就是扔一个文件上去就完成了 。
静态类型语言,但是有动态语言的感觉,静态类型的语言就是可以在编译的时候检查出来隐藏的大多数问题,动态语言的感觉就是有很多的包可以使用,写起来的效率很高 。
第一阶段:区块链行业及Go编程 5周
第二阶段:密码学与共识算法 2周
第三阶段:以太坊源码解析与开发 3周
第四阶段:超级账本与Node.js 2周
第五阶段:比特币EOS 4周
第六阶段:项目综合性实战
关于大佬眼中go语言和大佬眼中go语言怎么说的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。
推荐阅读
- 新媒体运营如何看待,如何看待新媒体运营中的用户参与
- 怎么设置固态硬盘兼容,固态硬盘怎么设置系统盘
- 两个js函数怎么做同步的简单介绍
- python爬虫移动端,python爬虫app数据
- go语言量化 go语言 gc
- 路由器怎么保存最好的密码,保存路由器配置信息的命令
- 如何将知识胶囊放在ppt,如何将知识胶囊转化成视频
- ppt怎么图片飞入效果,ppt如何设置图片飞入
- c语言函数题 c语言函数题怎么做