【golang详解】go语言GMP(GPM)原理和调度Goroutine调度是一个很复杂的机制,下面尝试用简单的语言描述一下Goroutine调度机制,想要对其有更深入的了解可以去研读一下源码 。
首先介绍一下GMP什么意思:
G ----------- goroutine: 即Go协程,每个go关键字都会创建一个协程 。
M ---------- thread内核级线程,所有的G都要放在M上才能运行 。
P ----------- processor处理器,调度G到M上,其维护了一个队列,存储了所有需要它来调度的G 。
Goroutine 调度器P和 OS 调度器是通过 M 结合起来的,每个 M 都代表了 1 个内核线程,OS 调度器负责把内核线程分配到 CPU 的核上执行
模型图:
避免频繁的创建、销毁线程,而是对线程的复用 。
1)work stealing机制
当本线程无可运行的G时 , 尝试从其他线程绑定的P偷取G,而不是销毁线程 。
2)hand off机制
当本线程M0因为G0进行系统调用阻塞时,线程释放绑定的P,把P转移给其他空闲的线程执行 。进而某个空闲的M1获取P,继续执行P队列中剩下的G 。而M0由于陷入系统调用而进被阻塞,M1接替M0的工作,只要P不空闲,就可以保证充分利用CPU 。M1的来源有可能是M的缓存池 , 也可能是新建的 。当G0系统调用结束后,根据M0是否能获取到P,将会将G0做不同的处理:
如果有空闲的P , 则获取一个P,继续执行G0 。
如果没有空闲的P,则将G0放入全局队列,等待被其他的P调度 。然后M0将进入缓存池睡眠 。
如下图
GOMAXPROCS设置P的数量,最多有GOMAXPROCS个线程分布在多个CPU上同时运行
在Go中一个goroutine最多占用CPU 10ms,防止其他goroutine被饿死 。
具体可以去看另一篇文章
【Golang详解】go语言调度机制 抢占式调度
当创建一个新的G之后优先加入本地队列,如果本地队列满了,会将本地队列的G移动到全局队列里面 , 当M执行work stealing从其他P偷不到G时,它可以从全局G队列获取G 。
协程经历过程
我们创建一个协程 go func()经历过程如下图:
说明:
这里有两个存储G的队列,一个是局部调度器P的本地队列、一个是全局G队列 。新创建的G会先保存在P的本地队列中 , 如果P的本地队列已经满了就会保存在全局的队列中;处理器本地队列是一个使用数组构成的环形链表,它最多可以存储 256 个待执行任务 。
G只能运行在M中,一个M必须持有一个P,M与P是1:1的关系 。M会从P的本地队列弹出一个可执行状态的G来执行,如果P的本地队列为空,就会想其他的MP组合偷取一个可执行的G来执行;
一个M调度G执行的过程是一个循环机制;会一直从本地队列或全局队列中获取G
上面说到P的个数默认等于CPU核数,每个M必须持有一个P才可以执行G,一般情况下M的个数会略大于P的个数 , 这多出来的M将会在G产生系统调用时发挥作用 。类似线程池,Go也提供一个M的池子,需要时从池子中获取,用完放回池子,不够用时就再创建一个 。
work-stealing调度算法:当M执行完了当前P的本地队列队列里的所有G后,P也不会就这么在那躺尸啥都不干,它会先尝试从全局队列队列寻找G来执行,如果全局队列为空,它会随机挑选另外一个P,从它的队列里中拿走一半的G到自己的队列中执行 。
如果一切正常,调度器会以上述的那种方式顺畅地运行,但这个世界没这么美好,总有意外发生,以下分析goroutine在两种例外情况下的行为 。
Go runtime会在下面的goroutine被阻塞的情况下运行另外一个goroutine:
用户态阻塞/唤醒
当goroutine因为channel操作或者network I/O而阻塞时(实际上golang已经用netpoller实现了goroutine网络I/O阻塞不会导致M被阻塞,仅阻塞G , 这里仅仅是举个栗子),对应的G会被放置到某个wait队列(如channel的waitq),该G的状态由_Gruning变为_Gwaitting,而M会跳过该G尝试获取并执行下一个G,如果此时没有可运行的G供M运行,那么M将解绑P,并进入sleep状态;当阻塞的G被另一端的G2唤醒时(比如channel的可读/写通知),G被标记为,尝试加入G2所在P的runnext(runnext是线程下一个需要执行的 Goroutine 。),然后再是P的本地队列和全局队列 。
系统调用阻塞
当M执行某一个G时候如果发生了阻塞操作,M会阻塞,如果当前有一些G在执行,调度器会把这个线程M从P中摘除,然后再创建一个新的操作系统的线程(如果有空闲的线程可用就复用空闲线程)来服务于这个P 。当M系统调用结束时候,这个G会尝试获取一个空闲的P执行 , 并放入到这个P的本地队列 。如果获取不到P,那么这个线程M变成休眠状态,加入到空闲线程中,然后这个G会被放入全局队列中 。
队列轮转
可见每个P维护着一个包含G的队列,不考虑G进入系统调用或IO操作的情况下,P周期性的将G调度到M中执行,执行一小段时间 , 将上下文保存下来,然后将G放到队列尾部,然后从队列中重新取出一个G进行调度 。
除了每个P维护的G队列以外,还有一个全局的队列,每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行,全局队列中G的来源,主要有从系统调用中恢复的G 。之所以P会周期性地查看全局队列,也是为了防止全局队列中的G被饿死 。
除了每个P维护的G队列以外,还有一个全局的队列,每个P会周期性地查看全局队列中是否有G待运行并将其调度到M中执行,全局队列中G的来源,主要有从系统调用中恢复的G 。之所以P会周期性地查看全局队列 , 也是为了防止全局队列中的G被饿死 。
M0
M0是启动程序后的编号为0的主线程,这个M对应的实例会在全局变量rutime.m0中,不需要在heap上分配,M0负责执行初始化操作和启动第一个G,在之后M0就和其他的M一样了
G0
G0是每次启动一个M都会第一个创建的goroutine,G0仅用于负责调度G,G0不指向任何可执行的函数,每个M都会有一个自己的G0,在调度或系统调用时会使用G0的栈空间,全局变量的G0是M0的G0
一个G由于调度被中断,此后如何恢复?
中断的时候将寄存器里的栈信息 , 保存到自己的G对象里面 。当再次轮到自己执行时,将自己保存的栈信息复制到寄存器里面,这样就接着上次之后运行了 。
我这里只是根据自己的理解进行了简单的介绍,想要详细了解有关GMP的底层原理可以去看Go调度器 G-P-M 模型的设计者的文档或直接看源码
参考:()
()
Go语言的跨平台能力到底有多强?看完你就知道了对比于其他语言的程序 , Go语言的跨平台能力是真的强 , 拿.Net和JAVA来说吧,.Net在.Net core出现之前是不能跨平台的,只能在windows上编译运行,即使是.net core出现以后,跨平台的程序也是相当的麻烦 。而java虽然一直都可以跨平台,但是运行JAVA程序的机器上也必须要有JAVA程序运行环境JRE 。而相对于Go程序,跨平台就简单的多了,只需要在编译指定目标程序运行的架构和环境即可编译出指定操作系统和架构的程序 。
以上是指定了go的环境变量后执行的go build命令进行目标程序的构建,这种方式会一直生效的,如果不让他一直生效,可以在构建的时候临时指定环境变量,下面以window的环境为例,来介绍临时指定环境变量的方式构建可以在Linux环境下运行的可执行程序:
可以根据不同的架构和操作系统将其编写为不同的.bat的可执行文件放置在程序的根目录,Linux的和MAC的也一样编写成脚本文件放置在程序的根目录,这样在构建的时候就不用再敲命令了,直接运行脚本就可以了 。
Java程序编译打包后为war包或者是java包,必须执行java -jar 命令或者将其放置到tomcat的指定目录下,运行tomcat程序 。而Go语言编写的程序最终为可执行的文件(window下编译出的是.exe的可执行文件) , 只需要将其赋予可执行的权限就可以直接运行了 。
【go语言跨平台的原理 go语言跨平台的原理和方法】构建JAVA程序的镜像需要指定java的基础镜像,否则就需要在镜像中安装java的运行环境了,下面展示的是构建的一个JAVA程序的镜像 , 构建出来镜像的体积相对比较大
而Go程序制作出的镜像就不需要安装任何的依赖环境,因为他在打包的时候就已经将依赖的包一块打包到一起了
拿着这个镜像就可以到处运行了 。
通过对比我们可以发现,如果没有之前的技术和业务的积累 , 重新开发一个新的项目,使用go去开发无疑是最容易上手的,所以现在很多公司都使用go进行开发 , 也逐渐将其他语言的项目逐步的用go语言进行改造 。其实用什么语言不重要,合适的才重要,开发项目在选择语言的时候也会综合多方面来考虑选择合适的语言和架构 , 毕竟很多公司都不是搞研究的,都需要项目来赚钱,所以开发的速度、客户的满意度、项目交付的时间才是驱动公司技术的主要因素 。
我们个人也应该不断完善自己的技术栈,不应该太依靠某种语言,最重要的还是自己的架构思想和底层架构知识 , 只有掌握了这些才能够不被 社会 和公司“优化” 。
为什么要使用 Go 语言?Go 语言的优势在哪里?1、简单易学 。
Go语言go语言跨平台的原理的作者本身就很懂C语言go语言跨平台的原理 , 所以同样Go语言也会有C语言go语言跨平台的原理的基因go语言跨平台的原理,所以对于程序员来说,Go语言天生就会让人很熟悉 , 容易上手 。
2、并发性好 。
Go语言天生支持并发,可以充分利用多核,轻松地使用并发 。这是Go语言最大的特点 。
描述
Go的语法接近C语言 , 但对于变量的声明有所不同 。Go支持垃圾回收功能 。Go的并行模型是以东尼·霍尔的通信顺序进程(CSP)为基础,采取类似模型的其go语言跨平台的原理他语言包括Occam和Limbo,但它也具有Pi运算的特征 , 比如通道传输 。
在1.8版本中开放插件(Plugin)的支持,这意味着现在能从Go中动态加载部分函数 。
与C相比,Go并不包括如枚举、异常处理、继承、泛型、断言、虚函数等功能,但增加了 切片(Slice) 型、并发、管道、垃圾回收、接口(Interface)等特性的语言级支持 。
为什么要使用 Go 语言,Go 语言的优势在哪里已经有好多程序员都把Go语言描述为是一种所见即所得(WYSIWYG)的编程语言 。这是说,代码要做的事和它在字面上表达的意思是完全一致的 。在这些新语言中 , 包含D,Go,Rust和Vala语言,Go曾一度出现在TIOBE的排行榜上面 。与其他新语言相比,Go的魅力明显要大很多 。Go的成熟特征会得到许多开发者的欣赏,而不仅仅是因为其夸大其词的曝光度 。下面我们来一起探讨一下谷歌开发的Go语言以及谈谈Go为什么会吸引众多开发者: 快速简单的编译 Go编译速度很快,如此快速的编译使它很容易作为脚本语言使用 。关于编译速度快主要有以下几个原因:首先,Go不使用头文件;其次如果一个模块是依赖A的,这反过来又取决于B,在A里面的需求改变只需重新编译原始模块和与A相依赖的地方;最后,对象模块里面包含了足够的依赖关系信息,所以编译器不需要重新创建文件 。你只需要简单地编译主模块,项目中需要的其他部分就会自动编译,很酷 , 是不是? 通过返回数值列表来处理错误信息 目前,在本地语言里面处理错误的方式主要有两种:直接返回代码或者抛异常 。这两种都不是最理想的处理方式 。其中返回代码是非常令人沮丧的,因为返回的错误代码经常与从函数中返回的数据相冲突 。Go允许函数返回多个值来解决这个问题 。这个从函数里面返回的值,可以用来检查定义的类型是否正确并且可以随时随地对函数的返回值进行检查 。如果你对错误值不关心,你可以不必检查 。在这两种情况下,常规的返回值都是可用的 。简化的成分(优先于继承) 通过使用接口,类型是有资格成为对象中一员的,就像Java指定行为一样 。例如在标准库里面的IO包,定义一个Writer来指定一个方法,一个Writer函数,其中输入参数是字节数组并且返回整数类型值或者错误类型 。任何类型实现一个带有相同签名的Writer方法是对IO的完全实现,Writer接口 。这种是解耦代码而不是优雅 。它还简化了模拟对象来进行单元测试 。例如你想在数据库对象中测试一个方法 , 在标准语言中 , 你通常需要创建一个数据库对象 , 并且需要进行大量的初始化和协议来模拟对象 。在Go里面,如果该方法需要实现一个接口 , 你可以创建任何对该接口有用的对象,所以,你创建了MockDatabase,这是很小的对象,只实现了几个需要运行和模拟的接口——没有构造函数,没有附件功能,只是一些方法 。简化的并发性 相对于其他语言,并发性在Go里面显得更加容易 。把‘go’关键字放在任意函数前面然后那个函数就会在其go-routine自动运行(一个很轻的线程) 。go-routines是通过通道进行交流并且基本上封锁了所有的队列消息 。普通工具对相互排斥是有用 , 但是Go通过使用通道来踢掉并发性任务和坐标更加容易 。优秀的错误消息 所有与Go相似的语言,自身作出的诊断都是无法与Go相媲美的 。例如,一个死锁程序,在Go运行时会通知你目前哪个线程导致了这种死锁 。编译的错误信息是非常详细全面和有用的 。其他 这里还有许多其他吸引人的地方,下面就一概而过的介绍一下 , 比如高阶函数、垃圾回收、哈希映射和可扩展的数组内置语言(部分语言语法,而不是作为一个库)等等 。当然,Go并不是完美无瑕 。在工具方面还有些不成熟的地方和用户社区较小等,但是随着谷歌语言的不断发展 , 肯定会有整治措施出来 。尽管许多语言,尤其是D、Rust和Vala旨在简化C并且对其进行简化,但它们给人的感觉仍是“C看上去要更好” 。
【Go语言的优势】
可直接编译成机器码,不依赖其他库 , glibc的版本有一定要求,部署就是扔一个文件上去就完成了 。
静态类型语言,但是有动态语言的感觉,静态类型的语言就是可以在编译的时候检查出来隐藏的大多数问题,动态语言的感觉就是有很多的包可以使用,写起来的效率很高 。
语言层面支持并发,这个就是Go最大的特色 , 天生的支持并发,我曾经说过一句话 , 天生的基因和整容是有区别的,大家一样美丽,但是你喜欢整容的还是天生基因的美丽呢?Go就是基因里面支持的并发,可以充分的利用多核,很容易的使用并发 。
内置runtime,支持垃圾回收,这属于动态语言的特性之一吧,虽然目前来说GC不算完美,但是足以应付我们所能遇到的大多数情况 , 特别是Go1.1之后的GC 。
简单易学,Go语言的作者都有C的基因,那么Go自然而然就有了C的基因 , 那么Go关键字是25个,但是表达能力很强大,几乎支持大多数你在其他语言见过的特性:继承、重载、对象等 。
丰富的标准库,Go目前已经内置了大量的库,特别是网络库非常强大,我最爱的也是这部分 。
内置强大的工具,Go语言里面内置了很多工具链,最好的应该是gofmt工具,自动化格式化代码,能够让团队review变得如此的简单,代码格式一模一样,想不一样都很困难 。
跨平台编译,如果你写的Go代码不包含cgo,那么就可以做到window系统编译linux的应用,如何做到的呢?Go引用了plan9的代码,这就是不依赖系统的信息 。
内嵌C支持 , 前面说了作者是C的作者,所以Go里面也可以直接包含c代码,利用现有的丰富的C库 。
为什么越来越多人偏爱用Go语言做开发?慕课网也越来越多关于go的课程了?个人认为:
1、上手快
只要你有其会其他语言,学习go很快 。
2、go语言非常适合写服务端
因为它开源,所以很容易找到你想要的框架,开发效率非常高 。
3、跨平台
你的一个程序可以随意部署 。
不受操作系统限制,windwos、linux、macos都能支持 。
不受处理器限制,x86、arm也都可以,你要知道国产可替代的U就是arm 。
4、部署简单
编译成一个文件就可以发布了,不需要环境支撑 。
以上是最基本的理由,当然这些对于.net core来说也一样,但是对比一下发布的文件大小你就知道该选择谁了 。
go语言的出现非常奇怪 , 有几个问题请高手答案一下~~~~??1:go与c语言相比,go有垃圾回收,不会造成内存泄露问题,go的语法简洁优美,同样的c100行代码go大概50行可以做到,go的目标是能做C能做的事,虽然目前可能不太实际
2:go的并行机制并不是一般的线程 , 通过channel和goroutine来实现,比线程还要轻量级很多,所以go适合高并发的服务器端
3:go是系统级别的语言,相当于c语言 , java c#都是算比较高级的语言,这个不太好比,效率的话目前确实是要高一些,而且不需要外部依赖,所以go还是很强大的
关于go语言跨平台的原理和go语言跨平台的原理和方法的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站 。
推荐阅读
- 如何线下做产品推广销售,如何在百度上做产品推广
- 特别高画质的赛车游戏手游,特别高画质的赛车游戏手游推荐
- 如何推广宝贝,怎样推广淘宝店铺宝贝
- 自相关函数c语言 自相关函数c语言实现
- sqlserver打开mdb,sqlserver打开bak文件
- 男生女生都能玩的桌面游戏,适合男生女生一起玩的游戏手游
- 天津大学工会公众号关注,天津工业大学工会
- vb.net繪座標圖 vb中坐标怎么写
- u盘中文件怎么排顺序,u盘中文件怎么排顺序的