锐客网

  1. 首页 > 生活百科 > it技术 > >

go语言多进程怎么做的 golang多进程

IT技术线程

golang的线程模型——GMP模型内核线程（Kernel-Level Thread，KLT）
轻量级进程（Light Weight Process,LWP）：轻量级进程就是我们通常意义上所讲的线程，由于每个轻量级进程都由一个内核线程支持，因此只有先支持内核线程，才能有轻量级进程
用户线程与系统线程一一对应，用户线程执行如lo操作的系统调用时，来回切换操作开销相对比较大
多个用户线程对应一个内核线程，当内核线程对应的一个用户线程被阻塞挂起时候，其他用户线程也阻塞不能执行了 。
多对多模型是可以充分利用多核CPU提升运行效能的
go线程模型包含三个概念：内核线程(M) ， goroutine(G),G的上下文环境（P）；
GMP模型是goalng特有的 。
P与M一般是一一对应的 。P（上下文）管理着一组G（goroutine）挂载在M（内核线程）上运行，图中左边蓝色为正在执行状态的goroutine ， 右边为待执行状态的goroutiine队列 。P的数量由环境变量GOMAXPROCS的值或程序运行runtime.GOMAXPROCS()进行设置 。
当一个os线程在执行M1一个G1发生阻塞时 ， 调度器让M1抛弃P ， 等待G1返回 ， 然后另起一个M2接收P来执行剩下的goroutine队列（G2、G3...），这是golang调度器厉害的地方，可以保证有足够的线程来运行剩下所有的goroutine 。
当G1结束后，M1会重新拿回P来完成，如果拿不到就丢到全局runqueue中，然后自己放到线程池或转入休眠状态 。空闲的上下文P会周期性的检查全局runqueue上的goroutine ， 并且执行它 。
另一种情况就是当有些P1太闲而其他P2很忙碌的时候 ， 会从其他上下文P2拿一些G来执行 。
详细可以翻看下方第一个参考链接，写得真好 。
最后用大佬的总结来做最后的收尾————
Go语言运行时，通过核心元素G，M，P 和 自己的调度器，实现了自己的并发线程模型 。调度器通过对G ， M，P的调度实现了两级线程模型中操作系统内核之外的调度任务 。整个调度过程中会在多种时机去触发最核心的步骤 “一整轮调度”，而一整轮调度中最关键的部分在“全力查找可运行G”，它保证了M的高效运行（换句话说就是充分使用了计算机的物理资源） ， 一整轮调度中还会涉及到M的启用停止 。最后别忘了，还有一个与Go程序生命周期相同的系统监测任务来进行一些辅助性的工作 。
浅析Golang的线程模型与调度器
Golang CSP并发模型
Golang线程模型
golang 进程创建，fork，以及热重启（无缝升级） 一般来说 ， 进程的操作使用的是一些系统的命令，所以go内部使用os包，进行一些运行系统命令的操作
os 包及其子包 os/exec 提供了创建进程的方法 。
一般的 ， 应该优先使用 os/exec 包 。因为 os/exec 包依赖 os 包中关键创建进程的 API，为了便于理解，我们先探讨 os 包中和进程相关的部分 。
Unix :fork创建一个进程，（及其一些变种，如 vfork、clone） 。
Go:Linux 下创建进程使用的系统调用是 clone 。
允许一进程（父进程）创建一新进程（子进程） 。具体做法是，新的子进程几近于对父进程的翻版：子进程获得父进程的栈、数据段、堆和执行文本段的拷贝 。可将此视为把父进程一分为二 。
终止一进程，将进程占用的所有资源（内存、文件描述符等）归还内核，交其进行再次分配 。参数 status 为一整型变量，表示进程的退出状态 。父进程可使用系统调用 wait() 来获取该状态 。
目的有二：其一，如果子进程尚未调用 exit() 终止，那么 wait 会挂起父进程直至子进程终止；其二，子进程的终止状态通过 wait 的 status 参数返回 。
加载一个新程序（路径名为 pathname，参数列表为 argv，环境变量列表为 envp）到当前进程的内存 。这将丢弃现存的程序文本段 ， 并为新程序重新创建栈、数据段以及堆 。通常将这一动作称为执行一个新程序 。
没有直接提供 fork 系统调用的封装，而是将 fork 和 execve 合二为一 ， 提供了 syscall.ForkExec 。如果想只调用 fork，得自己通过 syscall.Syscall(syscall.SYS_FORK, 0, 0, 0) 实现 。
os.Process 存储了通过 StartProcess 创建的进程的相关信息 。
一般通过 StartProcess 创建 Process 的实例，函数声明如下：
它使用提供的程序名、命令行参数、属性开始一个新进程 。StartProcess 是一个低级别的接口 。os/exec 包提供了高级别的接口 ， 一般应该尽量使用 os/exec 包 。如果出错，错误的类型会是 *PathError 。
属性定义如下：
FindProcess 可以通过 pid 查找一个运行中的进程 。该函数返回的 Process 对象可以用于获取关于底层操作系统进程的信息 。在 Unix 系统中，此函数总是成功，即使 pid 对应的进程不存在 。
Process 提供了四个方法：Kill、Signal、Wait 和 Release 。其中 Kill 和 Signal 跟信号相关 ， 而 Kill 实际上就是调用 Signal，发送了 SIGKILL 信号，强制进程退出 ， 关于信号，后续章节会专门讲解 。
Release 方法用于释放 Process 对象相关的资源，以便将来可以被再使用 。该方法只有在确定没有调用 Wait 时才需要调用 。Unix 中 ， 该方法的内部实现只是将 Process 的 pid 置为 -1 。
通过 os 包可以做到运行外部命令，如前面的例子 。不过，Go 标准库为我们封装了更好用的包： os/exec ， 运行外部命令，应该优先使用它，它包装了 os.StartProcess 函数以便更容易的重定向标准输入和输出，使用管道连接 I/O，以及作其它的一些调整 。
exec.LookPath 函数在 PATH 指定目录中搜索可执行程序 ， 如 file 中有 /，则只在当前目录搜索 。该函数返回完整路径或相对于当前路径的一个相对路径 。
func LookPath(file string) (string, error)
如果在 PATH 中没有找到可执行文件，则返回 exec.ErrNotFound 。
Cmd 结构代表一个正在准备或者在执行中的外部命令，调用了 Run、Output 或 CombinedOutput 后，Cmd 实例不能被重用 。
一般的，应该通过exec.Command函数产生Cmd实例：
用法
得到 * Cmd实例后，接下来一般有两种写法：
前面讲到，通过Cmd实例后，有两种方式运行命令 。有时候，我们不只是简单的运行命令，还希望能控制命令的输入和输出 。通过上面的 API 介绍，控制输入输出有几种方法：
参考资料：
Go语言——goroutine并发模型参考：
Goroutine并发调度模型深度解析手撸一个协程池
【go语言多进程怎么做的 golang多进程】Golang 的 goroutine 是如何实现的？
Golang - 调度剖析【第二部分】
OS线程初始栈为2MB 。Go语言中，每个goroutine采用动态扩容方式，初始2KB，按需增长，最大1G 。此外GC会收缩栈空间 。
BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题 。
更多关于stack的内容，可以参见大佬的文章 。聊一聊goroutine stack
用户线程的调度以及生命周期管理都是用户层面 ， Go语言自己实现的，不借助OS系统调用 ， 减少系统资源消耗 。
Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的 。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文 。这就是G-M-P模型
Go调度器有两个不同的运行队列：
go1.10\src\runtime\runtime2.go
Go调度器根据事件进行上下文切换 。
调度的目的就是防止M堵塞，空闲，系统进程切换 。
详见Golang - 调度剖析【第二部分】
Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller） 。
文件IO操作
上面都是防止M堵塞，任务窃取是防止M空闲
每个M都有一个特殊的G，g0 。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈 。g0的栈不会自动增长，不会被gc，来自os线程的栈 。
go1.10\src\runtime\proc.go
G没办法自己运行，必须通过M运行
M通过通过调度 ， 执行G
从M挂载P的runq中找到G，执行G
关于go语言多进程怎么做的和golang多进程的介绍到此就结束了 ， 不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：gis坡度打不开怎么办，arcgis坡度工具报错

    下一篇：中国区块链最新进展，中国区块链最新政策