锐客网

  1. 首页 > 生活百科 > it技术 > >

go语言携程池 go 携程是怎么实现的

IT技术携程

golang sync.pool对象复用 并发原理 缓存池 在go http每一次go serve(l)都会构建Request数据结构 。在大量数据请求或高并发的场景中，频繁创建销毁对象，会导致GC压力 。解决办法之一就是使用对象复用技术 。在http协议层之下，使用对象复用技术创建Request数据结构 。在http协议层之上，可以使用对象复用技术创建(w,*r,ctx)数据结构 。这样即可以回快TCP层读包之后的解析速度，也可也加快请求处理的速度 。
先上一个测试：
结论是这样的：
貌似使用池化，性能弱爆了？？？这似乎与net/http使用sync.pool池化Request来优化性能的选择相违背 。这同时也说明了一个问题，好的东西 ， 如果滥用反而造成了性能成倍的下降 。在看过pool原理之后，结合实例，将给出正确的使用方法，并给出预期的效果 。
sync.Pool是一个 协程安全 的 临时对象池。数据结构如下：
local 成员的真实类型是一个 poolLocal 数组，localSize 是数组长度 。这涉及到Pool实现，pool为每个P分配了一个对象，P数量设置为runtime.GOMAXPROCS(0) 。在并发读写时，goroutine绑定的P有对象，先用自己的，没有去偷其它P的 。go语言将数据分散在了各个真正运行的P中，降低了锁竞争，提高了并发能力 。
不要习惯性地误认为New是一个关键字，这里的New是Pool的一个字段 ， 也是一个闭包名称 。其API：
如果不指定New字段 ， 对象池为空时会返回nil ， 而不是一个新构建的对象 。Get()到的对象是随机的 。
原生sync.Pool的问题是，Pool中的对象会被GC清理掉，这使得sync.Pool只适合做简单地对象池，不适合作连接池 。
pool创建时不能指定大?。?没有数量限制 。pool中对象会被GC清掉 ， 只存在于两次GC之间 。实现是pool的init方法注册了一个poolCleanup()函数 ， 这个方法在GC之前执行，清空pool中的所有缓存对象 。
为使多协程使用同一个POOL 。最基本的想法就是每个协程，加锁去操作共享的POOL，这显然是低效的 。而进一步改进，类似于ConcurrentHashMap（JDK7）的分Segment ， 提高其并发性可以一定程度性缓解 。
注意到pool中的对象是无差异性的 ， 加锁或者分段加锁都不是较好的做法 。go的做法是为每一个绑定协程的P都分配一个子池 。每个子池又分为私有池和共享列表 。共享列表是分别存放在各个P之上的共享区域，而不是各个P共享的一块内存 。协程拿自己P里的子池对象不需要加锁，拿共享列表中的就需要加锁了 。
Get对象过程：
Put过程：
如何解决Get最坏情况遍历所有P才获取得对象呢：
方法1止前sync.pool并没有这样的设置 。方法2由于goroutine被分配到哪个P由调度器调度不可控，无法确保其平衡 。
由于不可控的GC导致生命周期过短，且池大小不可控，因而不适合作连接池 。仅适用于增加对象重用机率 ， 减少GC负担 。2
执行结果:
单线程情况下，遍历其它无元素的P，长时间加锁性能低下 。启用协程改善 。
结果：
测试场景在goroutines远大于GOMAXPROCS情况下，与非池化性能差异巨大 。
测试结果
可以看到同样使用*sync.pool，较大池大小的命中率较高，性能远高于空池 。
结论：pool在一定的使用条件下提高并发性能，条件1是协程数远大于GOMAXPROCS ， 条件2是池中对象远大于GOMAXPROCS 。归结成一个原因就是使对象在各个P中均匀分布 。
池pool和缓存cache的区别 。池的意思是，池内对象是可以互换的，不关心具体值 ， 甚至不需要区分是新建的还是从池中拿出的 。缓存指的是KV映射，缓存里的值互不相同，清除机制更为复杂 。缓存清除算法如LRU、LIRS缓存算法 。
池空间回收的几种方式 。一些是GC前回收，一些是基于时钟或弱引用回收 。最终确定在GC时回收Pool内对象，即不回避GC 。用java的GC解释弱引用 。GC的四种引用：强引用、弱引用、软引用、虚引用 。虚引用即没有引用 ， 弱引用GC但有空间则保留，软引用GC即清除 。ThreadLocal的值为弱引用的例子 。
regexp 包为了保证并发时使用同一个正则，而维护了一组状态机 。
fmt包做字串拼接 ， 从sync.pool拿[]byte对象 。避免频繁构建再GC效率高很多 。
go 协程池库 ants在工作中需要并发读取N个小文件go语言携程池，Ngo语言携程池的数值可大可小 。
上线之后go语言携程池，由于在某些场景下go语言携程池 ， N的数字巨大go语言携程池，开启巨量多的协程会导致系统资源耗尽 。所以决定使用协程池的方案，采用了panjf2000/ants这个协程库 。
如何使用Golang进行无心智负担的编程 不知读者是否也会时刻想: 我该怎么写这段代码才优雅, 后期改起来方便?
努力思考却还是得不到最佳答案, 烦躁等负面情绪不约而来 。这便是在编程过程中的心智负担 。
这篇文章将从多个方面来简化思考, 希望它能给努力思考的你带来一点小灵感.
java的23种设计模式? 再见.
不是说他们没有作用，只是说它们太死板复杂 ， 学习它们通常入不敷出 。
对于编程还有很多需要注意的地方（下文），而不要只局限于设计模式 。
我给出的建议是只需要理解一个大概，在平时编程中能用则用 。
Golang相比Java来说, 对"面向对象"这件事的支持是"不完整"的.
但话又说回来现在的"面向对象编程"渐渐被扭曲为了"面向类编程"（COP） ， 而COP是复杂并难以理解的，COP有好处但要发挥出来并不容易 。所以Golang决定抛弃所有不必要的概念以改善这个问题 。
现在不必再理解 封装(这个简单到不需要理解), 多态, 继承.
在golang中只需要理解两个更实在的东西: 接口, 组合.
接口
在Golang中只需要记得一个东西: Interface(接口).
参见io.Reader接口就知道这种设计有多厉害.
读文件是它, 读网络请求也是它, 更骚的是 对于linux(Every thing is a file)来说用它就能操作近乎整个系统了.
简单的说: 当某个功能(如去北京)有多种(或者以后可能有多种)实现方式(如坐火车/飞机/骑车)的时候, 用接口.
组合
组合理解起来并不复杂, 不过是一个语法糖, 就算没有组合功能也毫不影响Go程序的运行.
如下代码, 没有组合换一种写法即可.
简单的说: 组合能用则用，如果你不知道如何使用或者不用也并无大碍 。
"开闭原则"对我启发很大.
原文是这样:
但其实我们在开发的时候并不是一直都在和对象打交道.
在我看来, "开闭原则"适用于平时写的任何代码.
完整理解"开闭原则"可能还是会造成心智负担, 所以先打住, 只需要这样:
这便是 "对修改闭合, 对扩展开放".
这里不得不在提及"面向函数编程", 它的思想包括但不限于:
它正好利于修改, 利于写出符合"开闭原则"的代码.
默认的errors包在对于多层的复杂应用是不够的 ， 这种情况下建议自行封装，但别太追求完美 在项目中够用就好 。我们等待官方方案即可:
restful能解决大部分命名问题.
你的代码完全可以这样无脑命名而不失优雅.
这样的白话文真的很好命名与理解(根本不需要词汇量).
无脑Goroution, 80%的情况下都没问题.
如果你实在担心, 用channel的做下并发数量控制就好, 或者使用更完整的工具叫"协程池", 他们的实现都不复杂.
得益于golang的开源和这几年的蓬勃发展，golang的生态已经十分完善，所以很多情况下我们应该"面相github编程" ， 第三方提供的代码已能满足我们大多数需求 。同时 选用一个受欢迎的第三方代码库通常比自己的更可靠，后续维护也省心很多 。
最省心的行为是: 先跟随团队再提出意见
Go语言——goroutine并发模型参考go语言携程池：
Goroutine并发调度模型深度解析手撸一个协程池
Golang go语言携程池的 goroutine 是如何实现的？
Golang - 调度剖析【第二部分】
OS线程初始栈为2MB 。Go语言中go语言携程池，每个goroutine采用动态扩容方式go语言携程池，初始2KB ， 按需增长，最大1G 。此外GC会收缩栈空间 。
BTW，增长扩容都是有代价的，需要copy数据到新的stack ， 所以初始2KB可能有些性能问题 。
更多关于stack的内容，可以参见大佬的文章 。聊一聊goroutine stack
用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的 ， 不借助OS系统调用，减少系统资源消耗 。
Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的 。最终goroutine还是会交给OS线程执行 ， 但是需要一个中介，提供上下文 。这就是G-M-P模型
Go调度器有两个不同的运行队列：
go1.10\src\runtime\runtime2.go
Go调度器根据事件进行上下文切换 。
调度的目的就是防止M堵塞 ， 空闲，系统进程切换 。
详见Golang - 调度剖析【第二部分】
Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller） 。
文件IO操作
上面都是防止M堵塞 ， 任务窃取是防止M空闲
每个M都有一个特殊的G，g0 。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈 。g0的栈不会自动增长，不会被gc，来自os线程的栈 。
go1.10\src\runtime\proc.go
G没办法自己运行，必须通过M运行
M通过通过调度 ， 执行G
【go语言携程池 go 携程是怎么实现的】 从M挂载P的runq中找到G，执行G
关于go语言携程池和go 携程是怎么实现的的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站 。

    推荐阅读


    上一篇：手机升级鸿蒙后越来越慢，升级鸿蒙后慢了

    下一篇：虎牙男装直播带货，虎牙男装直播带货怎么样