Go语言使用 map 时尽量不要在 big map 中保存指针 不知道你有没有听过这么一句：在使用 map 时尽量不要在 big map 中保存指针 。好吧，你现在已经听过了：）为什么呢？原因在于 Go 语言的垃圾回收器会扫描标记 map 中的所有元素，GC 开销相当大，直接GG 。
这两天在《Mastering Go》中看到 GC 这一章节里面对比 map 和 slice 在垃圾回收中的效率对比 ， 书中只给出结论没有说明理由，这我是不能忍的 ， 于是有了这篇学习笔记 。扯那么多，Show Your Code
这是一个简单的测试程序，保存字符串的 map 和 保存整形的 map GC 的效率相差几十倍，是不是有同学会说明明保存的是 string 哪有指针？这个要说到 Go 语言中 string 的底层实现了 ， 源码在 src/runtime/string.go里，可以看到 string 其实包含一个指向数据的指针和一个长度字段 。注意这里的是否包含指针，包括底层的实现 。
Go 语言的 GC 会递归遍历并标记所有可触达的对象，标记完成之后将所有没有引用的对象进行清理 。扫描到指针就会往下接着寻找，一直到结束 。
Go 语言中 map 是基于 数组和链表 的数据结构实现的，通过 优化的拉链法 解决哈希冲突，每个 bucket 可以保存8对键值，在8个键值对数据后面有一个 overflow 指针，因为桶中最多只能装8个键值对，如果有多余的键值对落到了当前桶，那么就需要再构建一个桶（称为溢出桶） ， 通过 overflow 指针链接起来 。
因为 overflow 指针的缘故，所以无论 map 保存的是什么，GC 的时候就会把所有的 bmap 扫描一遍，带来巨大的 GC 开销 。官方 issues 就有关于这个问题的讨论 ， runtime: Large maps cause significant GC pauses #9477
无脑机翻如下：
如果我们有一个map [k] v ， 其中k和v都不包含指针，并且我们想提高扫描性能，则可以执行以下操作 。
将“ allOverflow [] unsafe.Pointer”添加到 hmap 并将所有溢出存储桶存储在其中 。然后将 bmap 标记为noScan 。这将使扫描非常快 ， 因为我们不会扫描任何用户数据 。
实际上，它将有些复杂，因为我们需要从allOverflow中删除旧的溢出桶 。而且它还会增加 hmap 的大?。?因此也可能需要重新整理数据 。
最终官方在 hmap 中增加了overflow相关字段完成了上面的优化 ， 这是具体的commit地址 。
下面看下具体是如何实现的，源码基于 go1.15 ， src/cmd/compile/internal/gc/reflect.go 中
通过注释可以看出 ， 如果 map 中保存的键值都不包含指针（通过 Haspointers 判断），就使用一个 uintptr 类型代替 bucket 的指针用于溢出桶 overflow 字段，uintptr 类型在 GO 语言中就是个大小可以保存得下指针的整数，不是指针，就相当于实现了 将 bmap 标记为 noScan，GC 的时候就不会遍历完整个 map 了 。随着不断的学习，愈发感慨 GO 语言中很多模块设计得太精妙了 。
差不多说清楚了，能力有限，有不对的地方欢迎留言讨论，源码位置还是问的群里大佬 _
go语言可以做什么1、服务器编程：以前你如果使用C或者C做的那些事情，用Go来做很合适，例如处理日志、数据打包、虚拟机处理、文件系统等 。
2、分布式系统、数据库代理器、中间件：例如Etcd 。
3、网络编程：这一块目前应用最广，包括Web应用、API应用、下载应用，而且Go内置的net/http包基本上把我们平常用到的网络功能都实现了 。
4、开发云平台：目前国外很多云平台在采用Go开发，我们所熟知的七牛云、华为云等等都有使用Go进行开发并且开源的成型的产品 。
5、区块链：目前有一种说法，技术从业人员把Go语言称作为区块链行业的开发语言 。如果大家学习区块链技术的话 ， 就会发现现在有很多很多的区块链的系统和应用都是采用Go进行开发的，比如ehtereum是目前知名度最大的公链 ， 再比如fabric是目前最知名的联盟链，两者都有go语言的版本，且go-ehtereum还是以太坊官方推荐的版本 。
自1.0版发布以来，go语言引起了众多开发者的关注 ， 并得到了广泛的应用 。go语言简单、高效、并发的特点吸引了许多传统的语言开发人员，其数量也在不断增加 。
使用 Go 语言开发的开源项目非常多 。早期的 Go 语言开源项目只是通过 Go 语言与传统项目进行C语言库绑定实现，例如 Qt、Sqlite 等 。
后期的很多项目都使用 Go 语言进行重新原生实现，这个过程相对于其他语言要简单一些，这也促成了大量使用 Go 语言原生开发项目的出现 。
Golang的调度模型Go有四大核心模块，基本全部体现在runtime，有调度系统、GC、goroutine、channel，那么深入理解其中的精髓可以帮助我们理解Go这一门语言！
参考: 调度系统设计精要
下面是我用Go语言简单写的一个调度器，大家可以看看设计思路，以及存在的问题！
1、测试条件，调度器只启动两个线程，然后一个线程主要是负责循环的添加任务，一个线程循环的去执行任务
2、测试条件 ， 调度器启动三个线程，然后两个线程去执行任务，一个添加任务
3、继续测试，启动十个线程，一个添加任务，九个执行任务
4、我们添加一些阻塞的任务
执行可以看到完全不可用
1、 可以看到随着M的不断的增加，可以发现执行任务的数量也不断的减少，原因是什么呢？有兴趣的同学可以加一个pprof可以看看，其实大量的在等待锁的过程！
2、如果我的M运行了类似于Sleep操作的方法如何解决了，我的调度器还能支撑这个量级的调度吗？
关于pprof如何使用：在代码头部加一个这个代码：
我们查看一下go tool pprof main/prof.pporf
可以看到真正执行代码的时间只有 0.17s0.02s 其他时间都被阻塞掉了！
1、GM模型中的所有G都是放入到一个queue，那么导致所有的M取执行任务时都会去竞争锁 ， 我们插入G也会去竞争锁 ， 所以解决这种问题一般就是减少对单一资源的竞争，那就是桶化，其实就是每个线程都分配一个队列
2、GM模型中没有任务状态，只有runnable，假如任务遇到阻塞，完全可以把任务挂起再唤醒
这里其实会遇到一个问题，假如要分配很多个线程，那么此时随着线程的增加，也会造成队列的增加，其实也会造成调度器的压力 ， 因为它需要遍历全部线程的队列去分配任务以及后续会讲到的窃取任务！
因为我们知道CPU的最大并行度其实取决于CPU的核数，也就是我们没必要为每个线程都去分配一个队列，因为就算是给他们分配了，他们自己去那执行调度 ， 其实也会出现大量阻塞，原因就是CPU调度不过来这些线程！
Go里面是只分配了CPU个数的队列，这里就是P这个概念，你可以理解为P其实是真正的资源分配器 ， M很轻只是执行程序，所有的资源内存都维护在P上！M只有绑定P才能执行任务（强制的）！
这样做的好处：
1、首先调度程序其实就是调度不同状态的任务，go里面为Go标记了不同的状态，其实大概就是分为：runnable，running，block等，所以如何充分调度不同状态的G成了问题 ， 那么关于阻塞的G如何解决，其实可以很好的解决G调度的问题！
上面这些情况其实就分为：
2、用户态阻塞，一般Go里面依靠gopark函数去实现，大体的代码逻辑基本上和go的调度绑定死了
源码在：
3、其实对于netpool 这种nio模型，其实内核调用是非阻塞的，所以go开辟了一个网络轮训器队列，来存放这些被阻塞的g，等待内核被唤醒！那么什么时候会被唤醒了，其实就是需要等待调度器去调度了！
4、如果是内核态阻塞了（内核态阻塞一般都会将线程挂起，线程需要等待被唤醒），我们此时P只能放弃此线程的权利，然后再找一个新的线程去运行P！
关于着新线程：找有没有idle的线程，没有就会创建一个新的线程！
关于当内核被唤醒后的操作：因为GPM模型所以需要找到个P绑定，所以G会去尝试找一个可用的P，如果没有可用的P，G会标记为runnable放到全局队列中！
5、其实了解上面大致其实就了解了Go的基本调度模型
答案文章里慢慢品味！
如果某个 G 执行时间过长，其他的 G 如何才能被正常的调度？ 这便涉及到有关调度的两个理念：协作式调度与抢占式调度 。协作式和抢占式这两个理念解释起来很简单： 协作式调度依靠被调度方主动弃权；抢占式调度则依靠调度器强制将被调度方被动中断 。
例如下面的代码，我本地的版本是go1.13.5
执行:GOMAXPROCS=1配置全局只能有一个P
可以看到main函数无法执行!也就是那个go 空转抢占了整个程序
备注：
但是假如我换为用 1.14 版本执行，有兴趣的话可以使用我的docker镜像 ， 直接可以拉?。?fanhaodong/golang:1.15.11和fanhaodong/golang:1.13.5
首先我们知道G/M/P，G可能和M也可能和P解除绑定 ， 那么关于数据变量放在哪哇！其实这个就是逃逸分析！
输出可以看到其实没有发生逃逸，那是因为 demo被拷贝它自己的栈空间内
备注：
-gcflags"-N -l -m"其中-N禁用优化-l禁止内联优化，-m打印逃逸信息
那么继续改成这个
可以看到发现 demo对象其实被逃逸到了堆上！这就是不会出现类似于G如果被别的M执行，其实不会出现内存分配位置的问题！
所以可以看到demo其实是copy到了堆上！这就是g逃逸的问题，和for循环一样的
执行可以发现，其实x已经逃逸到了堆上，所以你所有的g都引用的一个对象，如何解决了
如何解决了，其实很简单
也谈goroutine调度器
图解Go运行时调度器
Go语言回顾：从Go 1.0到Go 1.13
Go语言原本
调度系统设计精要
Scalable Go Scheduler Design Doc
我为什么放弃Go语言有好几次go语言1.15.5，当go语言1.15.5我想起来的时候go语言1.15.5，总是会问自己：我为什么要放弃Go语言？这个决定是正确的吗？是明智和理性的吗？其实我一直在认真思考这个问题 。
开门见山地说，我当初放弃Go语言（golang），就是因为两个“不爽”：第一，对Go语言本身不爽go语言1.15.5；第二 ， 对Go语言社区里的某些人不爽 。毫无疑问，这是非常主观的结论 。转载
1.1 不允许左花括号另起一行
1.2 编译器莫名其妙地给行尾加上分号
1.3 极度强调编译速度 ， 不惜放弃本应提供的功能
1.4 错误处理机制太原始
1.5 垃圾回收器（GC）不完善、有重大缺陷
1.6 禁止未使用变量和多余import
1.7 创建对象的方式太多令人纠结
1.8 对象没有构造函数和析构函数
1.9 defer语句的语义设定不甚合理
1.10 许多语言内置设施不支持用户定义的类型
1.11 没有泛型支持，常见数据类型接口丑陋
1.12 实现接口不需要明确声明
1.13 省掉小括号却省不掉花括号
1.14 编译生成的可执行文件尺寸非常大
1.15 不支持动态加载类库
【go语言1.15.5 go语言116】go语言1.15.5的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于go语言116、go语言1.15.5的信息别忘了在本站进行查找喔 。
推荐阅读
- linux中替换字符命令，linux替换文本中的字符串
- 鲨鱼游戏开发，鲨鱼游戏开发者是谁
- 员工如何做好微信营销，员工如何做好微信营销工作
- mysql数据库怎么汉化 mysql汉化包
- 只有电脑怎么连接路由器，只有电脑怎么连接路由器密码
- 韩国游戏服务器简称，韩服服务器叫什么
- Sap上线难，上线sap大概需要多少钱
- go语言func定义实例 go语言for
- sqlserver2008基础班，sql server基础教程