锐客网

  1. 首页 > 睿知 > it技术 > >

go语言实现阻塞队列 go 阻塞队列

IT技术执行

Go语言的特点 类型 在变量名后边
也可不显式声明类型, 类型推断,但是是静态语言, name一开始放字符串就不能再赋值数字
方法,属性 分开方法名首字母大写就是就是外部可调的
面向对象设计的一个重要原则：“优先使用组合而不是继承”
Dog 也是Animal , 要复用Animal的属性和方法,
只需要在结构体 type里面写 Animal
入口也是main, 用用试试
多态, 有这个方法就是这个接口的实现,具体的类 不需要知道自己实现了什么接口,
使用: 在一个函数调用之前加上关键字go 就启动了一个goroutine
创建一个goroutine,它会被加入到一个全局的运行队列当中，
调度器 会把他们分配给某个 逻辑处理器 的队列，
一个逻辑处理器 绑定到一个 操作系统线程  ， 在上面运行goroutine，
如果goroutine需要读写文件, 阻塞 ,就脱离逻辑处理器直接 goroutine - 系统线程绑定
编译成同名.exe 来执行, 不通过虚拟机, 直接是机器码, 和C 一样, 所以非常快
但是也有自动垃圾回收,每个exe文件当中已经包含了一个类似于虚拟机的runtime,进行goroutine的调度
默认是静态链接的，那个exe会把运行时所需要的所有东西都加进去，这样就可以把exe复制到任何地方去运行了, 因此 生成的 .exe 文件非常大
Golang的调度模型Go有四大核心模块，基本全部体现在runtime，有调度系统、GC、goroutine、channel ， 那么深入理解其中的精髓可以帮助我们理解Go这一门语言！
参考: 调度系统设计精要
下面是我用Go语言简单写的一个调度器，大家可以看看设计思路，以及存在的问题！
1、测试条件，调度器只启动两个线程，然后一个线程主要是负责循环的添加任务，一个线程循环的去执行任务
2、测试条件，调度器启动三个线程，然后两个线程去执行任务，一个添加任务
3、继续测试，启动十个线程，一个添加任务，九个执行任务
4、我们添加一些阻塞的任务
执行可以看到完全不可用
1、 可以看到随着M的不断的增加 ， 可以发现执行任务的数量也不断的减少，原因是什么呢？有兴趣的同学可以加一个pprof可以看看，其实大量的在等待锁的过程！
2、如果我的M运行了类似于Sleep操作的方法如何解决了 ， 我的调度器还能支撑这个量级的调度吗？
关于pprof如何使用：在代码头部加一个这个代码：
我们查看一下go tool pprof main/prof.pporf
可以看到真正执行代码的时间只有 0.17s + 0.02s 其他时间都被阻塞掉了！
1、GM模型中的所有G都是放入到一个queue，那么导致所有的M取执行任务时都会去竞争锁 ， 我们插入G也会去竞争锁，所以解决这种问题一般就是减少对单一资源的竞争，那就是桶化，其实就是每个线程都分配一个队列
2、GM模型中没有任务状态，只有runnable，假如任务遇到阻塞，完全可以把任务挂起再唤醒
这里其实会遇到一个问题 ， 假如要分配很多个线程，那么此时随着线程的增加 ， 也会造成队列的增加 ， 其实也会造成调度器的压力，因为它需要遍历全部线程的队列去分配任务以及后续会讲到的窃取任务！
因为我们知道CPU的最大并行度其实取决于CPU的核数 ， 也就是我们没必要为每个线程都去分配一个队列，因为就算是给他们分配了，他们自己去那执行调度，其实也会出现大量阻塞，原因就是CPU调度不过来这些线程！
Go里面是只分配了CPU个数的队列，这里就是P这个概念，你可以理解为P其实是真正的资源分配器，M很轻只是执行程序，所有的资源内存都维护在P上！M只有绑定P才能执行任务（强制的）！

推荐阅读


上一篇：sqlserver美化代码，dbvisualizer美化sql

下一篇：sqlserver攻击防护，sql攻击的防范措施