一.为什么要实现Goroutine池
- 即便每个goroutine只分配4KB的内存,但如果是恐怖如斯的数量,聚少成多,内存会占用过高。
- 会对GC造成极大的负担,首先GC会在回收goroutine上消耗性能,其次GC本身也是goroutine,内存吃紧的状态下连GC的调度都会出现问题。
- 提高响应速度,减少创建协程的时间。
- 更好的管理协程,控制最大并发数量,定期回收。
- 启动服务的时候初始化一个Goroutine Pool,这个协程池维护了任务的管道和worker。
- 外部将请求投递到Goroutine Pool,Goroutine Pool的操作是:判断当前运行的worker是否已经超过Pool的容量,如果超过就将请求放到任务管道中直到运行的worker将管道中的任务执行;如果没有超过就新开一个worker处理。
func (rp *RoutinePool) Execute(task Runable) bool {
rp.mainLock.RLock()
if rp.closed {
rp.mainLock.RUnlock()
return false
} if rp.WorkerSize < rp.NormalWorkerSize {worker := NewWorker(rp.TaskQueue, rp.ExpireInterval, true, rp.workerDestroyChan, rp.closeChan)
worker.Start()
rp.WorkerSize++ } else if (rp.WorkerSize < rp.MaxWorkerSize) && (len(rp.TaskQueue) >= int(rp.TaskQueueSize)) {worker := NewWorker(rp.TaskQueue, rp.ExpireInterval, false, rp.workerDestroyChan, rp.closeChan)
worker.Start()
rp.WorkerSize++
}
rp.mainLock.RUnlock() timer := time.NewTimer(rp.WaitInterval)
defer timer.Stop() select {
case rp.TaskQueue <- task:
return true
case <-timer.C:
return false
} return false
}
3.2 任务执行
func (w *Worker) Start() { go func() {
ticker := time.NewTicker(time.Second)
defer ticker.Stop()for {
select {
case task := <-w.taskQueue:
if task == nil {
continue
}//do task
task.Run()
//update lastTime
w.lastTime = time.Now()case <-ticker.C:
if (!w.reservedFlag) && (time.Now().Sub(w.lastTime) > w.expireInterval) {w.destroyChan <- true
return
}case <-w.closeChan:
return
}
}
}()
}
四.待改进
- 执行函数失效应该再次投递此任务,等到重复执行限制次数后向上层抛出error。
- 最好能查看任务的状态,如果任务没有在执行支持任务的取消。
推荐阅读
- Go|Docker后端部署详解(Go+Nginx)
- GO|GO,GO,GO!
- Go成长之路|go中判断空字符串、nil和len(t)的用法
- go编译tools
- go grpc安装与使用
- goroutine 调度原理
- Go|Go进阶之路——复杂类型
- Go进阶之路——变量
- Go进阶之路——流程控制语句