Goroutine池实现

一.为什么要实现Goroutine池

  • 即便每个goroutine只分配4KB的内存,但如果是恐怖如斯的数量,聚少成多,内存会占用过高。
  • 会对GC造成极大的负担,首先GC会在回收goroutine上消耗性能,其次GC本身也是goroutine,内存吃紧的状态下连GC的调度都会出现问题。
  • 提高响应速度,减少创建协程的时间。
  • 更好的管理协程,控制最大并发数量,定期回收。
二.协程池的设计思路
  1. 启动服务的时候初始化一个Goroutine Pool,这个协程池维护了任务的管道和worker。
  2. 外部将请求投递到Goroutine Pool,Goroutine Pool的操作是:判断当前运行的worker是否已经超过Pool的容量,如果超过就将请求放到任务管道中直到运行的worker将管道中的任务执行;如果没有超过就新开一个worker处理。
三.协程池的实现细节 3.1 任务投递
func (rp *RoutinePool) Execute(task Runable) bool { rp.mainLock.RLock() if rp.closed { rp.mainLock.RUnlock() return false } if rp.WorkerSize < rp.NormalWorkerSize {worker := NewWorker(rp.TaskQueue, rp.ExpireInterval, true, rp.workerDestroyChan, rp.closeChan) worker.Start() rp.WorkerSize++ } else if (rp.WorkerSize < rp.MaxWorkerSize) && (len(rp.TaskQueue) >= int(rp.TaskQueueSize)) {worker := NewWorker(rp.TaskQueue, rp.ExpireInterval, false, rp.workerDestroyChan, rp.closeChan) worker.Start() rp.WorkerSize++ } rp.mainLock.RUnlock() timer := time.NewTimer(rp.WaitInterval) defer timer.Stop() select { case rp.TaskQueue <- task: return true case <-timer.C: return false } return false }

3.2 任务执行
func (w *Worker) Start() { go func() { ticker := time.NewTicker(time.Second) defer ticker.Stop()for { select { case task := <-w.taskQueue: if task == nil { continue }//do task task.Run() //update lastTime w.lastTime = time.Now()case <-ticker.C: if (!w.reservedFlag) && (time.Now().Sub(w.lastTime) > w.expireInterval) {w.destroyChan <- true return }case <-w.closeChan: return } } }() }

四.待改进
  • 执行函数失效应该再次投递此任务,等到重复执行限制次数后向上层抛出error。
  • 最好能查看任务的状态,如果任务没有在执行支持任务的取消。
【Goroutine池实现】

    推荐阅读