文章图片
最近在做数据对外服务的功能，涉及到针对某个用户或者某个API的流量控制。说到流量控制，最常想到就是平时使用的带宽限速，实现起来也有几种常见的方法：消息队列、漏斗策略和令牌桶算法。
方法1：消息队列 
文章图片
为了实现流量控制，可以在服务端处理前先保存到消息队列中，服务器再慢慢消费。不过这种方案请求都放在一个消息队列中，可能会造成消费不及时，客户端访问超时，所以比较适合不需要快速响应的场景。
方法2：漏斗策略 
文章图片
这种方法是上面的变种，即在服务器接收也是用一个缓冲池，这个缓冲池有个固定的大小，无论请求的速度多大，都按照固定的速度处理。如果请求量过多，缓冲池无法处理，就会直接抛出限速等错误提示。因此这种方式虽然能处理一些比较大的流量，但是处理速度总是不变，缺乏一定的灵活性。
漏斗策略其实好处很明显，可以辅助进行”流量调整“，无论流量洪峰有多大，服务器的处理都不会受到影响，保证一部分用户的访问正常可用。缺点是当流量过大时，一部分流量会处理延迟或得不到处理。因此比较适合间歇性的流量波动，当流量高峰时流量暂缓处理保存下来，在流量低谷或者空闲时进行处理。
参考项目如阿里的Sentinel以及分布式追踪框架Jaeger。
方法3：令牌桶策略 
文章图片
令牌桶算法会为每个用户创建一个令牌桶，当请求到达时，需要到令牌桶中申请一个令牌，使用完毕把令牌放回。这样可以实现控制某个用户的最高并发访问。非常适合针对某个用户进行的流量控制。
【c++|c++ 分布式令牌桶_分布式之流量控制】参考项目如Guava的RateLimiter。
推荐阅读
- 算法|二进制，八进制，十进制，十六进制的相互转换【简单易懂】
- c++|动手打造深度学习框架（基本数据结构与算法）
- C++|基于协程io_uring 异步网络库系列 III（ Proactor、异步与协程 | C++20 coroutine 教程 | io_uring 异步IO 网络框架 系列笔记）
- cpp|c++入门学习——使用C++做一个yolov5视频检测
- C++|C++学习——共勉（一）
- C++从入门到放弃|c++学习笔记1（实验1）_封装CMatrix类
- Linux系统网络编程|Linux系统（基础IO）
- C++编程学习指导|C++进阶（多态）
- linux|Linux操作系统-进程控制