Spring Cloud Zuul通过zuul-ratelimit实现限流技术随笔

一、限流控制访问流量，通过指定的策略消减流量（如网络层面限制访问流量、后服务实例使用技术手段限制并发数量等），使得落到后台服务实例的请求在能承受的范围内。高并发是常常讨论的话题，如何限流，以及服务的实例能承受的范围是多大，什么情况下需要增加服务实例，调整资源，都需要结合实际进行严格的测试。

二、常用算法计数器算法
计数器算法采用计数器实现限流有点简单粗暴，一般我们会限制一秒钟的能够通过的请求数，比如限流qps为100，算法的实现思路就是从第一个请求进来开始计时，在接下去的1s内，每来一个请求，就把计数加1，如果累加的数字达到了100，那么后续的请求就会被全部拒绝。等到1s结束后，把计数恢复成0，重新开始计数。具体的实现可以是这样的：对于每次服务调用，可以通过AtomicLong#incrementAndGet()方法来给计数器加1并返回最新值，通过这个最新值和阈值进行比较。这种实现方式，相信大家都知道有一个弊端：如果我在单位时间1s内的前10ms，已经通过了100个请求，那后面的990ms，只能眼巴巴的把请求拒绝，我们把这种现象称为“突刺现象”
漏桶算法
漏桶算法为了消除"突刺现象"，可以采用漏桶算法实现限流，漏桶算法这个名字就很形象，算法内部有一个容器，类似生活用到的漏斗，当请求进来时，相当于水倒入漏斗，然后从下端小口慢慢匀速的流出。不管上面流量多大，下面流出的速度始终保持不变。不管服务调用方多么不稳定，通过漏桶算法进行限流，每10毫秒处理一次请求。因为处理的速度是固定的，请求进来的速度是未知的，可能突然进来很多请求，没来得及处理的请求就先放在桶里，既然是个桶，肯定是有容量上限，如果桶满了，那么新进来的请求就丢弃。

文章图片

在算法实现方面，可以准备一个队列，用来保存请求，另外通过一个线程池（ScheduledExecutorService）来定期从队列中获取请求并执行，可以一次性获取多个并发执行。
这种算法，在使用过后也存在弊端：无法应对短时间的突发流量。
令牌桶算法
从某种意义上讲，令牌桶算法是对漏桶算法的一种改进，桶算法能够限制请求调用的速率，而令牌桶算法能够在限制调用的平均速率的同时还允许一定程度的突发调用。在令牌桶算法中，存在一个桶，用来存放固定数量的令牌。算法中存在一种机制，以一定的速率往桶中放令牌。每次请求调用需要先获取令牌，只有拿到令牌，才有机会继续执行，否则选择选择等待可用的令牌、或者直接拒绝。放令牌这个动作是持续不断的进行，如果桶中令牌数达到上限，就丢弃令牌，所以就存在这种情况，桶中一直有大量的可用令牌，这时进来的请求就可以直接拿到令牌执行，比如设置qps为100，那么限流器初始化完成一秒后，桶中就已经有100个令牌了，这时服务还没完全启动好，等启动完成对外提供服务时，该限流器可以抵挡瞬时的100个请求。所以，只有桶中没有令牌时，请求才会进行等待，最后相当于以一定的速率执行。

文章图片

实现思路：可以准备一个队列，用来保存令牌，另外通过一个线程池定期生成令牌放到队列中，每来一个请求，就从队列中获取一个令牌，并继续执行。
三、zuul-ratelimit实现限流 pom引入

org.springframework.cloud
spring-cloud-starter-netflix-zuul

org.springframework.cloud
spring-cloud-starter-netflix-eureka-client

com.marcosbarbero.cloud
spring-cloud-zuul-ratelimit 2.0.6.RELEASE

properties配置文件添加配置

####################################### 限流配置 ########################################
#按粒度拆分的临时变量key前缀
zuul.ratelimit.key-prefix=springcloud-book
zuul.ratelimit.enabled=true
#key存储类型，默认是IN_MEMORY本地内存，此外还有多种形式
zuul.ratelimit.repository=IN_MEMORY
zuul.ratelimit.behind-proxy=true
#在一个单位时间窗口的请求数量
zuul.ratelimit.default-policy.limit=500
#在一个单位时间窗口的请求时间限制
zuul.ratelimit.default-policy.quota=2000
#单位时间窗口
zuul.ratelimit.default-policy.refresh-interval=60
#可指定限流粒度，user-用户粒度，origin-客户端地址粒度，url-url粒度
zuul.ratelimit.default-policy.type=url

代码解释：
对全局开启了限流，策略是，60秒内访问不允许超过 500次，并且这 500 次请求总耗时要小于 2000 秒。这些参数大家根据你对需要自己修改。
【Spring Cloud Zuul通过zuul-ratelimit实现限流】通俗讲：就跟电梯限流一样，一次上下周期（zuul.ratelimit.default-policy.refresh-interval），限制只能上21人（zuul.ratelimit.default-policy.limit），不超过1600kg(zuul.ratelimit.default-policy.quota)