#导入MD文档图片# 服务限流的常见算法与限流策略 _导入

缥帙各舒散，前后互相逾。这篇文章主要讲述#导入MD文档图片# 服务限流的常见算法与限流策略相关的知识，希望能为你提供帮助。

文章图片

1. 什么是服务限流？随着现在微服务、分布式系统的发展，各个服务之间的相互调用越来越复杂。
【#导入MD文档图片# 服务限流的常见算法与限流策略】为了保证自身服务的稳定性与高可用，当面对超过自身服务能力的请求调用时，要做一定的限流措施。
如同五一、国庆期间的旅游出行、景区爆满，游客限流。我们的服务面对诸如秒杀、大促、618、双十一以及爬虫等高并发、大流量的场景也需要做服务限流。
概念：对超出服务处理能力之外的请求进行拦截，对访问服务的流量进行限制。
2. 常用限流算法 2.1 计数器法（固定窗口）概念：在单位时间内，统计进入的请求数量，统计值达到限流阈值时，开始限流（如拒绝和排队）。这个单位时间结束后，计算器清零，重新开始计数。
问题：在固定时间窗口切换处，最高可能会接收到2倍阈值的流量。

文章图片

2.2 滑动窗口算法概念：滑动窗口对固定窗口进行改良，将其细化，将一个时间窗口划分为若干个时间窗格，每个窗格代表固定的时间段（如1分钟）、拥有独立的计数器，每过固定时间（如1分钟），将滑动窗口向前移动一格。滑动窗口中的窗格划分越细，限流统计越精确。

文章图片

2.3 漏斗算法概念：请求像水一样注入漏斗，然后以固定的速率流出。漏斗未满之前，请求可以一直进入；漏斗满，则请求拒绝。
漏斗算法可以平滑流量，但是无法解决流量突增的问题。

文章图片

2.4 令牌桶算法概念：以恒定速率（令牌产生速率）向令牌桶中放入令牌，令牌桶满（令牌桶大小）则无法放入。请求到达后先获取令牌，拿到令牌后请求被处理并删除获得的令牌。令牌不足时，请求无法获得令牌，请求被拒绝。
令牌桶算法可以平滑限流，同时可以容忍突发流量。

文章图片

3. 限流策略 3.1 服务拒绝当请求流量达到限流阈值时，对多余的请求直接拒绝。
可通过设计实现对指定域名、IP、客户端、应用、用户等不同来源的请求进行拒绝。
3.2 延时处理通过将多余的请求加入缓存队列或延时队列，来应对短期的流量突增，高峰期过后开始将堆积的请求流量逐渐处理。
3.3 请求分级（优先级）对不同来源的请求设置优先级，先处理优先级更高的请求。如VIP客户、重要的业务应用（如交易服务优先级高于日志服务）
3.4 动态限流可以监控系统相关指标、评估系统压力，通过注册中心、配置中心等动态调整限流阈值。
3.5 监控预警& 动态扩容如果有优秀的服务监控系统与自动部署、发布系统，可以通过监控系统自动监测系统运行情况，对短期内服务压力暴增、流量大幅写入的情况进行邮件、短信等方式进行预警。
在满足特定条件下，可自动部署、发布相关服务，起到动态扩容的效果。
4. 限流位置 4.1 接入层限流可以通过nginx、API路由网关等对域名或IP进行限流，同时可以拦截非法请求
4.2 应用限流每个服务可以有自己的单机或集群限流措施，也可以调用第三方的限流服务
4.3 基础服务限流数据库：限制数据库连接、限制读写速率
消息队列：限制消费速率（消费量、消费线程）