如何使用Cloudflare防火墙阻止Bot（） _Web安全

从抓取工具和漫游器中收到大量请求, 这对你的业务没有增值作用吗？
每天有成千上万的爬虫/漫游器访问你的站点, 但很少有帮助。其中一些被认为是恶意机器人或垃圾邮件。
你如何知道所有机器人都在访问你的网站？
好吧, 没有简单的答案。要找出答案, 你需要查看你的Web服务器access.log文件, 并查找” 用户代理” 列。假设你要列出除Googlebot以外的所有bot, 然后可以在存在access.log文件的Web服务器上运行以下命令。

grep bot access.log |grep -v Googlebot

看到这么多, 你感到惊讶吗？
当我检查日志时, 我也是。

[email protected]:nginx# grep bot access.log |grep -v Googlebot | wc -l616834[email protected]:nginx#

在阻止任何内容之前, 你需要检查它们以确保你没有阻止, 这可能是你的业务所必需的。而且, 有很多方法可以做到这一点, 但是我总是喜欢在边缘将其阻止。
原因很简单-当你根本不需要这些请求时, 为什么要让它们访问Web服务器。
像标题一样, 让我们??了解如何使用Cloudflare防火墙阻止你不需要的漫游器。
注意：如果你正在运营大型企业业务, 则可能对Cloudflare机器人管理服务感兴趣。

登录到Cloudflare
转到防火墙选项卡, 然后防火墙规则并创建防火墙规则

文章图片

输入规则名称
选择” 字段” 作为” 用户代理” , “ 运算符” 作为” 包含” , 并选择” 值” 作为你要阻止的机器人名称
使用或条件在单个规则中添加多个机器人

文章图片
注意：上图中提到的机器人仅用于说明。没必要, 它们是坏机器人。

然后选择动作作为阻止并部署
如果你知道该表达式, 则也可以通过单击” 编辑表达式” 而不是遵循GUI来编写它。部署后, 你应该在列表中看到新创建的规则, 并且状态应该为ON以生效。

文章图片
很简单, 不是吗？
你还可以使用防火墙规则做什么？
好吧, 还有更多更多可以提供更好的安全性。让我们看看以下封锁条件。

如果请求来自特定的ASN, 则IP地址
匹配Cookie, 引荐来源网址, X转发关键字
限制向全国提供服务的请求
禁用不需要的HTTP方法, 例如PUT, DELETE, OPTIONS, PURGE等。

【如何使用Cloudflare防火墙阻止Bot（）】还有更多选择…
你可以通过GUI构建器执行所有操作, 也可以编写你的表达式。应用更改几乎是即时的。
总结
Cloudflare防火墙规则是一种在不停机的情况下为网络边缘的Web应用程序添加保护的好方法。如果还没有, 你可能还需要考虑使用Cloud WAF以获得更好的应用程序安全性和DDoS和其他在线漏洞的保护。