通过API检测Web上的安全威胁 _Web

本文概述

Google Web Risk
VirusTotal
Scanii
Metadefender
Urlscan.io
JUICE
Quttera

Web上充满了恶意页面。不幸的是, 这些也可以存在于你的客户/供应商站点上。
如今, 没有任何业务离不开来自客户或供应商网站的信息或为其提供输入的集成。当然, 如果没有这些服务, 你的业务就不会存在, 但有时由于这些服务而成为威胁。你与之交互的外部站点上可能包含恶意内容(无论是故意安装还是被第三方破坏), 并且如果该内容到达预定位置, 后果将不堪设想。

文章图片
我们可以不手动扫描网站上的恶意页面吗？
合格的开发人员似乎应该能够扫描页面中的漏洞。不幸的是, 由于许多原因, 这甚至还无法实现：

开发人员并不专门研究检测/安全性。他们的专长是通过组合许多较小的子系统来构建复杂的软件。换句话说, 他们根本没有技能。
即使你遇到足够有才华的开发人员, 任务也将太多。一个典型的功能丰富的网页包含成千上万行代码-将它们全部缝合在一起以得出更大的图景以及微小的漏洞, 这简直就是一场噩梦。你最好命令某人吃掉整个大象作为午餐！
为了减少页面加载时间, 网站通常压缩并缩小其CSS和JavaScript文件。这会导致一堆乱七八糟的代码, 以至于根本无法阅读。

文章图片
你认为这段代码有什么作用？：kappa：(来源elgg.org)
如果看起来仍然可读, 那是因为那里的好人决定将变量名保留在较大的范围内。尝试使用jQuery的源代码, 有人可以将其托管在其网站上并进行篡改(此混乱处的两行)：

文章图片
更不用说, 源代码接近5, 000行代码。 ????
这只是我们谈论的一个脚本。一个网页通常会附加5-15个脚本, 并且你可能总共要处理10-20个网页。想象每天都要这样做。。。或更糟糕的是, 一天几次！
幸运的是, 可以通过API快速轻松地扫描URL。你不仅可以扫描网页, 还可以扫描提供给你下载的文件。让我们看一些可以帮助你完成此操作的API工具。而且, 由于这些都是API, 因此, 如果你要求开发人员使用这些API构建网站扫描程序工具, 那么他们的工作将会得到更好的服务。 ????
Google Web Risk 毫无疑问, 网页检查器将来自实际上拥有互联网的公司(我的意思是所有网页)。但是有一个陷阱：Google Web Risk仍处于测试阶段, 仅应要求提供。处于测试版意味着更多的重大变化。
尽管如此, 由于该API非常简单, 因此你的开发人员可以使用API??监视工具来解决任何更改, 并且只需花几分钟的开发时间。 ????

文章图片
使用API??也非常容易。要使用命令行检查单个页面, 只需发送请求, 如下所示：

curl -H "Content-Type: application/json" "https://webrisk.googleapis.com/v1beta1/uris:search?key=YOUR_API_KEY& threatTypes=MALWARE& uri=http%3A%2F%2Ftestsafebrowsing.appspot.com%2Fs%2Fmalware.html"

如果请求成功, 则API会使用页面上的漏洞类型进行答复：

{ "threat": { "threatTypes": [ "MALWARE" ], "expireTime": "2019-07-17T15:01:23.045123456Z" } }

如你所见, API确认该页面包含恶意软件。
请注意, Google Web Risk API不会对你选择的URL或文件执行按需诊断。它根据搜索结果查询Google维护的黑名单, 并报告并报告URL是否在该黑名单中。换句话说, 如果此API指出网址是安全的, 则可以肯定地认为它是非常安全的, 但是并不能保证。
VirusTotal VirusTotal是另一个很酷的服务, 你不仅可以用来扫描URL, 还可以用来扫描单个文件(在这种情况下, 就实用性而言, 我认为它高于Google Web Risk)。如果你想尝试该服务, 请直接访问该网站, 然后在主页上, 就可以开始使用。

文章图片
尽管VirusTotal是一个由活跃社区构建和管理的免费平台, 但它确实提供了其API的商业版本。这就是你要为高级服务付费的原因：

灵活的请求率和每日配额(公共API每分钟只有四个请求)
VirusTotal对其防病毒软件扫描提交的资源, 并返回其他诊断信息。
有关你提交的文件的基于行为的信息(文件将放置在不同的沙盒环境中, 以监视可疑活动)
在VirusTotal文件数据库中查询各种参数(支持复杂查询)
严格的SLA和响应时间(通过公共API提交给VirusTotal的文件排队, 并花费大量时间进行分析)

如果你选择私有的VirusTotal API, 它可能是你为企业的SaaS产品做出的最好的投资之一。
Scanii 安全扫描程序API的另一项建议是Scanii。这是一个简单的REST API, 可以扫描提交的文档/文件中是否存在威胁。将其视为可以轻松运行和扩展的按需病毒扫描程序！

文章图片
这是Scanii提供的好东西：

能够检测恶意软件, 网络钓鱼脚本, 垃圾邮件内容, NSFW(不安全工作)内容等。
它建立在Amazon S3上, 可轻松扩展和零风险文件存储。
使用超过23种语言来检测令人反感, 不安全或潜在危险的文本。
一种简单, 简洁, 专注的基于API的文件扫描方法(换句话说, 没有不必要的” 有用” 功能)

真正的好处是Scanii是一个元引擎。也就是说, 它不会自行执行扫描, 而是使用一组底层引擎来完成任务。这是一笔巨大的财富, 因为你不必绑定到特定的安全引擎, 这意味着你无需担心API更改中断等问题。
我认为Scanii是依赖于用户生成内容的平台的巨大福音。另一个用例是扫描你无法信任100％的供应商服务生成的文件。
Metadefender 对于某些组织, 仅在单个端点上扫描文件和网页是不够的。它们具有复杂的信息流, 并且不会损害任何端点。对于那些用例, Metadefender是理想的解决方案。

文章图片
将Metadefender想象成位于你的核心数据资产与包括网络在内的所有其他事物之间的偏执狂看门人。我之所以说” 偏执狂” , 是因为这就是Metadefender背后的设计理念。我无法比他们描述得更好, 所以去了：

大多数网络安全解决方案都将检测作为其核心保护功能。 MetaDefender数据清理不依赖于检测。它假定所有文件都可能被感染, 并使用安全有效的过程重建其内容。它支持30多种文件类型, 并输出安全和可用的文件。数据清理在防止目标攻击, 勒索软件以及其他类型的已知和未知恶意软件威胁方面非常有效。

Metadefender提供了一些简洁的功能：

数据丢失防护：简而言之, 这是一种覆盖和保护文件内容内部检测到的敏感信息的能力。例如, Metadefender将混淆信用卡号可见的PDF收据。
本地部署或在云中部署(取决于你的偏执程度！)。
通过30多种类型的归档格式(zip, tar, rar等)和4, 500种文件类型的欺骗技巧, 可以正确查看。
多渠道部署-仅保护文件安全, 或者避免电子邮件, 网络和登录控制。
自定义工作流程, 可基于自定义规则应用不同类型的扫描管道。

Metadefender包括30多个引擎, 但是很好地抽象了它们, 因此你无需考虑它们。如果你是承受不起安全噩梦的大中型企业, 那么Metadefender是一个不错的选择。
Urlscan.io 如果你主要是在处理网页, 并且一直想更深入地了解它们在幕后所做的事情, 那么Urlscan.io是你武器库中的绝佳武器。

文章图片
Urlscan.io转储的信息量令人印象深刻。除其他外, 你将看到：

该页面联系的IP地址总数。
页面向其发送信息的地域和域的列表。
网站的前端和后端使用的技术(没有提出准确性要求, 但准确性令人震惊！)。
域和SSL证书信息
详细的HTTP交互以及请求有效负载, 服务器名称, 响应时间等。
隐藏的重定向和失败的请求
传出连结
JavaScript分析(脚本中使用的全局变量等)
DOM树分析, 表单内容等。

外观如下：

文章图片
该API简单明了, 允许你提交要扫描的URL, 以及检查该URL的扫描历史记录(即由其他人执行的扫描)。总而言之, Urlscan.io为任何有关的企业或个人提供了大量信息。
JUICE 当涉及到在线扫描网站中的威胁和恶意软件时, SUCURI是一个著名的平台。你可能不知道的是它们也具有REST API, 从而可以通过编程利用相同的功能。

文章图片
除了API简单且运行良好外, 这里没有什么要讨论的。当然, Sucuri不仅限于扫描API, 因此在你使用它的同时, 我建议你检查一下它的一些强大功能, 例如服务器端扫描(基本上, 你提供FTP凭据, 并且它记录并扫描所有文件中的威胁！)。
Quttera 我们在此列表中的最后一个条目是Quttera, 它提供的内容略有不同。 Quttera不仅可以按需扫描域和提交的页面, 还可以执行连续监视, 从而帮助你避免零日漏洞。

文章图片
REST API简单而强大, 并且可以返回比JSON格式更多的格式(例如XML和YAML)。扫描支持完全多线程和并发, 从而允许你并行运行多个详尽的扫描。由于该服务是实时运行的, 因此对于那些关键任务产品(停工意味着淘汰)的公司来说, 这是非常宝贵的。
总结
像本文中介绍的安全工具一样, 它们只是额外的防线(如果需要, 请谨慎使用)。就像防病毒程序一样, 它们可以做很多事情, 但是它们无法提供防故障扫描方法。这仅仅是因为以恶意为目的编写的程序与为产生积极影响而编写的程序在计算机上是相同的-它们既需要系统资源, 又会发出网络请求；魔鬼在于上下文, 这不是让计算机成功工作的前提。
【通过API检测Web上的安全威胁】也就是说, 这些API确实提供了在大多数情况下都需要的强大的安全保护-无论对于??外部网站还是你自己的网站！ ????