最佳实践丨云开发CloudBase内容审核能力云开发实践小程序网站开发

本文介绍云开发内容审核的使用场景，并演示如何使用内容审核功能。
*本文主要介绍腾讯云云开发侧的功能应用，微信云开发侧使用指南参见：
https://developers.weixin.qq....
内容审核介绍什么是内容审核？
内容审核是基于图像、文本、音视频的检测技术，可自动检测低俗、违法违规、色情、广告、图文违规等内容，对用户上传的图片、文字、音视频进行内容审核，以满足上传要求，帮助客户降低业务违规风险。
常见的内容审核方式有：

图像内容审核

图像内容审核，利用深度神经网络模型对图片内容进行检测，准确识别图像中的敏感违法元素、违规内容等，帮助业务规避违规风险。

文本内容审核

文本内容审核，采用人工智能文本检测技术有效识别违法违规、广告、辱骂、违禁品和灌水文本内容，提供定制化的文本敏感内容审核方案。

文章图片

云开发内容审核介绍
云开发内容审核为托管在云开发内的内容（云数据库里存储的数据、云存储上存储的文件）提供快速的内容审核服务。可快速设置内容审核规则（审核范围、审核场景、违规后自动封禁处理），数据库文档变更后异步审核，文本内容秒级完成审核与处理。

文章图片

注意：当前仅支持云数据库内的文档进行内容审核。

内容审核的常见场景
在当下的互联网环境下，内容审核可以说是无处不在，以一个论坛网站为例：小到一个用户的用户名注册内容审核、用户在评论区或留言区的评论内容审核，大到用户发帖的整个帖子的内容审核。
凡是能让用户自由输入内容的地方都需要对其内容进行审核，从而防止论坛被大量不良信息所围绕，造成网站服务器资源被浪费，严重地影响了网站形象，更有甚者网站站长可能会承担相关法律责任。
使用云开发内容审核前提条件已有一个可用的按量计费环境。
https://cloud.tencent.com/doc...
操作步骤单击一个按量计费环境，进入环境 > 内容审核 > 安全配置页面，在安全配置页可以看到有两大部分：审核规则和审核详情。

文章图片

步骤1：创建审核规则
在进行内容审核之前，需要先创建审核规则，即制定对哪些内容进行什么样的规则进行审核。

文章图片

单击新建，开始创建审核规则。

文章图片

选择对云数据库中哪个集合进行内容审核，例如需要对用户评论内容进行审核，则选择存储用户评论的集合，如下：

文章图片

说明：该下拉框中所列出的集合即是数据库中所有的集合，如果当前下拉框中没有集合，则您需要在左侧导航栏数据库中先创建一个集合。

选择完集合后，还需填写对该集合下的哪个字段进行审核，例如需要对用户评论内容进行审核，则填写评论集合里的评论内容字段，如下：

文章图片

拟定一个屏蔽文案，当出现违规内容时，用于提示用户的信息，默认为：该内容已违规暂不显示。如下：

文章图片

开启对违规内容进行自动屏蔽开关。开启后，系统如果检测到某条内容违规，则会对内容进行自动屏蔽，并以4中拟定的自定义屏蔽文案进行重写。如果不开启，则只对内容进行审核打分，不自动重写屏蔽。一般建议开启，如下：

文章图片

开启后，需要选择审核场景，即对什么类型的违规内容进行审核，如谩骂、广告、违法、色情等。一般建议全选，如下：

文章图片

说明：违规类型后的审核分数是指：当系统对内容进行审核时，会对被审核的内容进行打分，分数越高表示内容违规程度越高，当打出的分数大于所填写的审核分数时，系统将会对内容进行自动屏蔽。
审核分数可理解为对当前违规类型的“容忍度”，分数越低表示容忍度越低，例如对违法信息零容忍，本着“宁可错杀一千，也不放过一个”的原则，即可将违法类型的分数填写的低一点（最低60分），这样系统一旦发现内容疑似属于违法信息，立即将其屏蔽。