谷歌不甘示弱，开源可处理|谷歌不甘示弱，开源可处理 101 种语言模型，就比 Facebook 多一种
文章图片
上周 Facebook 开源了一个可以处理 100 中语言的模型，今天，不甘示弱的谷歌就宣布开源了一个可翻译 101 种语言的模型。
谷歌称新的 MT5 是 Google T5 模型的多语言变体，已在涵盖101种语言的数据集上进行了预训练，包含 3 亿至 130 亿个参数，可学习 100 多种语言而不会受到干扰。
MT5 经过大量训练，具有 130 亿个参数
MT5 在 MC4 （ C4 的子集）上接受培训，MC4 是从公共 Common Crawl 存储库中提取的约 750GB 英语文本的集合。Common Crawl 包含数十亿个从 Internet 抓取的网页。尽管 C4 数据集被明确设计为仅英语，但 MC4 覆盖了 Common Crawl 迄今为止发布的 107 种语言，具有 10000 多个网页。
【谷歌不甘示弱，开源可处理|谷歌不甘示弱，开源可处理 101 种语言模型，就比 Facebook 多一种】有证据表明，语言模型会放大他们所训练的数据集中存在的偏见。尽管一些研究人员声称，目前没有任何机器学习技术可以充分防止有害输出，但谷歌研究人员通过对 MC4 文档中进行重复数据删除和过滤包含不良词的页面减轻了 MT5 中的偏差。他们还使用工具检测了每个页面的主要语言，并删除了置信度低于 70％ 的页面。
谷歌表示，最大的 MT5 模型（具有 130 亿个参数）超过了 2020 年 10 月的所有基准测试。其中包括 Xtreme 多语言基准测试的五项任务、XNLI 涵盖任务涵盖 14 种语言、XQuAD/MLQA 和 TyDi QA 阅读理解基准分别使用了 10 种、7 种 和 11 种语言，以及具有 7 种语言的 PAWS-X 复述识别数据集。
谷歌：MT5 可直接适用于多种语言环境
当然，基准是否充分反映模型的真实性能是一个有争议的话题。一些研究表明，开放域问答模型（理论上能够用新颖答案回答新颖问题的模型）通常只是根据数据集简单地记住在训练数据中找到的答案。
谷歌研究人员断言 MT5 是迈向功能强大的模型的一步，这些功能不需要具有挑战性的建模技术。
谷歌研究人员认为 MT5 可直接适用于多种语言环境，并在各种基准测试中均表示出色。
在描述 MT5 的论文中，谷歌研究人员写道：“总体而言，我们的研究结果突出了模型能力在跨语言表示学习中的重要性，并建议通过过滤、并行数据或中间任务来扩展简单的预训练方法。”
模型能力不断提升，重点关注网络抓取内容
与 Facebook 模型相同的是，谷歌多语言 AI 模型设计的目标也是建立一个可以理解世界上 7000 多种语言的模型。
多语言 AI 模型在相似的语言之间共享信息，这有益于资源贫乏的语言，并允许零镜头语言处理或模型未见过的语言处理。
随着模型能力的提升，它们需要较大的数据集，这些数据集会很费力且难以创建，研究人员将重点放在网络抓取的内容上。
文章图片
推荐阅读
- 【译】20个更有效地使用谷歌搜索的技巧
- 探索免费开源服务器tomcat的魅力
- 要玩转这个星际争霸II开源AI，你只需要i5+GTX1050
- redis|redis 常见问题一
- java|微软认真聆听了开源 .NET 开发社区的炮轰（ 通过CLI 支持 Hot Reload 功能）
- 谷歌/火狐/Safari浏览器设置手机模式浏览
- SwiftUI|SwiftUI 动画组件之Lottie小型高质量交互式的开源动画文件格式
- 开源生态|GPL、MIT、Apache...开发者如何选择开源协议（一文讲清根本区别）
- 知乎免登录谷歌插件推荐
- WebGIS理论知识（三）之ArcGIS平台、SuperMap超图平台和开源平台