锐客网

  1. 首页 > 科技 > >

谷歌|谷歌大神 Jeff Dean 领衔，万字展望五大AI趋势( 四 )


文章图片

持续改进的 ML 编译和 ML 工作负载的优化：
即使在硬件没有变化的情况下，对于 ML 加速器的编译器和系统软件的其他优化也可以显著提高效率 。例如，“自动调优多通道机器学习编译器的灵活方法”展示了如何使用 ML 来执行编译设置的自动调优，从而在相同的底层硬件上为一套 ML 程序实现 5-15%（有时高达 2.4 倍的改进）的全面性能改进 。GSPMD 描述了一个基于 XLA 编译器的自动并行化系统，该系统能够扩展大多数深度学习网络架构，超出加速器的内存容量，并已应用于许多大型模型，如 GShard-M4、LaMDA、BigSSL、ViT、MetNet-2 和 GLaM 等等，在多个领域上带来了最先进的结果 。
谷歌|谷歌大神 Jeff Dean 领衔，万字展望五大AI趋势
文章图片

图丨在 150 ML 模型上使用基于 ML 的编译器自动调优，可以加快端到端模型的速度 。包括实现 5% 或更多改进比例的模型 。条形颜色代表了优化不同模型组件的相对改进程度 。
人类创造力驱动的更高效模型架构的发现：
模型体系结构的不断改进，大大减少了许多问题达到给定精度水平所需的计算量 。例如，我们在 2017 年开发的 Transformer 结构，能够在几个 NLP 任务和翻译基准上提高技术水平 。与此同时，可以使用比各种其他流行方法少 10 倍甚至百倍的计算来实现这些结果，例如作为 LSTMs 和其他循环架构 。类似地，视觉 Transformer 能够在许多不同的图像分类任务中显示出改进的最新结果，尽管使用的计算量比卷积神经网络少 4 到 10 倍 。
更高效模型架构的机器驱动发现：
神经体系结构搜索（NAS, Neural Architecture Search）可以自动发现对于给定的问题域更有效、新颖的 ML 体系结构 。NAS 的主要优势是，它可以大大减少算法开发所需的工作量，因为 NAS 在每个搜索空间和问题域组合中只需要一次性的工作 。此外，虽然最初执行 NAS 的工作可能在计算上很昂贵，但由此产生的模型可以大大减少下游研究和生产环境中的计算，从而大大减少整体资源需求 。例如，为了发现演化 Transformer（Evolved Transformer）而进行的一次性搜索只产生了 3.2 吨的 CO2e，但是生成了一个供 NLP 社区中的任何人使用的模型，该模型比普通的 Transformer 模型的效率高 15-20% 。最近对 NAS 的使用发现了一种更高效的体系结构 Primer（开源），与普通的 Transformer 模型相比，它降低了4倍的训练成本 。通过这种方式，NAS 搜索的发现成本通常可以通过使用发现的更高效的模型体系结构得到补偿，即使它们只应用于少数下游任务 。
谷歌|谷歌大神 Jeff Dean 领衔，万字展望五大AI趋势
文章图片

图丨与普通的 Transformer 模型相比，NAS 发现的 Primer 架构的效率是前者的4倍 。这幅图（红色部分）显示了 Primer 的两个主要改进：深度卷积增加了注意力的多头投影和 squared ReLU 的激活（蓝色部分表示原始 Transformer） 。
NAS 还被用于发现视觉领域中更有效的模型 。EfficientNetV2 模型体系结构是神经体系结构搜索的结果，该搜索联合优化了模型精度、模型大小和训练速度 。在 ImageNet 基准测试中，EfficientNetV2 提高了 5 到 11 倍的训练速度，同时大大减少了先前最先进模型的尺寸 。CoAtNet 模型架构是通过一个架构搜索创建的，该架构搜索采用了视觉 Transformer 和卷积网络的想法，以创建一个混合模型架构，其训练速度比视觉 Transformer 快 4 倍，并取得了新的 ImageNet 技术水平 。

推荐阅读


上一篇：影像馆|快来打卡！荣耀新年影像馆14日起全国多城陆续上线

下一篇：手机|误以为已倒闭的手机巨头，其实在另一领域崛起，低调做到全球第一