谷歌|谷歌大神 Jeff Dean 领衔，万字展望五大AI趋势( 三 )
文章图片
图丨基于视觉的机器人操作系统的例子，能够泛化到新的任务 。左图：机器人正在执行一项用自然语言描述为“将葡萄放入陶瓷碗中”的任务，而不需要对模型进行特定的训练 。右图：和左图一样，但是有“把瓶子放在托盘里”的新的任务描述 。
这些模型通常使用自监督学习（Self-supervised learning）的训练，在这种方法中，模型从观察到的“原始”数据中学习，而这些数据没有被整理或标注 。例如，GPT-3 和 GLaM 使用的语言模型，自监督的语音模型 BigSSL，视觉对比学习模型 SimCLR，以及多模态对比模型 VATT 。自监督学习允许大型语音识别模型匹配之前的语音搜索中的自动语音识别技术（Automatic Speech Recognition）的基准精度，同时仅使用 3% 的标注训练数据 。这些趋势是令人兴奋的，因为它们可以大大减少为特定任务启用 ML 所需的努力 。而且，它们使得在更有代表性的数据上训练模型变得更容易，这些数据可以更好地反映不同的亚种群、地区、语言或其他重要的表示维度所有这些趋势都指向训练能够处理多种数据模式并解决数千或数百万任务的高能力通用模型的方向 。通过构建稀疏性模型，使得模型中唯一被给定任务激活的部分是那些针对其优化过的部分，由此一来，这 。
些多模态模型可以变得更加高效 。在未来的几年里，我们将在名为“Pathways”的下一代架构和综合努力中追求这一愿景 。随着我们把迄今为止的许多想法结合在一起，我们期望在这一领域看到实质性的进展 。
文章图片
图丨Parthway：我们正在朝着单一模型的描述而努力，它可以在数百万个任务中进行泛化 。
趋势2：ML 的持续效率提高由于计算机硬件设计、ML 算法和元学习（meta-learning）研究的进步，效率的提高正在推动 ML 模型向更强的能力发展 。ML 管道的许多方面，从训练和执行模型的硬件到 ML 体系结构的各个组件，都可以在保持或提高整体性能的同时进行效率优化 。这些不同的线程中的每一个都可以通过显着的乘法因子来提高效率，并且与几年前相比，可以将计算成本降低几个数量级 。这种更高的效率使许多关键的进展得以实现，这些进展将继续显著地提高 ML 的效率，使更大、更高质量的 ML 模型能够以更有效的成本开发，并进一步普及访问 。我对这些研究方向感到非常兴奋！
ML加速器性能的持续改进：
每一代ML加速器都在前几代的基础上进行了改进，使每个芯片的性能更快，并且通常会增加整个系统的规模 。其中，拥有大量芯片的 pods，这些芯片通过高速网络连接在一起，可以提高大型模型的效率 。
当然，移动设备上的 ML 能力也在显著增加 。Pixel 6 手机配备了全新的谷歌张量处理器（Google Tensor processor），集成了强大的ML加速器，以更好地支持重要的设备上功能 。
我们使用 ML 来加速各种计算机芯片的设计（下面将详细介绍），这也带来了好处，特别是在生产更好的 ML 加速器方面 。
推荐阅读
- 旗舰|出乎意外？苹果、小米、三星、谷歌旗舰续航对比，第一名实力反超
- 爱奇艺|爱奇艺谷歌版来了！纯净无广告，不开会员也能流畅追剧
- 大神|一点隐私都没有了？聊天记录打码也不安全：大神亲自下场破解
- 谷歌|国产手机真长脸，iPhone13ProMax续航神话破灭，网友：终于等来了
- xel|火星马丁：谷歌pixel5综合体验
- 谷歌|苹果小米三星5大旗舰机续航测试！第一名你不得不服
- 折叠屏手机|今年内发布！谷歌折叠屏手机确认：星米OV大敌来了？
- oppo|传谷歌折叠屏手机年底问世 苹果也在考虑折叠手机
- Pixel|谷歌 Pixel 手机 App 流式传输功能曝光：电脑、手机互不干扰
- 适配|谷歌是符合做好折叠屏适配的？我总结了这四点