投稿|Yoshua Bengio 、吴恩达等AI大牛预见2022年人工智能趋势( 二 ) 投稿|人工智能

市场预计明年大型语言模型的规模将继续增长。2022年最大的模型很有可能来自 OpenAI：GPT-4 。
吴恩达认为，2022年将出现更多参数破万亿的模型，过去一年，模型从大型往更大型发展。单纯增加参数并无好处，但随着算力和数据资源的增长，深度学习发展出“越大越好”的原则。于是，财力雄厚的AI大厂们奋力斥资研发超大模型，特别是NLP领域模型。但是，构建越来越大的模型也带来挑战，开发者必须克服四个巨大的障碍：

数据：大模型需要大量数据，网络或者公开数据集等大型来源缺乏高质量数据。例如，BookCorpus是一个包含11000本电子书的数据集，已被用于训练30多个大型语言模型，但它缺乏讨论基督教和伊斯兰教以外信仰的文本，可能会传播对某些宗教的偏见。行业越来越意识到数据质量至关重要，但尚未就编译大规模、高质量数据集的有效方法达成共识。
速度：今天的硬件难以处理庞大的模型，当Bit反复进出内存时，这些模型可能会陷入困境。为了减少延迟，Switch Transformer背后的Google团队开发了一种方法，可以为每个Token处理选定模型层子集。他们最佳模型预测速度比参数数量只有其1/30的模型快66% 。同时，微软开发了DeepSpeed库，它可并行处理数据、单个层和层组，并通过在CPU和GPU之间划分任务来减少冗余处理。
能源：训练如此庞大的网络会消耗大量的电能。2019年的一项研究发现，在8个Nvidia P100 GPU上训练一个2亿参数Transformer模型，几乎和一辆普通汽车跑五年的碳排放量一样多。不过，新一代的AI芯片，如Cerebras的WSE-2和谷歌最新的TPU，可能有助于减少碳排放。
交付：这些庞大的模型太大而无法在C端边缘设备上运行，集中部署可能导致延迟，而小规模部署，能力又较弱。

所以，2022年大语言模型仍然以数量千亿参数模型为主，因为超过万亿的参数模型部署很困难。
吴恩达还提出其他AI趋势预测，包括Transformer单一架构将驾驭更多任务、AI产生音频成主流、各国推出AI法规等。
Meta AI研究中心主任Joelle Pineau：元宇宙亟需小样本学习和持续学习AI技术Facebook为了元宇宙改名Meta，且承诺砸数百亿美元创建元宇宙。Meta AI实验室负责人Joelle Pineau表示：2022年将带来新的AI数据集、模型、任务与VR/AR“拥抱现实世界的丰富性”的挑战。
“我预见了人工智能工作的全新模式，它使我们能够与世界进行更丰富的感官交互。使用人工智能的创造力，能够增强和放大人类的表达和体验。随着机器感知技术的进步，可以构建更有用的人工智能助手和未来的家用机器人。以及推动部署负责任的人工智能技术新标准的进步，这更符合人类价值观，包括安全性、公平性和透明度。”Pineau说。
多模态AI可以提高用于营销目的生成视频的质量，例如，Synthesia、Soul Machines和STAR Labs等初创公司目前提供的产品线。它们可以用作艺术工具，使电影和游戏设计等行业的用户能够在将其投入生产之前对其进行迭代和完善。
Pineau还预计，人们会更加关注小样本学习和持续学习等技术，因为它将使人工智能能够快速适应新任务，满足快速迭代的新需求。例如来自OpenAI和Meta、WebGPT和BlenderBot 2.0的最新语言模型，它们可以在网上检索对他们提出的问题的最新答案。
目前大多数AI算法仍然专注于被动数据，数据量相对较大、稳定，同质化严重，这种算法可能适用于互联网时代的人工智能模型，但我们希望将人工智能的能力带入元宇宙，就需要支持快速变化社交属性的新算法。