人工智能|AI年度总结与展望：超大规模预训练模型爆发，自动驾驶迎商业化前夜人工智能|2021·年度大复盘

文章图片

图片来源@视觉中国

钛媒体注：本文来源于微信公众号AI前线（ID： ai-front），作者：刘燕。

刚刚过去的2021年，又是跌宕起伏的一年。疫情仍没有结束的苗头，缺芯造成的供应链中断此起彼伏，与此同时，数字化、智能化转型已是大势所趋。全球企业和机构在不断学会适应“新常态”，并从中捕捉新的商业机会。
2021年, 人工智能领域依然热潮汹涌。AphaFold2成功预测98%蛋白质结构，预训练大模型迎来大爆发，自动驾驶迈入商业化试点探索新阶段，元宇宙概念东风劲吹，首个关于AI伦理的全球协议通过，商汤科技摘得“AI 第一股”（在2022年）... 前沿技术突破令人欣喜，落地应用“润物细无声”般深入各行业，业界也开始正视人工智能的问题和挑战。
在岁末年初之际，我们采访了众多行业专家，回顾了2021年人工智能大模型、深度学习框架、 NLP、智能语音、自动驾驶、知识图谱等各项AI技术的发展情况，并展望了2022年可能的技术趋势。
AI技术年度发展总结与展望——————
01 人工智能迈向“炼大模型”阶段2021年是超大规模预训练模型的爆发之年。
2020年，GPT-3横空出世，这个具有1750亿参数规模的预训练模型所表现出来的零样本与小样本学习能力刷新了人们的认知，也引爆了2021年AI大模型研究的热潮。
谷歌、微软、英伟达、智源人工智能研究院、阿里、百度、浪潮等国内外科技巨头和机构纷纷展开大模型研究和探索。
超大规模预训练模型的“军备竞赛”
2021年1月，Google推出的Switch Transformer模型以高达1.6万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上首个万亿级语言模型。
国内研究机构也不甘示弱。2021年6月，北京智源人工智能研究院发布了超大规模智能模型“悟道 2.0”，达到1.75万亿参数，超过Switch Transformer成为全球最大的预训练模型。
值得一提的是，今年国产化大模型研发工作进展飞速，华为、浪潮、阿里、百度等都发布了自研的大模型。
浪潮人工智能研究院首席研究员吴韶华向采访人员表示，现在业界提高模型参数量有两种技术路线，产生两种不同的模型结构，一种是单体模型，一种是混合模型。如浪潮的源大模型，华为的盘古大模型、百度的文心大模型、英伟达联合微软发布的自然语言生成模型MT-NLG等走的都是单体模型路线；而智源的悟道模型、阿里M6等走的是混合模型路线。
预训练模型技术新进展
OPPO小布智能中心、 NLP算法工程师曾冠荣认为，预训练模型在今年取得的重要技术进展有：
1）知识表示和学习机理进一步创新突破
随着对预训练模型的深入理解，预训练模型的知识学习和表征的机理逐步明确，人们得以更加顺利地往模型里注入需要其学习的知识，在这些知识的加持下，对复杂任务的应对能力得到了大幅提升。
2）对比学习、自监督和知识增强
以对比学习为中心，多种增强方法为工具的方式能进一步提升预训练模型的语义理解和表征能力，增强方法的深入让模型自监督成为可能，让对比学习对样本，尤其是正样本的依赖降低，数据依赖的降低势必让模型对少样本甚至无样本任务的适应性提升，模型能更好地完成这类型的任务，这将让预训练模型落地的成本再降低一个层次。