人工智能|AI年度总结与展望：超大规模预训练模型爆发，自动驾驶迎商业化前夜( 三 )
技术自立之路
近两年，国产深度学习框架陆续开源且发展迅速，逐渐在开源框架市场占有一席之地 。
在技术研发方面，国产框架不再是技术的“跟随者”的角色，研发出了很多领先的创新点，如MegEngine的DTR技术、OneFlow的SBP并行方案和MindSpore的AKG等等 。此外，在功能、代码质量和文档等方面都达到了很高的水准 。
在开源生态建设方面，各家也都持续投入，通过开源社区扶植、产学研合作等方式，助力国产开源生态的发展和人才培养 。
业界现有的主流深度学习框架多来自国外大厂，目前，国内企业自研的深度学习框架还没有哪一款进阶成为国际主流的学习框架 。
许欣然坦言，国产深度学习框架在生态建设上还有很长的路要走，既需要持续投入、不断完善生态建设，也需要找到差异化的技术竞争点，充分结合我国国情和国产硬件，发挥好自身的技术优势和更好的生态洞察力 。
研发难点
现阶段，在深度学习框架方面，业界普遍面临的研发难点主要体现在以下三个方面：
（1）在训练侧，NPU开始入场，不少厂商已经做出自己的训练芯片，如何高效对接训练NPU仍待解决；
（2）学术研究发展迅速，框架技术需要持续跟进，这为框架研发带来了一定挑战 。接下来一段时间会持续一段大Transformer的趋势，那么，下一个趋势是什么？
（3）算力提升速度更多地开始依赖DSA硬件，只是单纯的手写kernel已难以支撑，框架需要更多的编译技术、domain knowledge才能不断提升训练效率 。随着NPU、GPU等芯片的快速迭代，包括MLIR、XLA、TVM在内的编译技术将受到更多关注 。
将更好地支持大模型训练
【人工智能|AI年度总结与展望：超大规模预训练模型爆发，自动驾驶迎商业化前夜】随着大模型的持续火热，预期深度学习框架将在并行策略、重计算等能力上不断提升，以更好地支持大模型的训练 。
同时，目前训练大模型仍需消耗大量资源，如何依靠深度学习框架的力量节省计算资源，甚至在更小规模上完成任务，将是一个值得探索的技术方向 。
03 智能语音这一年：技术突破不断，工业落地加速 语?领域的大规模预训练模型层出不穷
字节跳动AILAB语?技术总监?泽君表示，2021年度，智能语音技术的演进呈现出三个层面的趋势：
（1）基础建模技术在打破领域边界加速融合，如Transformer系列模型在?然语?、视觉和语?领域都展现出?致性的优势，颇有“?统江湖”的意思 。
（2) 超?规模?监督学习技术（self-supervised learning）在上述多个领域展现出很强的通?学习能?，即在海量?标签数据上训练?规模通?预训练模型，然后?少量有标签数据做精细调整就能取得?常好的效果 。
过去?年里，基于这种两段训练模式的超?模型不断刷新各项学术算法竞赛纪录，在?业界也成为?种模型训练和调优范式 。
最近?年，Facebook、亚?逊、?歌和微软等公司的研究学者陆续提出语?领域的大规模预训练模型， 如Wav2vec、 HuBERT、 DecoAR、 BigSSL、WavLM等 。
（3）除基础技术外，在不同应?场合场景下，多个领域模态的技术也在快速相互融合，形成视觉、语?和语义结合的多模态综合系统，如虚拟数字? 。
工业界落地加速
整体来说，智能语?技术在工业界的落地不断加速，来自业务和技术两个方向的合力共同作用牵引和驱动应用落地 。
从应用场景的牵引看，一方面如短中长视频业务，在全球仍保持着较高的增长速度，视频内容创作者和内容消费者活跃度很高；另一方面，疫情令居家办公和远程协作的需求增长，智能语?技术能在视频会议中提供通信增强和语音识别等关键能力，为参会者提供更佳的会议体验；以智能汽?和虚拟现实VR/AR为代表的新场景不断出现，需要更方便、更低延迟、更沉浸式的语音交互体验 。
推荐阅读
- m年度最佳推荐!2022年度5大最佳手机颜值巅峰，不妨参考这几款
- 马达|Redmi K50电竞版首发评测：总结了5个优点2个缺点，3299元香不香？
- 荣耀6|2000元档高颜值双曲屏手机，荣耀60 SE的一周使用总结
- x70|三句话总结小米12系列：告诉你最大的区别和要素，看完你选谁？
- 电影|2021电影公司年度业绩：多家扭亏，光线拓宽业务链，华谊、北文难出“泥潭”
- 三星|2021年年度最佳手机排行榜：这4款手机最适合您，您最喜欢谁？
- O系|2021年度东南亚手机市场大洗牌：O系总份额位居第一，远超三星
- 适配|谷歌是符合做好折叠屏适配的？我总结了这四点
- 三星|iPhone13ProMax 华为P50Pro 三星S22Ultra，谁才配称为年度机皇
- note|要是不差钱，老师傅建议双12买手机一步到位，这3款都是年度最佳