锐客网

  1. 首页 > 睿知 > it技术 > >

百度|从前沿技术到应用场景，百度披露大模型落地关键路径

百度|从前沿技术到应用场景，百度披露大模型落地关键路径
文章图片

自深度学习之后，人工智能已经很长时间没有令人惊叹的重大突破，当然，这指的是学术界 。在产业界看来，当一项底层技术进入了平缓增长期，恰恰是工程化和商业化的最佳阶段 。
若失败，则意味着内外部条件不成熟，就像之前数十年的人工智能浪潮，都没有诞生大规模AI应用；若成功，典型特征就是门槛足够低、普及水平足够高，产生类似历次工业革命的效果 。
“降低AI应用门槛”，是出现在百度口中最高频的词汇，不管是人工智能技术的通用性提升，还是深度学习平台的标准化、自动化、模块化，以及AI生态的构建，百度深谙其道 。如今百度把目光焦点转向AI大模型 。
在近日举办的WAVE SUMMIT 2022深度学习开发者峰会上，百度发布了飞桨文心大模型和飞桨产业级深度学习开源开放平台的最新成果和重要升级，分享了支撑AI大模型产业落地关键路径 。
不落地的AI，都是空谈【百度|从前沿技术到应用场景，百度披露大模型落地关键路径】过去三年，人工智能技术一步步在向更深、更广泛的状态发展，这与AI应用落地的阶段有很大的关系 。
百度|从前沿技术到应用场景，百度披露大模型落地关键路径
文章图片

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜
百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜曾在去年5月的WAVE SUMMIT峰会上表示，企业AI应用分为三阶段：一是少量先行者在企业当中引入新技术，做探索和原型验证，称之为“先行者探路阶段”；二是很多企业逐渐设立小团队，把技术引入进来，进入“工作坊应用阶段”；三是企业内部很多人、大规模资源协同进行人工智能研发的“工业大生产阶段” 。
在这一过程中，AI应用与场景、行业越来越深度结合，也反过来塑造了深度学习平台的标准化、自动化和模块化特征 。例如深度学习框架与芯片的适配正越来越规范性，软硬件适配标准化程度显著提升，大规模分布式训练很多环节由手工变成自动化，开发门槛大幅下降 。
飞桨深度学习平台集合了训练和推理框架、基础模型库、端到端开发套件和丰富的工具组件，已经大幅降低了AI应用开发门槛，而大模型更进一步，大规模预训练扩展了模型的泛化能力，一定程度上解决了通用性难题，一些AI专家将其命名为“Foundation Models（基石模型）” 。
如果打个比喻便于理解，深度学习平台让AI开发变得像使用傻瓜式相机一样易用，而大模型，就像为相机设置了更多拍照模式，比如人像模式、风景模式等，开发者只需要在各种模式下做自己下一步的创新 。
AI大模型成为行业热点已经有两三年时间， 2020年，GPT-3横空出世刷新了业界认知，2021年数量众多的大模型涌现，以至于引起大模型是否过剩的讨论，但在百度看来，2022年是大模型产业落地的关键年 。
吴甜表示，大模型历经了前几年的探索期、突破期，已经在一定程度上到达推广期 。大模型面临如何能够落地，如何能够在真实的应用场景中产生价值的问题 。从应用落地角度，大模型落地要解决前沿技术与各种真实应用场景之间的鸿沟，匹配上应用落地时全方位的要求，这是大模型今年需要核心解决的问题 。
大模型如何落地从百度多年来的技术和业务经验角度来看，百度认为推进大模型需要三个方面的工作：
一是建设大模型体系，而且这个体系能够与应用场景相衔接 。
二是配套平台、工具，降低应用门槛，能够全流程、端到端支持整个落地应用 。
三是需要有生态依托，以生态促创新 。
百度|从前沿技术到应用场景，百度披露大模型落地关键路径
文章图片

百度飞桨文心全景图
与之对应地，在本次大会上百度飞桨文心全景图全面升级 。
● 在模型层，一次性发布10个大模型，形成了涵盖基础大模型、任务大模型、行业大模型的三级体系，全面满足产业应用需求；
● 配套工具与平台层，发布大模型开发套件、API和内置了文心大模型能力的EasyDL和BML开发平台，全方位降低应用门槛；
● 共创共享飞桨生态，同时建设大模型创意和探索社区旸谷，让更多人零距离接触到最先进的AI大模型技术 。
可以看出，百度的思路不是一个大模型通吃所有问题，而是构建了更适配应用场景的模型体系 。飞桨文心大模型最基础的是通用基础大模型，基础大模型具有学习的数据、知识量大，参数规模大的特点，通用性最高，但直接使用基础模型往往会与场景上苛刻的应用需求会有一定差距，所以在通用模型基础上，百度增加了两类模型：任务大模型和行业大模型 。
任务大模型主要面向特定任务，如NLP领域的信息抽取、对话、搜索等，以及视觉领域的商品图文搜索，文档图像理解等 。
行业大模型基于通用的文心大模型挖掘相关的行业数据，再融合学习行业特有的大数据和知识，进一步提升大模型对行业应用的适配性 。行业大模型的关键点在于引入行业里特有的知识和特有的数据，以及和拥有深度行业专家Know-how认知的专家们，一起针对行业设计相应的预训练任务，将通用模型真正变成对于行业来说效果更适用的模型 。
本次文心·行业大模型系业界首发，在能源电力和金融领域，飞桨文心大模型分别联合国家电网和浦发银行研发电力行业NLP大模型“国网-百度·文心”以及金融行业NLP大模型“浦发-百度·文心”，通过引入行业特色数据和知识，在电力、金融相关领域取得显著的效果提升 。
三层模型组合，使得文心大模型既有很强的基础大模型、又有面向任务问题的专有大模型、还有更适配行业场景的行业大模型，具有能够结合场景落地的全面模型能力 。
据了解，飞桨文心大模型已通过飞桨开源开放平台、百度智能云等赋能到工业、能源、金融、通信、媒体、教育等各行各业，个人、企业开发者数量超6万 。
百度大模型实践从百度内部视角，文心大模型在已经有广泛实践，包括搜索、信息推荐、对话系统、智能音箱、自动驾驶等场景，都得到了验证 。
“大模型已经能够很好地发挥应用价值 。而且应用大模型之后，比原来的技术方案效果更好 。我们也有数据证明，对于同样的大模型技术来说，模型的体量、规模增加的时候，效果是有提升的 。”吴甜说道 。
大模型训练的挑战主要来自于“大”，模型参数规模巨大，且不同模型和算力平台特性的差异，给大模型训练带来现实的挑战 。飞桨分布式架构统筹考虑这些差异性问题，实现了端到端自适应分布式架构，根据模型和算力平台的特点，自动选择并行策略，自动调优，既具备通用性，又兼顾了高效性 。
在推理层面，大模型面临的挑战更大 。飞桨通过针对大模型的压缩、推理、服务化全流程部署方案，帮助大模型更好落地 。整体方案通用且可扩展，能广泛支持不同种类的模型结构，实现高速推理，目前已支撑了如自然语言理解、对话、跨模态生成等大模型的实时在线应用 。
此外，“产业级”和“知识增强”也是飞桨文心大模型的两大特质 。
文心大模型的训练数据来源于产业实际场景，积累了大量的知识规律，在应用时建设了一系列配套能力，比如怎样设计数据的标注、建议有多少数据、相应的迁移学习方法等，提升了大模型真实应用的可行性 。在具体应用时，为了弥补一些涉及逻辑推理和认知的任务表现较差的缺点，文心大模型引入了大规模知识，通过“知识增强”的方法，将数据与知识融合，提升了文心大模型的通用性 。
国网-百度·文心提升了传统电力专用模型的精度，而且大幅降低了研发门槛，实现了算力、数据、技术等资源的统筹优化 。浦发-百度·文心也已在金融行业各类智能场景得到验证 。
可以看出，百度在AI大模型的体系建设思路，与飞桨降低AI应用门槛如出一辙，而大模型的进一步普及，将加速推动人工智能产业的“大工业化” 。
（本文首发钛媒体APP 作者 | 张帅，编辑 | 盖虹达）

    推荐阅读


    上一篇：OpenOffice配置成Windows服务

    下一篇：建立ssh通信