百度BML基础技术合集|一图带你了解完飞桨架构、工具及其所有组件 paddle|paddlepaddle

这张图

文章图片

点这里快速查阅

- 1.框架和全流程工具
- - 1)模型训练组件
  - 2)模型部署组件
  - - Paddle Inference:
    - Paddle Serving:
    - Paddle Lite:
    - Paddle.js
    - PaddeSlim:
    - X2Paddle:
  - 3)其他全研发流程的辅助工具
  - - AutoDL:
    - VisualDL:
    - PaddleFL:
    - PaddleX:
- 2.模型资源
- - - PaddleHub:
    - ERNIE:
    - PaddleClas:
    - PaddleDetection:
    - PaddleSeg:
    - ElasticCTR:
    - PLSC：
    - ElasticCTR:
    - Parakeet:
    - PGL:
    - PARL:

【百度BML基础技术合集|一图带你了解完飞桨架构、工具及其所有组件】概览图上半部分是从开发、训练到部署的全流程工具，下半部分是预训练模型、各领域的开发套件和模型库等模型资源。
1.框架和全流程工具飞浆在提供用于模型研发的基础框架外，还推出了一系列的工具组件，来支持深度学习模型从训练到部署的全流程。
1)模型训练组件
飞桨提供了分布式训练框架FleetAPI,还提供了开启云上任务提交工具PaddleCloud。同时，飞桨也支持多任务训练，可使用多任务学习框架PALM。
2)模型部署组件
飞桨针对不同硬件环境，提供了丰富的支持方案：
Paddle Inference: 飞桨原生推理库，用于服务器端模型部署，支持Python、C、C+、G0等语言，将模型融入业务系统的首选。
Paddle Serving: 飞桨服务化部署框架，用于云端服务化部署，可将模型作为单独的Web服务。
Paddle Lite: 飞桨轻量化推理引擎，用于Mobile及IoT等场景的部署，有着广泛的硬件支持。
Paddle.js 使用JavaScript(Web)语言部署模型，用于在浏览器、小程序等环境快速部署模型。
PaddeSlim: 模型压缩工具，获得更小体积的模型和更快的执行性能。
X2Paddle: 飞奖模型转换工具，将其他框架模型转换成Paddle模型，转换格式后可以方便地使用上述5个工具.
3)其他全研发流程的辅助工具
AutoDL: 飞桨自动化深度学习工具，自动搜索最优的网络结构与超参数，免去用户在诸多网络结构中选择困难的烦恼和人工调参的烦琐工作。
VisualDL: 飞桨可视化分析工具，不仅仅提供重要模型信息的可视化呈现，还允许用户在图形上进一步交互式分析，得到对模型状态和问题的深刻认知，启发优化思路。
PaddleFL: 飞桨联邦学习框架，可以让用户运用外部伙伴的服务器资源训练，但又不泄露业务数据
PaddleX: 飞桨全流程开发工具，可以让用户方便地基于PaddleX制作出适合自己行业的图形化AI建模工具。
2.模型资源飞桨提供了丰富的端到端开发套件、预训练模型和模型库
PaddleHub: 预训练模型管理和迁移学习组件，提供lo0十预训练模型，覆盖自然语言处理、计算机视觉、语音、推荐四大领域。模型即软件，通过Python API或者命令行工具，一行代码完成预训练模型的预测。结合Fine-tune API,l0行代码完成迁移学习，是进行原型验证(POC)的首选工具。
开发套件：针对具体的应用场景提供了全套的研发工具，例如在图像检测场景不仅提供了预训练模型，还提供了数据增强等工具。开发套件也覆盖计算机视觉、自然语言处理、语音、推荐这些主流领域，甚至还包括图神经网络和增强学习。与PaddleHub不同，开发套件可以提供一个领域极致优化(State Of The Art)的实现方案，曾有国内团队使用飞桨的开发套件拿下了国际建模竞赛的大奖。一些典型的开发套件包括：
ERNIE: 飞桨语义理解套件，支持各类训练任务的Fine-tuning,保证极速推理的Fast-Inference API,兼具灵活部署的ERNIE Service和具备轻量方案的ERNIETiny系列工具集。
PaddleClas: 飞桨图像分类套件，目的是为工业界和学术界提供便捷易用的图像分类任务模型和工具集，打通模型开发，训练、压缩、部署全流程，助力开发者训练更好的图像分类模型和应用落地。
PaddleDetection: 飞桨目标检测套件，目的是帮助开发者更快更好地完成检测模型的训练、精度速度优化到部署全流程，以模块化的设计实现了多种主流目标检测算法，并且提供了丰富的数据增强、网络组件，损失函数等模块，集成了模型压缩和跨平台高性能部署能力。。具备高性能，模型丰富和工业级部署等特点。
PaddleSeg: 飞桨图像分割套件，覆盖了U-Ne,DeepLaby3+、lCNet、PSPNet和HRNet等主流的分割模型。通过统一的配置，帮助用户更便捷地完成从训练到部署的全流程图像分别应用。具备丰富的数据增强、主流模型覆盖、高性能和工业级部署等特点,P1SC:飞桨海量类别分类套件，为用户提供了大规模分类任务从训练到部署的全流程解决方案，提供简洁易用的高层AP1,通过数行代码即可实现干万类别分类神经网络的训练，并提供快速部署模型的能力。
ElasticCTR: 飞桨弹性计算推荐套件，提供了分布式训练CTR预估任务和Serving流程一键部署方案，以及端到端的CTR训练和二次开发的解决方案。具备产业实践基础、弹性调度能力、高性能和工业级部署等特点。
PLSC：飞浆海量类别分类套件，为用户提供了大规桢分类任务从训练到部署的全流程解决方案，提供简洁易用的高层API,通过数行代码即可实现干万类别分类神经网络的训练，并提供快速部署模型的能力。
ElasticCTR: 飞桨弹性计算推荐套件，提供了分布式训练CTR预估任务和Serving流程一键部署方案，以及端到端的CTR训练和二次开发的解决方案。具备产业实践基础、弹性调度能力、高性能和工业级部署等特点。
Parakeet: 飞桨语音合成套件，提供了灵活、高效、先进的文本到语音合成工具套件，帮助开发者更便捷高效地完成语音合成模型的开发和应用。
PGL: 飞桨图学习框架，原生支持异构图，支持分布式图存储及分布式学习算法，覆盖业界大部分图学习网络，帮助开发者灵活、高效地搭建前沿的图学习算法。
PARL: 飞桨深度强化学习框架，夺冠NeurIPS2019和NeurIPS2018。具有高灵活性、可扩展性和高性能的特点，支持大规模的并行计算，覆盖DQN、DDPG、PPO、IMPALA、A2C、GA3C等主流强化学习算法。
模型库：包含了各领域丰富的开源模型代码，不仅可以直接运行模型，还可以根据应用场景的需要修改原始模型代码，得到全新的模型实现。
比较三种类型的模型资源，PaddleHub的使用最为简易，模型库的可定制性最强且覆盖领域最广泛。读者可以参考“PaddleHub-→各领域的开发套件→模型库”的顺序寻我需要的模型资源，在此基础上根据业务需求进行优化，即可达到事半功倍的效果。
在上述概览图之外，飞桨还提供云端模型开发和部署的平台，可实现数据保存在云端，提供可视化GUI界面，安全高效。