ModelArts部署紫东太初大模型推理服务经验分享
零、项目背景
需要在ModelArts上部署微调后的下游任务推理服务。
主要踩坑点：
一、环境准备
MindSpore 1.6.1
Docker 20.10.17
紫东太初模型代码
https://gitee.com/mindspore/o...
ckpt权重文件
ModelArts账号
二、模型转换
1.参照测试代码初始化模型并加载ckpt
【ModelArts部署紫东太初大模型推理服务经验分享】2.使用MindSpore.export(net, inputs, filename=“**”, file_format=“MINDIR”)导出MINDIR模型
模型格式：当前版本AIR和ONNX均有单网络2G的模型大小限制，目前采用MINDIR进行在线推理。（MINDIR对于超过2G的模型会自动进行切分）
三、编写推理服务代码
使用Flask部署服务，代码参考
https://gitee.com/HUAWEI-ASCE...
模型推理部分代码
代码参考同上，需要注意在初始化的时候异步加载模型，避免ModelArts拉起服务时模型加载超时导致异常退出。
四、制作推理服务镜像
参考同上
五、ModelArts镜像上传部署
步骤参考ModelArts文档，需要注意需在日志报Warm Up Success后才可正常使用服务，否则有可能超时或服务异常退出。
推荐阅读
- 【百度飞桨】手写数字识别模型部署Paddle|【百度飞桨】手写数字识别模型部署Paddle Inference
- docker部署java项目_JAVA项目如何通过Docker实现持续部署
- 免费SSL证书申请及部署实践
- CM部署CDP服务的依赖关系
- TracedModule: 更友好的模型表示方案，模型训练到部署的桥梁
- clickhouse 20.x 三分片两副本部署与本地表的压力测试
- docker|Docker项目部署docker+flask+gunicorn
- 全网最新的nacos|全网最新的nacos 2.1.0集群多节点部署教程
- 虚拟机Tomcat部署javaweb项目
- Hexo|Hexo 搭建与部署指南