锐客网

  1. 首页 > 睿知 > it技术 > >

【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案

【【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案】盘古模型代码及指导：https://gitee.com/mindspore/m...环境：华为云ModelArts ；Ascend:8Ascend 910；Mindspore 1.5.1；PyTorch 1.8一、【盘古数据集生成】1.将数据集转换成TXT文档（编码：UTF-8）2.上传至工作根目录data文件夹中 3.执行指令 ：python -m src.preprocess --input_glob 'data/.txt' --tokenizer gpt --eot 50256 --data_column_name input_ids --seq_length 1025（需要提前pip sentencepiece、jieba、transformers、torch ） 生成结果如图：
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

二：【盘古模型初始化】直接运行代码会产生无法初始化的问题，因为普通开发者没有root权限，无法获取hccl_8p.json文件，并且客服明确回复因为安全问题无法放开root权限。1.根据昇腾文档：https://www.hiascend.com/docu...模板自行配置盘古模型初始化文件hccl_8p.json文档中的说明“可以在当前Server执行指令cat /etc/hccn.conf获取网卡IP”，同样由于没有root权限无法获取真实IP。同时注意到 https://support.huaweicloud.c... 中有这样一段话：AI Server中的第0/4，1/5，2/6，3/7号网卡需处于同一网段，第0/1/2/3号网卡在不同网段，第4/5/6/7号网卡在不同网段。最终本次实验hccl_8p.json文件见附件（hccl_8p.txt）2.配置好json文件后在terminal中执行相关指令：bash scripts/run_distribute_train.sh /home/ma-user/work/data/ /home/ma-user/work/hccl_8p.json 8 fp32 2.6B 1 1 8 0 8，可以运行且没有中断，所配置的IP是有效的，ModelArts工程师也说明了这一点
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

3.运行之后，资源监控处可以看到占用N卡，模型正在训练并且生成了左边的strategy.ckpt文件，log中的warning是精度问题可以忽略，参考:https://bbs.huaweicloud.com/f...
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

4.由于AICore显示为0%，因此询问了华为云工程师给出了可能的原因：
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

同时华为云工程师也进行了后台检测，AICore实际上在训练，只是没有返回使用率：
【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

【课程作业经验】盘古α模型数据集生成以及训练初始化问题解决方案
文章图片

5.模型成功进入训练，盘古模型训练时间较长，由于平台时限，最终中断。

    推荐阅读


    上一篇：【NeRF】基于Mindspore的NeRF实现

    下一篇：《嫌疑人X的献身》