AI比赛教程|2021年CCF 基于BERT的大模型容量挑战赛第一名方案分享 BERT|bert|NLP|深度学习|CCF

【AI比赛教程|2021年CCF 基于BERT的大模型容量挑战赛第一名方案分享】??第一名队伍为北京大学河图实习生队，下面将详细介绍该冠军团队的解决方案。

文章目录

1. 团队介绍
2. 赛题背景
- 2.1 趋势一：深度学习模型规模日益增长
- 2.2 趋势二：大模型训练代价难以负担，成本高居不下
3. 比赛任务
4. 解决方案
- 4.1 模型显存分析
- 4.2 优化1：调整计算顺序
- 4.3 优化2：层间融合
- 4.4 优化3∶层内内存复用( Memory-Reuse Intra Layer )
5. 分布式训练方案
- 5.1 数据并行(Data Parallel)
- 5.2 层内模型并行(Tensor Model Parallel)
- 5.3 层间模型并行(Layer Model Parallel)
6. 总结

AI比赛教程|2021年CCF 基于BERT的大模型容量挑战赛第一名方案分享