分布式并行#
什么是大模型？大模型模型参数量实在太大，需要分布式并行训练能力一起来加速训练过程。分布式并行是在大规模 AI 集群上工作的，想要加速就需要软硬件协同，不仅仅要解决通信拓扑的问题、集群组网的问题，还要了解上层 MOE、Transform 等新兴算法。通过对算法的剖析，提出模型并行、数据并行、优化器并行等新的并行模式和通信同步模式，来加速分布式训练的过程。最小的单机执行单元里面，还要针对大模型进行混合精度、梯度累积等算法，进一步压榨集群的算力！
希望这个系列能够给大家、朋友们带来一些些帮助，也希望自己能够继续坚持完成所有内容哈！
内容大纲
PPT和字幕需要到 Github 下载，网页课程版链接会失效哦~建议优先下载 PDF 版本，PPT 版本会因为字体缺失等原因导致版本很丑哦~
小节 |
链接 |
|---|---|
01 基本介绍 |
|
02 数据并行(上) |
|
02 数据并行(下) |
|
03 模型并行(上) |
|
03 模型并行(下) |
|
04 混合并行 |
|
05 分布式训练总结 |
备注#
文字课程开源在 AISys，系列视频托管B 站和油管，PPT 开源在github，欢迎取用！！！
非常希望您也参与到这个开源课程中，B 站给 ZOMI 留言哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交代码 PR 到开源社区哦！
欢迎大家使用的过程中发现 bug 或者勘误直接提交 PR 到开源社区哦！
请大家尊重开源和 ZOMI 的努力，引用 PPT 的内容请规范转载标明出处哦！