MindSpore官网,华为ai自研的支持端边云全场景的深度学习训练推理框架昇思
什么是MindSpore?
MindSpore是华为自研的一款支持端边云全场景的深度学习训练推理框架,主要应用于计算机视觉、自然语言处理等人工智能领域! 昇思MindSpore提供了多种高级特性来支撑大模型分布式训练,供用户根据自己的需求进行灵活组合。这节课中,我们会介绍常用的分布式并行训练技术,以及如何将并行技术应用到大模型训练。MindSpore官网: https://www.mindspore.cn/
从BERT到GPT-3再到鹏程盘古大模型,近年来,模型参数规模呈指数增长趋势;另一方面,可供模型训练的数据集也极速扩增。面对如此大数据量、大规模参数,单个设备的训练暴露出了许多的问题,因此需要引入分布式训练技术。
象牙之塔-AI画家大赛
火热进行中
相关导航
暂无评论...