天垓100完成百亿级参数大模型训练
摘要: 原标题：天垓100完成百亿级参数大模型训练 6月10日，在第五届智源大会AI系统分论坛上，上海天数智芯半导体有限公司宣布，在天垓100加速卡的算力集群，
原标题：天垓100完成百亿级参数大模型训练
6月10日，在第五届智源大会AI系统分论坛上，上海天数智芯半导体有限公司宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。
上海天数智芯半导体有限公司是通用GPU高端芯片及超级算力系统提供商。据介绍，在北京市海淀区的支持下，智源研究院、天数智芯与爱特云翔共同合作，联手开展基于自主通用GPU的大模型CodeGen（高效编码）项目，通过中文描述来生成可用的C、Java、Python代码以实现高效编码。
智源研究院负责算法设计、训练框架开发、大模型的训练与调优，天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持，爱特云翔负责提供算存网基础硬件及智能化运维服务。
据介绍，与国际主流的A100加速卡集群相比，天垓100加速卡集群的收敛效果、训练速度、线性加速比相当，稳定性更优。天数智芯将与合作伙伴们共同建设更大规模的天垓100算力集群，完成更大参数规模的大模型训练，以自主通用GPU产品更好支持国内大模型创新应用。
相关推荐
新教育 · 新观察 · 新视点
