摩尔线程与无问芯穹联合宣布，成功完成了MT-infini-3B大模型（30亿参数规模）的训练。这次训练基于摩尔线程国产全功能GPU MTT S4000组成的千卡集群，并使用无问芯穹的AIStudio PaaS平台。
此次训练充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性，开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。
据悉，这次MT-infini-3B模型的训练历时13.2天，全程稳定无中断，集群训练的稳定性达到100％，千卡训练与单机相比扩展效率超过90％。
目前，MT-infini-3B的性能在同规模模型中名列前茅，尤其在C-Eval、MMLU、CMMLU等测试集上，其性能领先于在国际主流硬件（尤其是NVIDIA）上训练的其他模型。
可替代NVIDIA！摩尔线程GPU千卡集群完成30亿参数大模型训练
无问芯穹正在开发“M种模型”和“N种芯片”之间的“M x N”中间层产品，实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是首个接入无问芯穹并进行千卡级别大模型训练的国产GPU公司。夸娥千卡集群与无穹Infini-AI已经完成系统级融合适配，并成功完成了LLama2 700亿参数大模型的训练测试。
MT-infini-3B的训练是行业内首次基于国产GPU芯片从0到1的端到端大模型训练案例，标志着国产GPU在大模型训练领域的一次重大突破。
合作再进一步：多参数量级模型训练成功
近期，基于摩尔线程的夸娥千卡集群，憨猴集团成功完成了7B、34B、70B不同参数量级的大模型分布式训练。双方还达成了战略合作协议。在严苛测试下，兼容适配程度高，训练效率达到预期，精度符合要求，整个训练过程持续稳定。
这一系列成就展示了国产GPU在大模型训练中的潜力，表明摩尔线程正在逐步成为能够替代NVIDIA的强大竞争者。这不仅为中国的科技自主创新提供了有力支持，也为全球AI领域注入了新的活力。
