南趣百科网12月19日消息,今天,摩尔线程官方发布通告称,摩尔线程首个全国产千卡千亿模型训练平台,摩尔线程KUAE智算中心揭幕仪式成功举办。
此举也代表着,国内首个以国产全功能GPU为底座的大规模算力集群正式落地。
摩尔线程CEO张建中表示,摩尔线程构建了从芯片到显卡到集群的智算产品线,依托全功能GPU的多元计算优势,可以满足不断增长的大模型训练和推理需求。
据介绍,摩尔线程KUAE智算中心解决方案以全功能GPU为底座,旨在以一体化交付的方式解决大规模GPU算力的建设和运营管理问题。
该方案可实现开箱即用,大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本,实现快速投放市场开展商业化运营。
目前,摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。
基于摩尔线程KUAE千卡集群,70B到130B参数的大模型训练,线性加速比均可达到91%,算力利用率基本保持不变。
以2000亿训练数据量为例,智源研究院700亿参数Aquila2可在33天完成训练;1300亿参数规模的模型可在56天完成训练。