据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。
据百灵大模型消息,蚂蚁集团宣布开源万亿参数高性能强化学习权重交换框架Awex。据介绍,今年10月,蚂蚁百灵正式开源了两款万亿参数旗舰模型,包括非思考的Ling-1T和思考模型Ring-1T。其中Ring-1T基于其自研的高性能权重交换框架Awex(Asystem Weight Exchange Framework),实现了在数千卡GPU集群上5-10秒内完成万亿参数级别的权重同步。

Fastdata极数是一家具备全球服务与竞争力能力的数字技术服务与数据研究分析公司

18510809459

guoliang@ifastdata.com

北京市经济技术开发区凯王共和商务花园
Copyright © Fastdata极数 津ICP备2020008040号-1