MiniMax发布万亿MoE模型abab 6.5

MiniMax正式发布万亿MoE模型abab 6.5模型。据了解,abab 6.5 系列包含两个模型:abab 6.5和abab 6.5s。abab 6.5包含万亿参数,支持200k tokens的上下文长度;abab 6.5s跟abab 6.5使用了同样的训练技术和数据,但是更高效,支持200k tokens的上下文长度,可以1秒内处理近3万字的文本。

Fastdata极数是一家具备全球服务与竞争力能力的数字技术服务与数据研究分析公司

18510809459

guoliang@ifastdata.com

北京市经济技术开发区凯王共和商务花园

Copyright ©  Fastdata极数 津ICP备2020008040号-1