您现在的位置是:深度 >>正文

MiniMax 稀宇科技发布万亿 MoE 模型abab 6.5

深度5人已围观

简介CSS站长资源ChinaZ.com)4月17日 消息:MiniMax 在2024年4月17日推出了 abab6.5系列模型,这是一个万亿 MoEMixture of Experts)模型。在 MoE ...

MiniMax 稀宇科技发布万亿 MoE 模型abab 6.5

CSS站长资源(ChinaZ.com)4月17日 消息:MiniMax 在2024年4月17日推出了 abab6.5系列模型,宇科亿这是布万一个万亿 MoE(Mixture of Experts)模型。在 MoE 还没有成为行业共识的模型情况下,MiniMax 投入了大量精力研究 MoE 技术,宇科亿并在今年1月发布了国内首个基于 MoE 架构的布万 abab6模型。经过三个月的模型研发,他们推出了更强大的宇科亿 abab6.5模型。

abab6.5系列包含两个模型:abab6.5和 abab6.5s。布万abab6.5拥有万亿参数,模型支持200k tokens 的宇科亿上下文长度;而 abab6.5s 采用了相同的训练技术和数据,但更高效,布万支持200k tokens 的模型上下文长度,并且可以在1秒内处理近3万字的宇科亿文本。

在各类核心能力测试中,布万abab6.5开始接近世界上最领先的模型大语言模型,如 GPT-4、Claude-3、Gemini-1.5等。

abab6.5和 abab6.5s 将会陆续更新到 MiniMax 旗下的产品中,包括生产力产品海螺 AI 和 MiniMax 开放平台。用户可以通过这些产品来体验这些先进的语言模型。

Tags:

相关文章