🔥MiniMax M3模型发布,长程任务能力显著提高 🌟性能:和GPT-5.5 和 Gemini 3.1 Pro互有来回,接近Opus 4.7。原生多模态模型
- 序号:198
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
🔥MiniMax M3模型发布,长程任务能力显著提高
🌟性能:和GPT-5.5 和 Gemini 3.1 Pro互有来回,接近Opus 4.7。原生多模态模型 (从 Step 0 开始进行多模态混合训练),支持图片和视频的输入,并能操作电脑桌面。是 国内第一个齐备这些要素的模型,也是目前唯一的开源模型。
🌟技术:再再再证明,Attention是国内模型的优化重点 ,M3采用的就是前几天放出来的全新注意力架构 MSA (MiniMax Sparse Attention ), 1M 超长上下文。在 100 万上下文下,M3 每 token 计算量仅为上代模型的1/20。在 prefilling 阶段,实现了 超过9倍的加速倍率 ,在 decoding 阶段有 超过15倍的加速优势。数据上,文本和图像或其他模态在序列中交替自然排列,对训练模型有性能提升,训练数据token已达到100万亿量级 。
🌟Long Horizon:长程任务是目前衡量模型性能的金指标。1)M3自主运行了接近12小时 ,复现了一篇paper的结果,全程自主产出 18 次 commit 与 23 张实验图表,并跑通了核心实验。2)M3约24小时的连续执行,实现资深团队 1–2 周的集中投入进行的H卡FP8 矩阵乘(GEMM)kernel,共完成 147 次 benchmark 提交、1959 次工具调用。3)M3能够 指导训练更小的模型。
🌟定价:没有卷价格! M3短文本(≤512k)原价是M2.7的2x,目前5折优惠;长文本相比于M2.7提升为4x价格。
总体总结
主题正文
- 🌟性能:和GPT-5.5 和 Gemini 3.1 Pro互有来回,接近Opus 4.7。
- 原生多模态模型 (从 Step 0 开始进行多模态混合训练),支持图片和视频的输入,并能操作电脑桌面。
- 🌟技术:再再再证明,Attention是国内模型的优化重点 ,M3采用的就是前几天放出来的全新注意力架构 MSA (MiniMax Sparse Attention ), 1M 超长上下文。
- 在 prefilling 阶段,实现了 超过9倍的加速倍率 ,在 decoding 阶段有 超过15倍的加速优势。
- 数据上,文本和图像或其他模态在序列中交替自然排列,对训练模型有性能提升,训练数据token已达到100万亿量级 。
- 1)M3自主运行了接近12小时 ,复现了一篇paper的结果,全程自主产出 18 次 commit 与 23 张实验图表,并跑通了核心实验。
- 2)M3约24小时的连续执行,实现资深团队 1–2 周的集中投入进行的H卡FP8 矩阵乘(GEMM)kernel,共完成 147 次 benchmark 提交、1959 次工具调用。
- 长文本相比于M2.7提升为4x价格。