[庆祝]【美团LongCat-2.0】全国芯训练万亿参数量模型，同步实现架构创新 [太阳]事件：6月30日，美团发布并宣布开源 LongCat-2.0。模型采用
- 序号：470
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
[庆祝]【美团LongCat-2.0】全国芯训练万亿参数量模型，同步实现架构创新
[太阳]事件：6月30日，美团发布并宣布开源 LongCat-2.0。模型采用LSA+MoE架构，总参数1.6T，平均激活参数48B，预训练数据超过35万亿tokens；支持百万上下文，未披露多模态输入能力。
[太阳]模型能力 【提升：coding能力比肩国产主流大模型】 LongCat-2.0在Terminal-Bench 2.1、SWE-bench Pro分别得70.8、59.5。GLM-5.2为81.0、62.1；Qwen3.7-Max为69.7（Terminal-Bench 2.0）、60.6；Kimi K2.6为66.7（Terminal-Bench 2.0）、58.6；M3为66.0、59.0。 仅从测试集角度看， LongCat 2.0的Coding能力达到了比肩其他主流国产模型的水平， 稍落后于GLM-5.2（注：到各厂商使用的Benchmark版本有差异，且仅看测试集评价体系较为单一）。
【提升2：LSA+Embedding模型架构创新】 -LSA： 延续主流国模Attention层稀疏化降低计算开销的思路，LongCat稀疏注意力LSA在DSA基础上引入流感知索引，优化了索引器打分的执行方式，采用跨层索引，推理时单次索引计算可由多个连续的注意力层复用，并扩展至三步MTP投机解码采用。
-Embedding：引入N=5的N-gram Embedding条件记忆模块，将embedding空间扩展超过100倍，以更充分地建模局部上下文信息，LongCat报告认为，在高稀疏MoE已经超过“甜点区间”后，增加同等参数量的 N-gram Embedding 所带来的收益远超标准MoE。 Embedding模块提出后第一家在旗舰模型应用此技术的厂商。
[太阳]模型具备高性价比 标准价为输入/缓存命中/输出分别0.75/0.015/2.95美元/百万tokens，限时优惠价0.30/0.006/1.20美元。
[太阳]验证全国产芯片能训练万亿参数量大模型 重大意义在于验证了全国产芯片能训练出万亿参数的MoE模型。美团自2023年开始探索国产卡应用在大模型训练端，从3千卡逐步拓展到本次的5万卡，LongCat-2.0训练运行在物理超节点上，每个超节点最多48台机器，节点内全互联高带宽、节点间走 RoCE 网络。超节点把高带宽通信域扩展到数百张卡，相比同规模下超节点额外带来约30%的预训练吞吐提升。
总体总结
主题正文
- 模型采用LSA+MoE架构，总参数1.6T，平均激活参数48B，预训练数据超过35万亿tokens；
- LongCat-2.0在Terminal-Bench 2.1、SWE-bench Pro分别得70.8、59.5。
- 仅从测试集角度看， LongCat 2.0的Coding能力达到了比肩其他主流国产模型的水平， 稍落后于GLM-5.2（注：到各厂商使用的Benchmark版本有差异，且仅看测试集评价体系较为单一）。
- -LSA： 延续主流国模Attention层稀疏化降低计算开销的思路，LongCat稀疏注意力LSA在DSA基础上引入流感知索引，优化了索引器打分的执行方式，采用跨层索引，推理时单次索引计算可由多个连续的注意力层复用，并扩展至三步MTP投机解码采用。
- -Embedding：引入N=5的N-gram Embedding条件记忆模块，将embedding空间扩展超过100倍，以更充分地建模局部上下文信息，LongCat报告认为，在高稀疏MoE已经超过“甜点区间”后，增加同等参数量的 N-gram Embedding 所带来的收益远超标准MoE。
- 标准价为输入/缓存命中/输出分别0.75/0.015/2.95美元/百万tokens，限时优惠价0.30/0.006/1.20美元。
- 美团自2023年开始探索国产卡应用在大模型训练端，从3千卡逐步拓展到本次的5万卡，LongCat-2.0训练运行在物理超节点上，每个超节点最多48台机器，节点内全互联高带宽、节点间走 RoCE 网络。
- 超节点把高带宽通信域扩展到数百张卡，相比同规模下超节点额外带来约30%的预训练吞吐提升。