--- title: "[庆祝]【美团LongCat-2.0】全国芯训练万亿参数量模型，同步实现架构创新 [太阳]事件：6月30日，美团发布并宣布开源 LongCat-2.0。模型采用" topic_id: 22255211528242811 created_at: 2026-07-01T08:44:19.703+0800 source: zsxq type: topic cssclasses: zsxq-vault --- # [庆祝]【美团LongCat-2.0】全国芯训练万亿参数量模型，同步实现架构创新 [太阳]事件：6月30日，美团发布并宣布开源 LongCat-2.0。模型采用 - 序号：470 - 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/22255211528242811) - 附件：图片 0，音频 0，文档 0 - 音频文件：_无音频_ ## 图片 _无图片_ ## 正文 [庆祝]【美团LongCat-2.0】全国芯训练万亿参数量模型，同步实现架构创新 [太阳]事件：6月30日，美团发布并宣布开源 LongCat-2.0。模型采用LSA+MoE架构，总参数1.6T，平均激活参数48B，预训练数据超过35万亿tokens；支持百万上下文，未披露多模态输入能力。 [太阳]模型能力 【提升：coding能力比肩国产主流大模型】 LongCat-2.0在Terminal-Bench 2.1、SWE-bench Pro分别得70.8、59.5。GLM-5.2为81.0、62.1；Qwen3.7-Max为69.7（Terminal-Bench 2.0）、60.6；Kimi K2.6为66.7（Terminal-Bench 2.0）、58.6；M3为66.0、59.0。 仅从测试集角度看， LongCat 2.0的Coding能力达到了比肩其他主流国产模型的水平， 稍落后于GLM-5.2（注：到各厂商使用的Benchmark版本有差异，且仅看测试集评价体系较为单一）。 【提升2：LSA+Embedding模型架构创新】 -LSA： 延续主流国模Attention层稀疏化降低计算开销的思路，LongCat稀疏注意力LSA在DSA基础上引入流感知索引，优化了索引器打分的执行方式，采用跨层索引，推理时单次索引计算可由多个连续的注意力层复用，并扩展至三步MTP投机解码采用。 -Embedding：引入N=5的N-gram Embedding条件记忆模块，将embedding空间扩展超过100倍，以更充分地建模局部上下文信息，LongCat报告认为，在高稀疏MoE已经超过“甜点区间”后，增加同等参数量的 N-gram Embedding 所带来的收益远超标准MoE。 Embedding模块提出后第一家在旗舰模型应用此技术的厂商。 [太阳]模型具备高性价比 标准价为输入/缓存命中/输出分别0.75/0.015/2.95美元/百万tokens，限时优惠价0.30/0.006/1.20美元。 [太阳]验证全国产芯片能训练万亿参数量大模型 重大意义在于验证了全国产芯片能训练出万亿参数的MoE模型。美团自2023年开始探索国产卡应用在大模型训练端，从3千卡逐步拓展到本次的5万卡，LongCat-2.0训练运行在物理超节点上，每个超节点最多48台机器，节点内全互联高带宽、节点间走 RoCE 网络。超节点把高带宽通信域扩展到数百张卡，相比同规模下超节点额外带来约30%的预训练吞吐提升。 ## 总体总结 主题正文 1. 模型采用LSA+MoE架构，总参数1.6T，平均激活参数48B，预训练数据超过35万亿tokens； 2. LongCat-2.0在Terminal-Bench 2.1、SWE-bench Pro分别得70.8、59.5。 3. 仅从测试集角度看， LongCat 2.0的Coding能力达到了比肩其他主流国产模型的水平， 稍落后于GLM-5.2（注：到各厂商使用的Benchmark版本有差异，且仅看测试集评价体系较为单一）。 4. -LSA： 延续主流国模Attention层稀疏化降低计算开销的思路，LongCat稀疏注意力LSA在DSA基础上引入流感知索引，优化了索引器打分的执行方式，采用跨层索引，推理时单次索引计算可由多个连续的注意力层复用，并扩展至三步MTP投机解码采用。 5. -Embedding：引入N=5的N-gram Embedding条件记忆模块，将embedding空间扩展超过100倍，以更充分地建模局部上下文信息，LongCat报告认为，在高稀疏MoE已经超过“甜点区间”后，增加同等参数量的 N-gram Embedding 所带来的收益远超标准MoE。 6. 标准价为输入/缓存命中/输出分别0.75/0.015/2.95美元/百万tokens，限时优惠价0.30/0.006/1.20美元。 7. 美团自2023年开始探索国产卡应用在大模型训练端，从3千卡逐步拓展到本次的5万卡，LongCat-2.0训练运行在物理超节点上，每个超节点最多48台机器，节点内全互联高带宽、节点间走 RoCE 网络。 8. 超节点把高带宽通信域扩展到数百张卡，相比同规模下超节点额外带来约30%的预训练吞吐提升。