--- title: "- 本报告系统阐述了MoE模型在推理硬件上的映射方法。核心观点：(1)MoE不仅增加参数数量，更改变了推理服务结构与经济学，影响张量激活模式、带宽需求与内存移动" topic_id: 45548545152152288 created_at: 2026-09-22T08:30:44.070+0800 source: zsxq type: topic cssclasses: zsxq-vault --- # - 本报告系统阐述了MoE模型在推理硬件上的映射方法。核心观点：(1)MoE不仅增加参数数量，更改变了推理服务结构与经济学，影响张量激活模式、带宽需求与内存移动 - 序号：495 - 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/45548545152152288) - 附件：图片 0，音频 0，文档 0 - 音频文件：_无音频_ ## 图片 _无图片_ ## 正文 - 本报告系统阐述了MoE模型在推理硬件上的映射方法。核心观点：(1)MoE不仅增加参数数量，更改变了推理服务结构与经济学，影响张量激活模式、带宽需求与内存移动方式；(2)推理存在四种不同计算范式（Prefill、Midfill、Decode Attention、Decode Experts），对算力、内存和网络的需求差异巨大，必须分别处理；(3)KV Cache应作为不可变Blob存储在共享存储系统中，使Orchestrator能灵活分配Worker；(4)并行策略应根据操作类型选择：层间用Pipeline并行，宽操作（如Attention）用Tensor并行，独立专家用Expert并行；(5)内存带宽比纯容量更重要——数据移动创造收入，闲置则产生成本；(6)Prefill/Midfill应将路由排序为高效专家批次，Decode应保留小批次以保证交互性；(7)以Kimi K3在Blackwell系统上的工作示例验证，不同操作范式对应不同最优配置，GB200 NVL72在大规模Expert并行时具有跨机柜Scale-up优势。 SemiAnalysis发布的这篇深度报告从根本上重新审视了MoE（Mixture of Experts）模型在推理硬件上的映射方式。报告的核心论点在于：。 报告围绕五个关键洞见展开： ——它不仅增加了参数，还改变了每个token激活的张量、必须保持近距离的数据、可以容忍弱网络链接的传输，以及内存移动如何贡献有效吞吐量。 ——Prefill、Midfill、Decode Attention、Decode Experts对算力、内存带宽、网络的需求截然不同，不能混为一谈。 ——存储层与计算层的解耦使Orchestrator能够灵活调度Worker，提升整体资源利用率。 ——Pipeline并行适用于层序列，Tensor并行适用于单个不可分割的宽操作，Expert并行适用于独立的专家库。 ——数据移动产生收入，闲置数据只产生成本，这一经济学原则应驱动硬件设计决策。 一、推理服务的整体架构 报告开篇即描绘了一个"Token Factory"的全局视图：用户请求（无论是来自人类用户还是AI Agent的工具调用）经过Orchestrator层（如NVIDIA Dynamo、Mooncake等）排队，被路由至Prefill Worker、Midfill Worker或Decode Worker进行处理。Worker运行在由CPU协调的Node上，通过NIC与其他Node、存储和Orchestration层相连。 关键在于：，而非绑定到某一台机器。这种设计使Orchestrator能够基于上下文长度、服务目标和可用性动态选择Worker，而不是因为"上下文只有一份"而被迫绑定到特定机器。 二、四种计算范式的差异化分析 报告将推理过程细分为四种范式，并强调： 范式特征算术强度主要瓶颈 处理大量新token，无既有缓存 高 主要受算力限制 在长缓存前缀后追加新token 中等偏上 混合——既有算力复用又有KV流量 单token生成，复用既有KV 低 内存带宽（KV扫描） 单token经路由器选择少量专家 低 内存带宽（专家权重读取） ：都拥有"足够多token"的批次，可通过排序将稀疏路由变为密集专家批次，大幅提升算术强度。：每个查询只贡献1个新token和少量路由，专家共享概率很低，因此——提高批次大小对吞吐量的提升远小于其带来的延迟和KV内存压力成本。 报告特别指出： 当上下文长度达10万token以上时，注意力扫描本身已占用大量内存带宽，最优批次大小可能是1或5，而非大吞吐场景下的高批次。这对延迟敏感的交互式token具有重要经济意义——。 三、KV Cache的存储哲学 报告将KV Cache管理类比为"不可变Blob的共享对象存储"，而非绑定到某一Worker的文件。这种设计的核心原则是： ，需要足够的总带宽和网络覆盖，使Worker可基于适配性和可用性选择，而不是被迫绑在某台拥有唯一副本的机器上。 ：HBM（"热"工作层，用于活跃批次）→ CPU DRAM（暂存/组装层）→ SSD/共享存储（长期Blob存储）。HBM供应受限且昂贵，应只保存正在创造收入的数据。 ，但这些缓存仍应是共享的scale-out资源，而非将请求绑定到单台解码机器。 值得注意的是， 这一经济学原则贯穿全文。 四、硬件映射与并行策略 ：报告提出一个由大约16个加速器组成的"环形对等集合"概念，每对计算区域与本地高速内存配对，通过强Scale-up Fabric互连，CPU协调负载和内存管理，NIC连接至机柜和数据中心资源。这种表示避免过早承诺具体的封装、电路板或交换机拓扑。 ： Pipeline Parallelism（流水线并行） ├── 沿模型深度划分 ├── 传递紧凑激活（一个token嵌入或MTP块） └── 主要缺点：多批次占用内存，每阶段持有所有活跃流的KV份额 Tensor Parallelism（张量并行） ├── 沿KV头、上下文范围等划分宽操作 ├── Attention和大型密集变换需要 └── 不应自动扩展到每个张量 Expert Parallelism（专家并行） ├── 沿独立、上下文无关的专家库分布 ├── Router发送紧凑激活至选定目的地 └── 可在大规模上保持宽度，独立于Pipeline阶段大小 ——当模型权重每阶段下降到与KV及工作状态内存同一量级时，更深的流水线带来的内存收益微乎其微，却增加了协调和延迟成本。报告估计，2027年实用的前沿系统单阶段内存目标约为（按每个token 70KB、200万token的聚合上下文计算）。 五、Disaggregation与Aggregation的权衡 ：将Prefill、Midfill、Decode分别部署在不同的Worker池中，Orchestrator基于请求特征分配工作。优势在于：每种Worker可针对特定工作负载优化（Prefill机偏向算力，Decode机偏向内存），定制化投资。但解聚增加了系统复杂性和运营成本。 ：将一轮对话的所有阶段保留在单一Worker上。优势包括：避免调度间隙、自然共享一整套宽并行专家集、无网络开销迁移上下文。如果能打造一个**"全能芯片"**——同时具有超强内存吞吐和高效计算——聚合可能在整轮处理中表现最佳。 报告坦言： 关键问题是，这种损失能否通过针对特定工作负载的差异化设计来最小化，还是必须接受一站式方案的妥协。 六、内存带宽 vs 容量的经济学 这是报告中一个贯穿始终的"经济性准则"——一个高频出现的关键洞察： 内存容量和带宽这两个标量——经济价值必须共同考虑。当活跃权重、KV状态、激活和操作余量能干净地适配时，容量才有价值；超出此点后，额外的本地容量可能只会增加成本而非收入。 七、Kimi K3在Blackwell系统上的工作示例 报告提供了具体的建模示例——将Kimi K3模型映射到B200、B300和GB200系统上，配置范围从16到64 GPU。关键发现： ：最低延迟配置通常结合Pipeline与Tensor并行；最高吞吐量配置倾向于每个GPU一个Attention实例，无TP或PP，Expert并行尽可能宽。 ：GB200在低TTFT部分领先，使用TP=4或TP=2无需PP；B200/B300通常使用PP=4，Expert并行限定在各阶段内以保持All-to-All流量在Node内。 ：三种GPU类型收敛于相似配置（PP=4，TP=4或TP=2），反映共享Blackwell计算架构及这些工作负载的算力受限性质。 ：将Scale-up带宽扩展至整个机柜，使更多GPU能在一个层内并行，所有实例同步通过该层，。 报告强调： 本报告属于类型，不针对特定股票给出评级或估值建议。然而，从报告内容可推断以下投资含义： 在大规模Expert并行场景下具有结构性优势，特别是跨机柜Scale-up能力对低延迟Decode和高吞吐量Midfill具有决定性影响。 的重要性上升，报告明确指出"快速和大容量3D RAM将成为效率的决定性因素"。 （特别是高基数、低延迟交换机）对于处理MoE All-to-All模式至关重要——SRAM加速器可在不到一微秒内完成专家计算，但可能因All-to-All流量淹没连接数百节点的交换机。 （包括分布式KV Cache系统如LMSYS Radix Cache）成为竞争差异化要素。 ——同时具有超强内存吞吐和高效计算——是聚合方案的最优解，但设计与制造成本高昂。 ：报告基于当前的MoE+混合Attention结构进行分析，但Delta、Top-k、线性Attention等优化注意力机制的演进可能改变内存与算力的平衡。 ：HBM、混合键合DRAM、IGZO 3D RAM、SRAM-PIM等技术路线尚存在不确定性，押注单一技术路线存在风险。 ：报告明确指出"延迟反馈循环"可能导致系统在满载与空载间振荡，控制理论层面的工程挑战不容忽视。 ：所有投影视界基于SemiAnalysis Inference Simulator建模，并非测量基准结果，实际性能可能因编译器优化、内核调度等因素产生偏差。 ：原文设有付费订阅门槛，部分技术细节和数据集可能不完整，读者需关注一手数据来源。 ：报告提出的"400-500GB本地高速内存"等设计目标依赖于2027年的技术演进，实际进展可能因供应链或技术瓶颈而延迟。 ## 总体总结 主题正文 1. 核心观点：(1)MoE不仅增加参数数量，更改变了推理服务结构与经济学，影响张量激活模式、带宽需求与内存移动方式； 2. (2)推理存在四种不同计算范式（Prefill、Midfill、Decode Attention、Decode Experts），对算力、内存和网络的需求差异巨大，必须分别处理； 3. (7)以Kimi K3在Blackwell系统上的工作示例验证，不同操作范式对应不同最优配置，GB200 NVL72在大规模Expert并行时具有跨机柜Scale-up优势。 4. 报告开篇即描绘了一个"Token Factory"的全局视图：用户请求（无论是来自人类用户还是AI Agent的工具调用）经过Orchestrator层（如NVIDIA Dynamo、Mooncake等）排队，被路由至Prefill Worker、Midfill Worker或Decode Worker进行处理。 5. ：报告提出一个由大约16个加速器组成的"环形对等集合"概念，每对计算区域与本地高速内存配对，通过强Scale-up Fabric互连，CPU协调负载和内存管理，NIC连接至机柜和数据中心资源。 6. 报告提供了具体的建模示例——将Kimi K3模型映射到B200、B300和GB200系统上，配置范围从16到64 GPU。 7. ：三种GPU类型收敛于相似配置（PP=4，TP=4或TP=2），反映共享Blackwell计算架构及这些工作负载的算力受限性质。 8. ：HBM、混合键合DRAM、IGZO 3D RAM、SRAM-PIM等技术路线尚存在不确定性，押注单一技术路线存在风险。