--- title: "- 报告深入分析了智谱GLM-5.3稀疏注意力机制对AI推理中HBM内存使用的影响。核心结论：1）稀疏注意力虽降低SDPA运算中的KV缓存内存与带宽需求，但并不" topic_id: 45548584814411228 created_at: 2026-09-29T08:35:44.688+0800 source: zsxq type: topic cssclasses: zsxq-vault --- # - 报告深入分析了智谱GLM-5.3稀疏注意力机制对AI推理中HBM内存使用的影响。核心结论：1）稀疏注意力虽降低SDPA运算中的KV缓存内存与带宽需求，但并不 - 序号：308 - 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/45548584814411228) - 附件：图片 0，音频 0，文档 0 - 音频文件：_无音频_ ## 图片 _无图片_ ## 正文 - 报告深入分析了智谱GLM-5.3稀疏注意力机制对AI推理中HBM内存使用的影响。核心结论：1）稀疏注意力虽降低SDPA运算中的KV缓存内存与带宽需求，但并不减少整体内存容量——top-k选择仍需完整上下文驻留HBM；2）SGLang团队的HiSparse分层内存系统通过LRU策略将KV缓存从HBM卸载至DRAM，配合层间重叠掩盖延迟；3）在150 tokens/秒响应速度下，NVIDIA GB300的推理成本最低，约为AMD MI355X ATOM方案的18%（即低82%）；4）GLM-5可能针对摩尔线程MTT S4000优化（算术强度120.8 FLOP/B匹配硬件128 FLOP/B），H=64的查询头数印证了这一点；5）IndexShare技术让每4个DSA层共享一个索引器，索引器缓存和FLOPs均减少75%，吞吐提升1.5-1.8倍。 SemiAnalysis发布的这篇深度技术报告，系统拆解了智谱GLM-5.3稀疏注意力（DeepSeek Sparse Attention, DSA）架构对AI推理内存体系的影响。报告得出几个反直觉的关键结论： ：虽然稀疏注意力降低了SDPA运算中的KV缓存内存和带宽需求，但由于top-k选择需要完整上下文驻留HBM，整体内存容量瓶颈并未消除。 ：HiSparse分层内存系统通过LRU策略将KV缓存从HBM卸载到DRAM，配合层间重叠（layer-wise overlapping），大幅提升高并发、长上下文场景下的吞吐。 ：在150 tokens/秒的响应速度目标下，NVIDIA GB300的推理成本约$0.044/百万token，比AMD MI355X ATOM方案低约82%。 ：算术强度分析（120.8 FLOP/B）暗示GLM-5可能针对摩尔线程MTT S4000（128 FLOP/B）进行了优化。 ：每4个DSA层共享一个索引器，索引器缓存和FLOPs均减少75%，吞吐提升1.5-1.8倍。 一、稀疏注意力与内存：被高估的"内存节省" 稀疏注意力的核心机制是只关注top-k最相关的token，从而理论上降低SDPA运算中的内存消耗和带宽需求。然而，，因此稀疏注意力并未真正消除内存容量瓶颈。 SemiAnalysis指出，稀疏注意力的吞吐实际受限于内存容量，而非算力。这一点对HBM和NAND的TAM（总可寻址市场）分析具有重要意义——仅凭"稀疏注意力=低内存"的直觉判断，可能严重低估实际硬件需求。 二、HiSparse：SGLang的分层内存突破 为突破上述瓶颈，SGLang团队设计了——一种主动将KV缓存从设备HBM卸载到主机DRAM的分层内存系统： 设计要素实现方式 类似LRU（最近最少使用） 从DRAM加载token到HBM 基于LRU策略从HBM卸载到DRAM 层间重叠——第N层KV加载与第N-1层执行并行 HiSparse此前在HiCache工作中提出的"层间重叠"机制得以沿用。其代价是top-k缓存未命中时的I/O开销，但在高并发和长上下文场景下吞吐提升显著。 三、推理成本对比：NVIDIA vs AMD SemiAnalysis利用其实时基准测试平台和（9月17日快照数据），对比了不同GPU的推理服务成本： ： GPU方案推理引擎成本/百万token相对优势 NVIDIA GB200 Dynamo-SGLang $0.044 基准 NVIDIA GB300 Dynamo-TRT-LLM 更低 单GPU吞吐领先17.5% AMD MI355X ATOM $0.238 比GB200贵约5.4倍 ：GB300单GPU吞吐13950 vs 11873 tokens/秒（领先17.5%），但因单价更高（$2.31 vs $1.86/小时），成本优势取决于目标速度。 ：在100/125/150 tokens/秒三个目标下，GB200分别比MI355X便宜52%/62%/82%。 ：GB200在最低成本配置下p90首token延迟达14-19秒，而MI355X ATOM仅1.3-1.7秒。若要求p90 TTFT：仅计算生成输出时，GB200在150 tokens/秒下成本为$5.92/百万输出token，比MI355X低79%，这对反复复用长输入历史的AI Agent场景尤为重要。 四、B200缓存复用模式：GPU内存与主机内存的协同 测试揭示了一个有趣的缓存行为：。这意味着大量KV缓存复用实际上发生在GPU之外，整体缓存命中率仍保持在95%以上。 五、GLM-5.3的MLA优化：疑似适配国产GPU 报告通过算术强度推导进行了颇具洞察力的硬件推断： （H=128）算术强度约258.2 FLOP/B，对应H800的ridge point。 （H=64）算术强度仅120.8 FLOP/B，更匹配（约128 FLOP/B）。 佐证：摩尔线程与智谱合作，GLM-5.3-Flash首发支持。 此外，GLM-5还将QK NoPE维度从128提升至192，在等FLOP和等参数约束下表现更优。 六、DeepSeek稀疏注意力（DSA）的两个核心组件 1. Lightning Indexer（闪电索引器） 功能：轻量级注意力机制，用于选择top-K token 实现：queries和keys降维投影，indexer queries多头、keys单头 计算：query-key点积 + ReLU非线性（无需value embeddings和softmax） 分数计算：各查询头logits的加权和 关键特性：尽管indexer有多个头，token选择在多个注意力头间共享 2. Sparse MLA（稀疏多头潜在注意力） 两种模式权衡： ：FLOPs低，但内存成本高42倍 ：内存成本低，但FLOPs高3.4倍 ：因稀疏注意力只需关注少量token，较高FLOP使用可被缓解 ：vLLM实现在短序列（数据并行2K-5K，张量并行2K-77K）下使用MHA模式 七、IndexShare：索引器共享设计 为缓解索引器随上下文增长的延迟成本，智谱在GLM-5.2中提出（又称IndexCache）： ：每4个DSA层共享一个索引器 ：需额外缓存每层的top-K索引，以便共享层复用 ：索引器logit分布需与共享层注意力分数的对齐（KL散度目标） ： 索引器缓存减少  索引器FLOPs减少  吞吐提升 （取决于上下文长度和prefill/decode比例） 八、后训练流水线 GLM-5的后训练分为五个阶段： （监督微调） ：将推理和通用RL蒸馏回SFT checkpoint GLM-5.2可能已用标准MOPD（Multi-teacher On-Policy Distillation）替代该流程，Z.ai称为"并行OPD训练"，可在约2天内合并10+专家模型。 九、RL训练算法：同步vs异步 阶段算法关键特性 GRPO变体 移除KL正则、IcePop token级mask、Clip-Higher鼓励探索 REINFORCE类 Direct Double-Sided Importance Sampling（DIS）、IcePop式裁剪 ： 同步RL：使用上一迭代的trainer policy 异步RL：使用inference policy（因异步设置下需记录每个checkpoint版本，开销过大） 十、SAO：长视野任务的RL优化 ：GRPO在长视野任务中遭遇两个挑战： 轨迹长度高方差导致训练信号不稳定、偏向长轨迹 straggler rollout的尾延迟严重影响端到端延迟 ： 用修改版GAE（灵感来自PPO）替代group-normalized advantage 仅需即可计算advantage 缓解GRPO需多次rollout的痛点 本报告为，非个股分析，因此不涉及传统意义上的估值与评级。但其对硬件市场有重要暗示： ：在推理服务成本上保持显著领先（对AMD MI355X有47%-82%的成本优势），强化了NVIDIA在AI推理基础设施领域的护城河。 ：通过TileRT低延迟引擎（单kernel持久化解码、计算/内存/通信重叠）在交互性上缩小差距，FP8 TileRT配置比FP4 MI335X交互性提升2x，但仍面临单GPU成本竞争力不足的问题。 ：稀疏注意力不会显著降低HBM TAM，反而可能因系统级优化（如HiSparse）推动DRAM在AI推理中的更大角色。 ：GLM-5疑似针对摩尔线程MTT S4000优化，反映国产AI芯片生态正获得头部模型厂商的原生支持。 ：报告基于超大规模基础设施的拥有和运营成本模型，与中小规模部署的实际成本结构可能存在显著差异。 ：GB200在最低成本配置下首token延迟达14-19秒，可能不适用于对响应即时性敏感的交互场景；AMD方案在TTFT上有结构性优势。 ：top-k选择仍需完整上下文驻留HBM，内存容量瓶颈未消除；HiSparse等系统级方案会增加I/O开销和工程复杂度。 ：关于GLM-5针对摩尔线程优化的推测基于算术强度分析，属于间接推断，需更多直接证据（如性能基准、官方合作公告）验证。 ：TileRT在TTFT方面仍有优化空间（KV传输、FP4支持、batch size等），AMD需持续投入软件栈优化才能缩小与NVIDIA的整体差距。 ：SAO虽缓解了GRPO的短视野问题，但异步训练的数值稳定性挑战（重要性采样比率的策略不一致）仍需持续监控。 ：报告基于2025年9月17日AgentX快照，AI推理性能格局变化迅速，结论可能随软硬件迭代而快速过时。 ## 总体总结 主题正文 1. 核心结论：1）稀疏注意力虽降低SDPA运算中的KV缓存内存与带宽需求，但并不减少整体内存容量——top-k选择仍需完整上下文驻留HBM； 2. SemiAnalysis发布的这篇深度技术报告，系统拆解了智谱GLM-5.3稀疏注意力（DeepSeek Sparse Attention, DSA）架构对AI推理内存体系的影响。 3. 稀疏注意力的核心机制是只关注top-k最相关的token，从而理论上降低SDPA运算中的内存消耗和带宽需求。 4. ：GB300单GPU吞吐13950 vs 11873 tokens/秒（领先17.5%），但因单价更高（$2.31 vs $1.86/小时），成本优势取决于目标速度。 5. ：GB200在最低成本配置下p90首token延迟达14-19秒，而MI355X ATOM仅1.3-1.7秒。 6. 若要求p90 TTFT：仅计算生成输出时，GB200在150 tokens/秒下成本为$5.92/百万输出token，比MI355X低79%，这对反复复用长输入历史的AI Agent场景尤为重要。 7. GLM-5.2可能已用标准MOPD（Multi-teacher On-Policy Distillation）替代该流程，Z.ai称为"并行OPD训练"，可在约2天内合并10+专家模型。 8. ：通过TileRT低延迟引擎（单kernel持久化解码、计算/内存/通信重叠）在交互性上缩小差距，FP8 TileRT配置比FP4 MI335X交互性提升2x，但仍面临单GPU成本竞争力不足的问题。