显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普

• 序号：454
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普遍偏小的国产芯片来说，这是实打实的利好。但 decode 要做 EP64 以上的大规模专家并行，mega MoE 还要求大规模高速互联域和设备端通信能力，瓶颈从显存转移到了互联。主机和加速卡之间的带宽变得更重要。 Engram 的 n-gram 表规模很大，DeepInfer 默认把它放在主机内存里，前向时按哈希远程拉取。NPU 路径还专门调用了昇腾的主机内存注册接口来锁页。这对 CPU 和加速卡之间的带宽、延迟都提出了要求。

总体总结

主题正文

1. 显存容量的压力降低了，互联的要求提高了。
2. 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。
3. 对受出口管制影响、HBM 容量普遍偏小的国产芯片来说，这是实打实的利好。
4. 但 decode 要做 EP64 以上的大规模专家并行，mega MoE 还要求大规模高速互联域和设备端通信能力，瓶颈从显存转移到了互联。
5. 主机和加速卡之间的带宽变得更重要。
6. Engram 的 n-gram 表规模很大，DeepInfer 默认把它放在主机内存里，前向时按哈希远程拉取。
7. NPU 路径还专门调用了昇腾的主机内存注册接口来锁页。
8. 这对 CPU 和加速卡之间的带宽、延迟都提出了要求。