---
title: "显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普"
topic_id: 55521544858818154
created_at: 2026-10-21T08:30:32.674+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普

- 序号：454
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/55521544858818154)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

显存容量的压力降低了，互联的要求提高了。 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。对受出口管制影响、HBM 容量普遍偏小的国产芯片来说，这是实打实的利好。但 decode 要做 EP64 以上的大规模专家并行，mega MoE 还要求大规模高速互联域和设备端通信能力，瓶颈从显存转移到了互联。主机和加速卡之间的带宽变得更重要。 Engram 的 n-gram 表规模很大，DeepInfer 默认把它放在主机内存里，前向时按哈希远程拉取。NPU 路径还专门调用了昇腾的主机内存注册接口来锁页。这对 CPU 和加速卡之间的带宽、延迟都提出了要求。

## 总体总结

主题正文
1. 显存容量的压力降低了，互联的要求提高了。
2. 每 token 的 KV 小到 1KB 以下，长上下文对 HBM 容量的需求大幅下降。
3. 对受出口管制影响、HBM 容量普遍偏小的国产芯片来说，这是实打实的利好。
4. 但 decode 要做 EP64 以上的大规模专家并行，mega MoE 还要求大规模高速互联域和设备端通信能力，瓶颈从显存转移到了互联。
5. 主机和加速卡之间的带宽变得更重要。
6. Engram 的 n-gram 表规模很大，DeepInfer 默认把它放在主机内存里，前向时按哈希远程拉取。
7. NPU 路径还专门调用了昇腾的主机内存注册接口来锁页。
8. 这对 CPU 和加速卡之间的带宽、延迟都提出了要求。