---
title: "推理越来越\"重\"，存储和互连的紧张还没见顶 过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。输出Token占"
topic_id: 55522484841421554
created_at: 2026-08-09T20:18:36.824+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 推理越来越"重"，存储和互连的紧张还没见顶 过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。输出Token占

- 序号：143
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/55522484841421554)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

推理越来越"重"，存储和互连的紧张还没见顶

过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。输出Token占比升至41%，缓存活动降至57%，输入Token稳定在2%。

模型每次调用消耗的计算资源在变多。没有架构层面的突破，以输出和缓存为主的工作负载会持续推高对HBM和互连芯片的需求。存储器和互连仍是关键瓶颈，这也是亚马逊追加资本开支的底层原因之一。

## 总体总结

主题正文
1. 推理越来越"重"，存储和互连的紧张还没见顶
2. 过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。
3. 输出Token占比升至41%，缓存活动降至57%，输入Token稳定在2%。
4. 模型每次调用消耗的计算资源在变多。
5. 没有架构层面的突破，以输出和缓存为主的工作负载会持续推高对HBM和互连芯片的需求。
6. 存储器和互连仍是关键瓶颈，这也是亚马逊追加资本开支的底层原因之一。