推理越来越"重"，存储和互连的紧张还没见顶 过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。输出Token占

• 序号：143
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

推理越来越"重"，存储和互连的紧张还没见顶

过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。输出Token占比升至41%，缓存活动降至57%，输入Token稳定在2%。

模型每次调用消耗的计算资源在变多。没有架构层面的突破，以输出和缓存为主的工作负载会持续推高对HBM和互连芯片的需求。存储器和互连仍是关键瓶颈，这也是亚马逊追加资本开支的底层原因之一。

总体总结

主题正文

1. 推理越来越"重"，存储和互连的紧张还没见顶
2. 过去三周，每个推理任务的平均输出Token升了11%至2.4万个，推理密集型任务尾部涨9%到4万个。
3. 输出Token占比升至41%，缓存活动降至57%，输入Token稳定在2%。
4. 模型每次调用消耗的计算资源在变多。
5. 没有架构层面的突破，以输出和缓存为主的工作负载会持续推高对HBM和互连芯片的需求。
6. 存储器和互连仍是关键瓶颈，这也是亚马逊追加资本开支的底层原因之一。