✨ 我们谈论 AI 芯片时，往往把核心问题看作是它们进行数学计算的速度有多快。 ✨ 但对于相当一部分推理来说，尤其是在 token 生成阶段，更困难的问题在于如
- 序号：079
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
✨ 我们谈论 AI 芯片时，往往把核心问题看作是它们进行数学计算的速度有多快。 ✨ 但对于相当一部分推理来说，尤其是在 token 生成阶段，更困难的问题在于如何足够快地将足够的数据输送给算术单元。 ✨ 一个 LLM 请求内部隐藏着两个截然不同的阶段。 负责处理 prompt，并能利用大量的并行计算。 则逐个 token 生成回答，不断重复读取模型权重和 KV-cache 状态。英伟达将现代模型上的 decode 描述为从根本上受内存子系统限制，这也是为什么 Rubin 将每颗 GPU 的 HBM 带宽推高至 22TB/s。 ✨ 这就是为什么 成为了 AI 技术栈中如此重要的战略环节。决定了你能在近端保留多少模型和缓存状态。决定了这些状态向处理器输送的速度有多快。当计算引擎在等待数据时，更多的 FLOPS 并不能带来太多改善。 ✨ 从经济角度来看，有趣的是这让软件对硬件产生了一种奇特的杠杆效应。，都可以提高固定数量的昂贵芯片所产出的有效推理量。 ✨ 因此，实际上只有两种途径来获取更多 AI 容量：部署更多硬件，或者让硬件减少等待时间。
总体总结
主题正文
- ✨ 我们谈论 AI 芯片时，往往把核心问题看作是它们进行数学计算的速度有多快。
- ✨ 但对于相当一部分推理来说，尤其是在 token 生成阶段，更困难的问题在于如何足够快地将足够的数据输送给算术单元。
- 则逐个 token 生成回答，不断重复读取模型权重和 KV-cache 状态。
- 英伟达将现代模型上的 decode 描述为从根本上受内存子系统限制，这也是为什么 Rubin 将每颗 GPU 的 HBM 带宽推高至 22TB/s。
- ✨ 这就是为什么 成为了 AI 技术栈中如此重要的战略环节。
- 当计算引擎在等待数据时，更多的 FLOPS 并不能带来太多改善。
- ✨ 从经济角度来看，有趣的是这让软件对硬件产生了一种奇特的杠杆效应。
- ✨ 因此，实际上只有两种途径来获取更多 AI 容量：部署更多硬件，或者让硬件减少等待时间。