⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。 ⚡ 这两种 GPUs 在原始

• 序号：172
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。 ⚡ 这两种 GPUs 在原始算力上的差距远不止 2.3 倍。 ⚡ 差距在于内存带宽，因为每生成一个 token，都必须从 HBM 中完整读取一次所有权重。 ⚡ 这就是推理中不声张的真相：你不是受限于算力，而是受限于带宽。 ⚡ 我们花了十年时间为一个问题优化 FLOPs，而这个问题本质上更多关乎你能以多快的速度一次又一次地把 140GB 从芯片上搬出来，每个词都要搬一次。

总体总结

主题正文

1. ⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。
2. ⚡ 这两种 GPUs 在原始算力上的差距远不止 2.3 倍。
3. ⚡ 差距在于内存带宽，因为每生成一个 token，都必须从 HBM 中完整读取一次所有权重。
4. ⚡ 这就是推理中不声张的真相：你不是受限于算力，而是受限于带宽。
5. ⚡ 我们花了十年时间为一个问题优化 FLOPs，而这个问题本质上更多关乎你能以多快的速度一次又一次地把 140GB 从芯片上搬出来，每个词都要搬一次。