---
title: "⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。 ⚡ 这两种 GPUs 在原始"
topic_id: 82255221522818512
created_at: 2026-06-14T15:51:42.345+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# ⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。 ⚡ 这两种 GPUs 在原始

- 序号：172
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/82255221522818512)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。
⚡ 这两种 GPUs 在原始算力上的差距远不止 2.3 倍。
⚡ 差距在于内存带宽，因为每生成一个 token，都必须从 HBM 中完整读取一次所有权重。
⚡ 这就是推理中不声张的真相：你不是受限于算力，而是受限于带宽。
⚡ 我们花了十年时间为一个问题优化 FLOPs，而这个问题本质上更多关乎你能以多快的速度一次又一次地把 140GB 从芯片上搬出来，每个词都要搬一次。

## 总体总结

主题正文
1. ⚡ 一个 70B 模型在 H100 上大约每秒生成 24 个 tokens，在 B200 上大约每秒生成 57 个 tokens。
2. ⚡ 这两种 GPUs 在原始算力上的差距远不止 2.3 倍。
3. ⚡ 差距在于内存带宽，因为每生成一个 token，都必须从 HBM 中完整读取一次所有权重。
4. ⚡ 这就是推理中不声张的真相：你不是受限于算力，而是受限于带宽。
5. ⚡ 我们花了十年时间为一个问题优化 FLOPs，而这个问题本质上更多关乎你能以多快的速度一次又一次地把 140GB 从芯片上搬出来，每个词都要搬一次。