SemiAnalysis 观点解读:为什么 A100 还没完全退场 SemiAnalysis 提出,不管是算力采购方还是硬件供应商,转向新一代 GPU 都具备充

图片

无图片

正文

SemiAnalysis 观点解读:为什么 A100 还没完全退场

SemiAnalysis 提出,不管是算力采购方还是硬件供应商,转向新一代 GPU 都具备充分的现实理由。现阶段 A100 依旧还在算力网络当中服役,背后根源是芯片供给紧张,并非出于经济性考量。 机构给出一组量级估算,单张 GB300 的 token 产出能力,大约可以达到 A100 的 400 倍。作为参照,H100 的 token 生成量约为 A100 的 8 倍,而 GB300 对比 H100 又拉开 50 倍的差距。 功耗层面,A100 的 TDP 为 400 瓦,GB300 则来到 1400 瓦。在电价保持不变的前提下,GB300 的单位功耗能效大致是 A100 的 115 倍。 再看租赁市场的报价,A100 的时租区间在 1‑1.2 美元,GB300 的时租报价则为 4‑5 美元。按照五年折旧周期测算,假设 GB300 单卡采购成本 40000 美元,如果做到五年 7×24 小时不间断对外出租,硬件折旧摊到每小时约 0.91 美元。现实场景下还要计入运维开销,而且硬件不可能时刻处于满租状态。做偏保守的测算,GB300 每小时的硬件相关成本,相比已经完成全部折旧的 A100 要多出 1.5 美元。 这里暂不把电费纳入计算,基础设施层面二者大体接近,仅仅因为 GB300 对网络带宽、散热条件要求更高,这部分额外开销我们按比较宽松的标准估算为每小时 0.8 美元。在这套假设条件下,A100 每小时的毛利区间是 1‑1.2 美元,GB300 每小时毛利可以做到 1.7‑2.7 美元。 也就是说,即便完全抛开 token 产出能力的差距不谈,单纯看租赁业务本身,GB300 的商业回报也更占优势。 切换到算力客户的视角,前面已经提到,单张 GB300 能够产出的 token 规模是 A100 的 400 倍。换算之后,A100 生成单个 token 的成本,会达到 GB300 的 80‑120 倍。 由此又回到最开始的结论:不管是使用算力的客户,还是硬件供给厂商,都有充足动力切换到更新一代芯片。如今 A100 仍然在算力集群内运行,只是受限于芯片供给缺口,并不是从经济算账角度的最优选择。

总体总结

主题正文

  1. 机构给出一组量级估算,单张 GB300 的 token 产出能力,大约可以达到 A100 的 400 倍。
  2. 作为参照,H100 的 token 生成量约为 A100 的 8 倍,而 GB300 对比 H100 又拉开 50 倍的差距。
  3. 按照五年折旧周期测算,假设 GB300 单卡采购成本 40000 美元,如果做到五年 7×24 小时不间断对外出租,硬件折旧摊到每小时约 0.91 美元。
  4. 这里暂不把电费纳入计算,基础设施层面二者大体接近,仅仅因为 GB300 对网络带宽、散热条件要求更高,这部分额外开销我们按比较宽松的标准估算为每小时 0.8 美元。
  5. 在这套假设条件下,A100 每小时的毛利区间是 1‑1.2 美元,GB300 每小时毛利可以做到 1.7‑2.7 美元。
  6. 也就是说,即便完全抛开 token 产出能力的差距不谈,单纯看租赁业务本身,GB300 的商业回报也更占优势。
  7. 切换到算力客户的视角,前面已经提到,单张 GB300 能够产出的 token 规模是 A100 的 400 倍。
  8. 由此又回到最开始的结论:不管是使用算力的客户,还是硬件供给厂商,都有充足动力切换到更新一代芯片。