💻 买得越多，省得越多：通过 RoCEv2 CX-7 以太网配合 Tomahawk 交换机，将多台 B200 8-GPU 机器集群起来，并采用一种名为 PD 分

• 序号：410
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

💻 买得越多，省得越多：通过 RoCEv2 CX-7 以太网配合 Tomahawk 交换机，将多台 B200 8-GPU 机器集群起来，并采用一种名为 PD 分离的交换机优化，每 GPU 的 token 吞吐量最高可提升 7 倍。 💻 每 GPU token 的吞吐量最高提升 7 倍，意味着每百万 token 的成本也最高降低 7 倍。 💻 向构建这一出色 OSS 引擎的团队以及打造 dynamo 推理编排器的团队致敬。 💻 B200 GPU 分离式性能的更多改进即将到来！

总体总结

主题正文

1. 💻 买得越多，省得越多：通过 RoCEv2 CX-7 以太网配合 Tomahawk 交换机，将多台 B200 8-GPU 机器集群起来，并采用一种名为 PD 分离的交换机优化，每 GPU 的 token 吞吐量最高可提升 7 倍。
2. 💻 每 GPU token 的吞吐量最高提升 7 倍，意味着每百万 token 的成本也最高降低 7 倍。
3. 💻 向构建这一出色 OSS 引擎的团队以及打造 dynamo 推理编排器的团队致敬。
4. 💻 B200 GPU 分离式性能的更多改进即将到来！