HotChips 大会揭示了AI基础设施的演进方向：AI工厂正告别单一通用架构，向五大专用网络体系（Scale-in、Scale-up、Scale-out、Sc
- 序号：363
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
HotChips 大会揭示了AI基础设施的演进方向：AI工厂正告别单一通用架构，向五大专用网络体系（Scale-in、Scale-up、Scale-out、Scale-across及Context-scale）全面转型。
AI计算正打破通用架构的局限，走向高度定制化。由于训练、预填充、解码、推荐及代理模型等工作负载在算力、内存和延迟上需求各异，专用硅片成为必然选择。NVIDIA推行GPU与LPU协同处理，Google推出了区分训练（TPU 8t）与推理（TPU 8i）的独立TPU8系列，而Meta、Microsoft等超大规模云厂商也在积极研发专属加速器。
以往由专有协议主导的Scale-Up物理层，正迎来以太网的深度渗透。例如，Microsoft的Maia 200采用以太网Scale-Up传输，成功支撑起6000芯片的庞大集群；Meta也利用RoCE技术实现了类似连接。不过，Scale-Up网络相较于传统Scale-Out，依然对底层硅技术有着更高的依赖度。
AI工厂的网络不再是“一刀切”，而是细分为五大专用网络。随着网络覆盖范围与传输距离的不断延伸，铜缆在功耗和物理极限上面临瓶颈，光学连接的重要性正日益凸显，成为突破物理限制的关键。
AI集群的外部网络层正在急剧扩张。以Google的Virgo网络架构为例，它能在多数据中心环境下，以47 Pb/s的惊人带宽连接多达134,400个TPU。这种从Scale-Out到Scale-Across的跨越，为Arista Networks、Cisco等网络设备巨头带来了持续且巨大的市场机遇。
热管理与电力供应已成为决定AI性能的关键瓶颈。液冷技术正逐渐成为标配，无论是超大规模云厂商的定制硅，还是NVIDIA的机架级系统（如Google TPU8t托盘的水冷光模块），都高度依赖液冷散热。同时，智能功率管理正不断向处理器端靠近，以保障算力的高利用率。
总体总结
主题正文
- HotChips 大会揭示了AI基础设施的演进方向：AI工厂正告别单一通用架构，向五大专用网络体系（Scale-in、Scale-up、Scale-out、Scale-across及Context-scale）全面转型。
- 由于训练、预填充、解码、推荐及代理模型等工作负载在算力、内存和延迟上需求各异，专用硅片成为必然选择。
- NVIDIA推行GPU与LPU协同处理，Google推出了区分训练（TPU 8t）与推理（TPU 8i）的独立TPU8系列，而Meta、Microsoft等超大规模云厂商也在积极研发专属加速器。
- 例如，Microsoft的Maia 200采用以太网Scale-Up传输，成功支撑起6000芯片的庞大集群；
- 随着网络覆盖范围与传输距离的不断延伸，铜缆在功耗和物理极限上面临瓶颈，光学连接的重要性正日益凸显，成为突破物理限制的关键。
- 以Google的Virgo网络架构为例，它能在多数据中心环境下，以47 Pb/s的惊人带宽连接多达134,400个TPU。
- 这种从Scale-Out到Scale-Across的跨越，为Arista Networks、Cisco等网络设备巨头带来了持续且巨大的市场机遇。
- 液冷技术正逐渐成为标配，无论是超大规模云厂商的定制硅，还是NVIDIA的机架级系统（如Google TPU8t托盘的水冷光模块），都高度依赖液冷散热。