【天风通信】谷歌TPU——V8t光模块和OCS配比测算 1、Scale Up 【光模块】9600卡内部沿用3D Torus+OCS架构卡。ICI双向带宽从9.6
- 序号：211
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
【天风通信】谷歌TPU——V8t光模块和OCS配比测算 1、Scale Up
【光模块】9600卡内部沿用3D Torus+OCS架构卡。ICI双向带宽从9.6T提升至19.2T，由于每个TPU与6颗相邻TPU互联，scale up光模块速率从800G升级至1.6T（19.2/2/6），配比维持1:1.5不变。
【OCS】ICI集群从Ironwood的9216卡拓展至9500卡，同样配套48台OCS。配比略微减少，但有效端口数从288端口（考虑冗余OCS规格为300300）升级至300端口（考虑冗余OCS规格为320320）。
2、Scale Out
【光模块】
1）Ironwood每个计算Tray集成4颗TPU v7，共配置2张Titanium IPU网卡，每张2*200G，通过2个200G光模块上行接到TOR交换机；
2）TPU V8t 单卡带宽提升4倍， TPU：网卡数量从2：1增加至1：1，则网卡带宽从2200G升级至2400G。如果通过400G光模块连接Tor，TPU：400G光模块=1：1，TPU：800G光模块=1：2。如果通过800G光模块连接Tor，则TPU：800G光模块=2：5。
【OCS】
1）ironwood架构，144个64卡机柜组成一个9216的POD，4个POD组成一个聚合模块，4个聚合模块组成147456卡大集群，通过64台300*300端口OCS将Spine层互联。TPU：OCS=127456：64；
2）V8t 134,000卡集群预计顶层约6700万端口连接至OCS，大约需要220-230台OCS，Out侧OCS配比有增长。
天风通信 王奕红 余芳沁 唐海清
总体总结
主题正文
- ICI双向带宽从9.6T提升至19.2T，由于每个TPU与6颗相邻TPU互联，scale up光模块速率从800G升级至1.6T（19.2/2/6），配比维持1:1.5不变。
- 【OCS】ICI集群从Ironwood的9216卡拓展至9500卡，同样配套48台OCS。
- 配比略微减少，但有效端口数从288端口（考虑冗余OCS规格为300300）升级至300端口（考虑冗余OCS规格为320320）。
- 1）Ironwood每个计算Tray集成4颗TPU v7，共配置2张Titanium IPU网卡，每张2*200G，通过2个200G光模块上行接到TOR交换机；
- 2）TPU V8t 单卡带宽提升4倍， TPU：网卡数量从2：1增加至1：1，则网卡带宽从2200G升级至2400G。
- 如果通过400G光模块连接Tor，TPU：400G光模块=1：1，TPU：800G光模块=1：2。
- 1）ironwood架构，144个64卡机柜组成一个9216的POD，4个POD组成一个聚合模块，4个聚合模块组成147456卡大集群，通过64台300*300端口OCS将Spine层互联。
- 2）V8t 134,000卡集群预计顶层约6700万端口连接至OCS，大约需要220-230台OCS，Out侧OCS配比有增长。