【Cpo/Ocs板块】观点更新...
- 序号：365
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
【Cpo/Ocs板块】观点更新（65）：最大化用光=最大化Token利润
谷歌首次把训练与推理拆分至独立芯片：8t训练，Virgo结构；8i推理，是最大变化，用全新Boardfly架构+CAE+大SRAM，大幅降低延迟。
先上结论：实质性利好光。 证明Agentic Ai时代，不仅Gpu，还有Tpu，不仅训练，还有推理，都遵循Token经济学，用更多光提高单Token收益，即更高速度（=更高收入）、更低功耗（=更低成本）。
1️⃣Boardfly架构是怎样的？ 4个Tpu用Pcb板组成1个Tray，8个Tray用铜缆组成1个Group，36个Group用Ocs交换机组成1个Pod（集群）。
2️⃣为什么8i从Torus环⾯拓扑，转向Boardfly？ 本质是模型#从稠密的LLM👉稀疏的MoE。# LLM的通信像地铁（路线固定、班次密集、吞吐大），适合棋盘格一样的Torus架构；MoE的通信像网约车（每单随机、起点终点任意），token独立选择专家，数据瞬间需要芯片间“all to all”交流，对单次互连的时延要求极高。 Boardfly通过增加节点数（即增加直连光链路），把“多跳（需路过的路口数）”的路径“拍扁”成“少跳”。1024芯片，网络直径从16跳降低至7跳，网络直径-56%，推理场景#性价比提升# 80%。
光的三个关键词：测试、耦合、连接，适用于各种光，Cpo/Ocs/Oio等等…。 标的：【罗博特科】：G的Ocs交换机整线设备（含测试和耦合设备）、【致尚科技】：G的sn-mt连接器代工。
By Txy
总体总结
主题正文
- 【Cpo/Ocs板块】观点更新（65）：最大化用光=最大化Token利润
- 8i推理，是最大变化，用全新Boardfly架构+CAE+大SRAM，大幅降低延迟。
- 证明Agentic Ai时代，不仅Gpu，还有Tpu，不仅训练，还有推理，都遵循Token经济学，用更多光提高单Token收益，即更高速度（=更高收入）、更低功耗（=更低成本）。
- 4个Tpu用Pcb板组成1个Tray，8个Tray用铜缆组成1个Group，36个Group用Ocs交换机组成1个Pod（集群）。
- MoE的通信像网约车（每单随机、起点终点任意），token独立选择专家，数据瞬间需要芯片间“all to all”交流，对单次互连的时延要求极高。
- Boardfly通过增加节点数（即增加直连光链路），把“多跳（需路过的路口数）”的路径“拍扁”成“少跳”。
- 1024芯片，网络直径从16跳降低至7跳，网络直径-56%，推理场景#性价比提升# 80%。
- 标的：【罗博特科】：G的Ocs交换机整线设备（含测试和耦合设备）、【致尚科技】：G的sn-mt连接器代工。