💡【CPO/OCS 板块】观点更新（65）：最大化用光 = 最大化 Token 利润 ✨谷歌首次把训练与推理拆分至独立芯片，训练芯片采用维戈架构，推理芯片是本次
- 序号：395
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
💡【CPO/OCS 板块】观点更新（65）：最大化用光 = 最大化 Token 利润
✨谷歌首次把训练与推理拆分至独立芯片，训练芯片采用维戈架构，推理芯片是本次最大变化，采用全新的博德弗莱架构加同步加速器加大容量静态随机存取存储器，能够大幅降低延迟。 ✅先上结论：。 📌这证明在智能体人工智能时代，不仅是图形处理器，还有张量处理器，不仅是训练环节，还有推理环节，都遵循词元经济学，使用更多光模块可以提高单词元收益，也就是更高的速度对应更高的收入，更低的功耗对应更低的成本。 🔍1、博德弗莱架构是怎样的？ 🔗4 个张量处理器通过电路板组成一个托盘，8 个托盘通过铜缆组成一个群组，36 个群组通过光电路交换机组成一个集群。 💡2、为什么推理芯片从环形面拓扑结构，转向博德弗莱架构？ ⚙️本质是模型从稠密的大语言模型转向稀疏的混合专家模型。 🚇大语言模型的通信像地铁，路线固定、班次密集、吞吐量大，适合棋盘格一样的环形面架构。 🚕混合专家模型的通信像网约车，每单随机、起点终点任意，词元独立选择专家，数据瞬间需要芯片间全方位交流，对单次互连的时延要求极高。 📶博德弗莱架构通过增加节点数，也就是增加直连光链路，把多跳的路径简化为少跳路径。 📊1024 颗芯片的网络直径从 16 跳降低至 7 跳，网络直径减少 56%，推理场景性价比提升 80%。 🔑光的三个关键词：测试、耦合、连接，适用于各类光技术，包括共封装光学、光电路交换、光互联等。 🎯标的： 🔬罗博特科：谷歌光电路交换机整线设备，包含测试和耦合设备。 🔌致尚科技：谷歌精密连接器代工。
总体总结
主题正文
- 💡【CPO/OCS 板块】观点更新（65）：最大化用光 = 最大化 Token 利润
- ✨谷歌首次把训练与推理拆分至独立芯片，训练芯片采用维戈架构，推理芯片是本次最大变化，采用全新的博德弗莱架构加同步加速器加大容量静态随机存取存储器，能够大幅降低延迟。
- 📌这证明在智能体人工智能时代，不仅是图形处理器，还有张量处理器，不仅是训练环节，还有推理环节，都遵循词元经济学，使用更多光模块可以提高单词元收益，也就是更高的速度对应更高的收入，更低的功耗对应更低的成本。
- 🔗4 个张量处理器通过电路板组成一个托盘，8 个托盘通过铜缆组成一个群组，36 个群组通过光电路交换机组成一个集群。
- 💡2、为什么推理芯片从环形面拓扑结构，转向博德弗莱架构？
- 🚕混合专家模型的通信像网约车，每单随机、起点终点任意，词元独立选择专家，数据瞬间需要芯片间全方位交流，对单次互连的时延要求极高。
- 📊1024 颗芯片的网络直径从 16 跳降低至 7 跳，网络直径减少 56%，推理场景性价比提升 80%。
- 🔑光的三个关键词：测试、耦合、连接，适用于各类光技术，包括共封装光学、光电路交换、光互联等。