📝 最近从卖方那里读到的一些有趣内容:英伟达收购 Groq 不仅仅是为了 LPU。 ⚙️ Rubin 预计将于 2026 年下半年推出,其硬件架构很可能已经基本

图片

无图片

正文

📝 最近从卖方那里读到的一些有趣内容:英伟达收购 Groq 不仅仅是为了 LPU。 ⚙️ Rubin 预计将于 2026 年下半年推出,其硬件架构很可能已经基本敲定。 💻 然而,Groq 的核心人才预计将致力于优化 Rubin 的软件,以便更高效地控制 Rubin 内部已扩展的 SRAM,几乎像一个 LPU。 🔧 Groq 的硬件设计 IP 用于完全控制 SRAM 内数据流,将直接应用于芯片设计蓝图的节点,很可能是 Rubin Ultra。 📊 即使在 Rubin Ultra 中 SRAM 容量大幅增加到,SRAM 也不是用来容纳整个模型的。 📈 相反,它更像一个大型工作台,可以同时铺开并处理从 HBM 获取的更多数据。 ⚡ 随着 SRAM 变大,从 HBM 重新获取数据所需的次数减少,这可以显著提升推理速度。 ⚠️ 然而,存储完整模型所需的绝对 HBM 容量,随着模型规模持续增长,预计仍将逐步上升。

总体总结

主题正文

  1. 📝 最近从卖方那里读到的一些有趣内容:英伟达收购 Groq 不仅仅是为了 LPU。
  2. ⚙️ Rubin 预计将于 2026 年下半年推出,其硬件架构很可能已经基本敲定。
  3. 💻 然而,Groq 的核心人才预计将致力于优化 Rubin 的软件,以便更高效地控制 Rubin 内部已扩展的 SRAM,几乎像一个 LPU。
  4. 🔧 Groq 的硬件设计 IP 用于完全控制 SRAM 内数据流,将直接应用于芯片设计蓝图的节点,很可能是 Rubin Ultra。
  5. 📊 即使在 Rubin Ultra 中 SRAM 容量大幅增加到,SRAM 也不是用来容纳整个模型的。
  6. 📈 相反,它更像一个大型工作台,可以同时铺开并处理从 HBM 获取的更多数据。
  7. ⚡ 随着 SRAM 变大,从 HBM 重新获取数据所需的次数减少,这可以显著提升推理速度。
  8. ⚠️ 然而,存储完整模型所需的绝对 HBM 容量,随着模型规模持续增长,预计仍将逐步上升。