📖 📌 1. 常规服务器 DRAM 📌 每位用户的 VM 都位于主机 memory 中,而且必须保持常驻。 美光、SK 海力士、三星电子、$DRAM。 📌 2.

图片

无图片

正文

📖 📌 1. 常规服务器 DRAM 📌 每位用户的 VM 都位于主机 memory 中,而且必须保持常驻。 美光、SK 海力士、三星电子、$DRAM。 📌 2. KV cache 持久化记住你就是产品本身。每轮都重新对这些上下文执行预填充,在每月 20 美元的价格下行不通,因此状态会被缓存,并分页转移到更便宜的存储层。 Astera Labs、$PENG、迈威尔科技。 首发公众号:思维纪要社

总体总结

主题正文

  1. 📌 1. 常规服务器 DRAM
  2. 📌 每位用户的 VM 都位于主机 memory 中,而且必须保持常驻。
  3. 美光、SK 海力士、三星电子、$DRAM。
  4. 📌 2. KV cache 持久化记住你就是产品本身。
  5. 每轮都重新对这些上下文执行预填充,在每月 20 美元的价格下行不通,因此状态会被缓存,并分页转移到更便宜的存储层。
  6. Astera Labs、$PENG、迈威尔科技。
  7. 首发公众号:思维纪要社