🤖 📝 我此前在《》等文章中论证过，大语言模型（LLM）时代已经历三个转折点： 💡 ChatGPT 证明了 token 预测的实用性。 💡 o1 引入了推理的概
- 序号：103
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
🤖
📝 我此前在《》等文章中论证过，大语言模型（LLM）时代已经历三个转折点： 💡 ChatGPT 证明了 token 预测的实用性。 💡 o1 引入了推理的概念，即更多的 token 意味着更好的答案。 💡 Opus 4.5 和 Claude Code 推出了首批实用的智能体，它们能够通过结合推理模型与利用工具、验证工作等框架，真正完成任务。 📌 所有这些都归在 “推理” 的范畴下，但我认为将越来越清晰地看到，。 📌 Cerebras 的目标市场是 “答案推理”；从长远来看，我认为 “智能体推理” 的架构将大不相同，不仅与 Cerebras 的方法不同，也与 GPU 的方法不同。 💻 我在上文提到，针对编程的快速推理只是一个临时用例。 💻 具体来说，使用 LLMs 进行编程需要人类参与其中 —— 由人类定义编程内容、检查工作成果、提交拉取请求等。 💻 然而，不难想象未来这一切都将完全由机器处理。 💻 这将在更广泛的智能体工作中得到体现：。 🔍 由此延伸，解决智能体推理的最佳方案将与答案推理大相径庭。 🔍 答案推理的核心在于令牌速度；而智能体推理的核心则是内存。 🔍 智能体需要上下文、状态和历史记录。 🔍 部分数据会以活跃的 KV 缓存形式存在；部分会驻留在主机内存或固态硬盘中；更多数据则存储在数据库、日志、嵌入向量和对象存储中。 🔍 关键在于，。 ⚖️ 关键的是，这种针对智能体的内存层级架构意味着必须在速度与容量之间做出取舍。 ⚖️ 但问题在于：若没有人类参与循环，较低的速度便不再是重要考量。 ⚖️ 当智能体等待执行整夜运行的任务时，它既不会感知也不会在意用户体验的影响；真正重要的是能否完成任务 —— 如果全新的内存方案能实现这一点，那么延迟完全可以接受。 ⚙️ 与此同时，如果延迟不是问题，那么所有对纯算力和高带宽内存的关注就显得不合时宜。 ⚙️ 如果延迟并非首要考量，那么速度较慢但成本更低的内存 —— 例如传统 DRAM—— 反而更具合理性。 ⚙️ 而如果整个系统大部分时间都在等待内存，那么芯片也无需追求最前沿的速度。 ⚙️ 这预示着未来架构将发生深刻变革，但并不意味着现有架构会就此消失： 🔹 训练仍将至关重要，英伟达当前的架构（包括高速计算、大容量高带宽内存和高速网络）很可能将继续占据主导地位。 🔹 答案推理将是一个有意义的市场，尽管规模相对较小，而像 Cerebras 或 Groq 这类芯片的速度将非常有用。 🔹 —— 这种芯片在预填充阶段闲置高带宽内存，在解码阶段闲置计算资源 —— 转而采用日益复杂的存储层级结构，以高容量、相对低成本的内存类型为主，搭配 “足够好” 的计算能力；实际上，对于工具调用等场景，CPU 的速度反而比 GPU 的速度更为关键。 📈 同时，这些类别在规模或重要性上并不对等。 📈 具体而言，，因为这一市场不受人类或时间的限制。 📈 如今的智能体不过是花哨的答案推理；未来真正的智能体推理将由计算机根据其他计算机的指令完成工作，其市场规模不再随人类增长，而是随算力扩张。
总体总结
主题正文
- 💡 Opus 4.5 和 Claude Code 推出了首批实用的智能体，它们能够通过结合推理模型与利用工具、验证工作等框架，真正完成任务。
- 从长远来看，我认为 “智能体推理” 的架构将大不相同，不仅与 Cerebras 的方法不同，也与 GPU 的方法不同。
- 💻 具体来说，使用 LLMs 进行编程需要人类参与其中 —— 由人类定义编程内容、检查工作成果、提交拉取请求等。
- ⚖️ 当智能体等待执行整夜运行的任务时，它既不会感知也不会在意用户体验的影响；
- ⚙️ 与此同时，如果延迟不是问题，那么所有对纯算力和高带宽内存的关注就显得不合时宜。
- 🔹 答案推理将是一个有意义的市场，尽管规模相对较小，而像 Cerebras 或 Groq 这类芯片的速度将非常有用。
- 🔹 —— 这种芯片在预填充阶段闲置高带宽内存，在解码阶段闲置计算资源 —— 转而采用日益复杂的存储层级结构，以高容量、相对低成本的内存类型为主，搭配 “足够好” 的计算能力；
- 未来真正的智能体推理将由计算机根据其他计算机的指令完成工作，其市场规模不再随人类增长，而是随算力扩张。