🤖 2026 年不是 AI 变得更聪明的一年，而是推理本身成为产品的一年。 📅 十二个月里发生了三件事，几乎没有人把它们归结为一次统一的转变。 1️⃣ 第一个变
- 序号：117
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
🤖 2026 年不是 AI 变得更聪明的一年，而是推理本身成为产品的一年。 📅 十二个月里发生了三件事，几乎没有人把它们归结为一次统一的转变。 1️⃣ 第一个变化是推理开始按秒计费。 🧠 OpenAI 发布了 o3 和 o4-mini，并提供了明确的 “思考更久” 控制选项。 💭 Anthropic 在 Claude 上开放了扩展思考和可配置的思考预算。 🔍 Google 通过 Gemini 2.5 的思考预算、思考摘要和 Deep Think 正式确立了这一点。 ⚙️ xAI 随后在 Grok 3 上跟进。 💡 这些产品无一例外地将测试时计算从一个隐藏的启发式方法，变成了用户可以调节、户外可以付费的旋钮。 🔄 工作单元从 “模型的回复” 变成了 “产生该回复的轨迹”。 2️⃣ 第二个变化是推理的流水线不再只是一个运行时，而是变成了一个物流系统。 💻 NVIDIA 的 Dynamo 栈、vLLM V1、SGLang 的相同上下文流水线进行了整合。 ⚡ TensorRT-LLM 以及 Hugging Face TGI，围绕相同的基础原语进行了整合。 🔄 前缀缓存。分块预填充。预填充 - 解码分离。KV 感知路由。 👥 专家并行。投机解码不再是可选项，而是默认配置。 📅 2026 年的快速推理栈是与模型和硬件协同设计的。而慢速推理栈仍然把解码当作数学问题，把机器集群当作同质化的农场。 3️⃣ 第三个变化是经济层面的。 💸 如今，推理在 AI 计算支出中占据主导地位，这是训练从未达到过的程度，而且账单的构成方式也变了。 💳 Anthropic 对缓存读取和写入分别单独计费。 🔢 Google 对输出 token 的计费包含宽思考 token 来定价。 🔄 OpenAI 为用户提供了不同的架构为同样的价格。Groq 将延迟带宽作为产品定价。 📊 Cerebras 用不同的缓存输入同样的架构定价和推理 token 核算，因为简单的每 token 费率已经不再是决策的有效依据。 🔗 综合来看，这三个变化有一个共同的名字：工作单元变了。 📦 供给端为了服务这个新单元而改变。定价方式也随之改变。 🔄 这就是一次产品转型的形态。这意味着各家实验室现在在竞争的是系统质量。 🧩 模型只是其中一层。它下面十一层的东西决定了这个模型是否可达、是否够便宜、是否好销售，值得押注一个产品。 ☁️ OpenAI 的 Code Interpreter 被当作一种云端工作班次来销售，它在沙箱中运行数分钟并返回可验证的日志。 🤖 Claude Code 被当作自主编程 Agent 来销售。 🧮 Gemini Deep Think 被当作一个 “更难数学题” 的按钮来销售。 💳 这些 SKU 带有计费和服务等级以及任何同赛道的基础设施运营商意义上的差异化，已经转移到异构集群中高效持有和移动状态的能力上。 ⚙️ 原始 FLOPs 在上一个周期就已经不再是答案。 📊 NVFP4 库存紧挨着 H100 INT4 库存。 📐 MoE 形态的机架不再是答案。客户机架的长上下文准备的 KV 布局紧挨着短上下文吞吐的设备。 🔍 客户要的是一个上下路由层，能帮他们自动选择正确的资源，而无需他们自己费心。 💻 对于在实验室之上构建应用的开发者来说，架构现在很清晰了：用便宜快速的模型处理简单环节，用推理模型处理困难环节，用编程沙箱处理可验证的环节。 ⚡ 用检索器保证时效性。在拒绝比修复更便宜的地方部署验证器。 💸 针对 “每个已解决任务的成本” 进行优化，单位经济学就能成立。 📉 如果针对 “每 token 成本” 进行优化，你会困惑一整年，不明白为什么图表上的成本在下降，账单却在不断增长。 🔍 对于投资者来说，被低估的资产是那些能做好路由的层。 💾 基础模型的质量仍然重要。但栈中被低估的部分是执行。 📝 缓存纪律。草稿模型与目标模型的协同设计。拓扑感知调度器。分离式推理服务。 🔄 结构化生成。领域验证的工作流。 📊 在基准测试表中，专门化推理供应商的份额不断增长，这就是信号。 📈 训练时代并未结束，但它已不再是边际收益最高的地方。 💡 现在的产品是推理，请按此定价。
总体总结
主题正文
- 💭 Anthropic 在 Claude 上开放了扩展思考和可配置的思考预算。
- 🔍 Google 通过 Gemini 2.5 的思考预算、思考摘要和 Deep Think 正式确立了这一点。
- 💻 NVIDIA 的 Dynamo 栈、vLLM V1、SGLang 的相同上下文流水线进行了整合。
- 📊 Cerebras 用不同的缓存输入同样的架构定价和推理 token 核算，因为简单的每 token 费率已经不再是决策的有效依据。
- ☁️ OpenAI 的 Code Interpreter 被当作一种云端工作班次来销售，它在沙箱中运行数分钟并返回可验证的日志。
- 💳 这些 SKU 带有计费和服务等级以及任何同赛道的基础设施运营商意义上的差异化，已经转移到异构集群中高效持有和移动状态的能力上。
- 💻 对于在实验室之上构建应用的开发者来说，架构现在很清晰了：用便宜快速的模型处理简单环节，用推理模型处理困难环节，用编程沙箱处理可验证的环节。
- 📉 如果针对 “每 token 成本” 进行优化，你会困惑一整年，不明白为什么图表上的成本在下降，账单却在不断增长。