🍃每个 token 的成本是一个虚浮指标。 🔍你看到输入 token 和输出 token，但很少看到实际的轨迹。 📝一个现代推理模型生成的并不是你读到的那段回答
- 序号：234
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
🍃每个 token 的成本是一个虚浮指标。 🔍你看到输入 token 和输出 token，但很少看到实际的轨迹。 📝一个现代推理模型生成的并不是你读到的那段回答，它生成的是：一段私密的独白、一份草稿、一次批判、一次验证检查、一次工具调用、一次重试、一次最终输出。 🖥️用户在屏幕上只看到一个段落，但数据中心看到的是一间小办公室里一群智能代理在争论这件事，并在此过程中不断消耗 token，谷歌已经开始展示这一点。 📊Gemini 的计费页面把输出 token 视为包含思考 token。 📑安索帕公司对提示词缓存的读取和写入分别收费，并提供两种存活时间选项。 💵奥本人工智能公司把缓存输入的价格单独拆出来，因为缓存现在在经济上已经承担了重要分量。 📈过去的单位是会计上的微调，它们看起来更像是承认生成这条回复的轨迹，包括那些没展示给你看的部分。 🧮如果你只报每个 token 的价格，你可以讲出一个推理成本每年下降 50 倍的故事。 ⚖️这个故事的真实程度，就跟 “按每颗钉子算，房子变便宜了” 一样。钉子的价格确实降了，但另一方面，房子可能变大了，埃波克公司自己的研究也明确指出了这一点。 📏他们衡量出的最快成本下降，是针对固定的性能里程碑，而不是固定的工作负载。 📈一旦你让工作负载随着新能力变化一起膨胀，账单就不再像一条下降的直线。 🧾每个已解决任务的成本、每个已关闭工单的成本、每个已并入需求单的成本、每个有用回答的成本，任选其一，单位换算就能成立；如果选用每个 token 的平均成本，你就是在对着一个虚构数字做预算。 🛠️构建者应该像软件即服务公司追踪获客成本一样，去追踪轨迹成本，推理 token、验证 token、工具调用 token、重试率、缓存命中率。 💡每一项对实际账单的影响，都远比模型标价本身更大。
总体总结
主题正文
- 📝一个现代推理模型生成的并不是你读到的那段回答，它生成的是：一段私密的独白、一份草稿、一次批判、一次验证检查、一次工具调用、一次重试、一次最终输出。
- 🖥️用户在屏幕上只看到一个段落，但数据中心看到的是一间小办公室里一群智能代理在争论这件事，并在此过程中不断消耗 token，谷歌已经开始展示这一点。
- 💵奥本人工智能公司把缓存输入的价格单独拆出来，因为缓存现在在经济上已经承担了重要分量。
- 🧮如果你只报每个 token 的价格，你可以讲出一个推理成本每年下降 50 倍的故事。
- 钉子的价格确实降了，但另一方面，房子可能变大了，埃波克公司自己的研究也明确指出了这一点。
- 📏他们衡量出的最快成本下降，是针对固定的性能里程碑，而不是固定的工作负载。
- 📈一旦你让工作负载随着新能力变化一起膨胀，账单就不再像一条下降的直线。
- 🛠️构建者应该像软件即服务公司追踪获客成本一样，去追踪轨迹成本，推理 token、验证 token、工具调用 token、重试率、缓存命中率。