---
title: "在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出"
topic_id: 82255214582245442
created_at: 2026-06-29T00:34:30.236+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出

- 序号：448
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/82255214582245442)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出服务。
我们将所有内容通过我们自己的网关路由:这是一个单:一的端点和格式，适用于数十种模型，跨提供商故障转:移、数据擦除、日志记录和成本控制都会在任何内容到达供应商之前应用。
我们从更便宜的默认设置和缓存开始。91%的员工没有达到他们的使用上限。我们没有降低上限，而是设置了更便宜的模型默认值来削减支出。缓存需要更多工作来:确保在每个工具和模型系列中保持一致。缓存命中需要:前缀完全匹配，因此我们在多轮对话中持续构建一个长:而稳定的前缀。每个请求仅为新令牌支付全额费用，并:从缓存中读取其余部分。
我们的路由也考虑了缓存。朴素的方法是单独为每轮对话评分并将其发送到合适的模型，这看似合理但会增加支出。缓存是按模型的，因此对话中途切换会使缓存失效。我们的路由器会权衡缓存状态以及任务的难度:对话在缓存温暖时保持其模型，只有当它安静足够长时间:以使TTL过期时，才有机会重新路由。一旦发生，路由:器就可以自由选择任务的最佳模型。
这些改进发生在网关层面，因此适用于每个团队和工具。接下来，我们将在编码框架上深入挖掘，在那里我们拥有最多的信号和灵活性，调整子代理和上下文的管理方式。

## 总体总结

主题正文
1. 在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。
2. 我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出服务。
3. 我们将所有内容通过我们自己的网关路由:这是一个单:一的端点和格式，适用于数十种模型，跨提供商故障转:移、数据擦除、日志记录和成本控制都会在任何内容到达供应商之前应用。
4. 91%的员工没有达到他们的使用上限。
5. 缓存命中需要:前缀完全匹配，因此我们在多轮对话中持续构建一个长:而稳定的前缀。
6. 朴素的方法是单独为每轮对话评分并将其发送到合适的模型，这看似合理但会增加支出。
7. 我们的路由器会权衡缓存状态以及任务的难度:对话在缓存温暖时保持其模型，只有当它安静足够长时间:以使TTL过期时，才有机会重新路由。
8. 接下来，我们将在编码框架上深入挖掘，在那里我们拥有最多的信号和灵活性，调整子代理和上下文的管理方式。