在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出
- 序号：448
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出服务。 我们将所有内容通过我们自己的网关路由:这是一个单:一的端点和格式，适用于数十种模型，跨提供商故障转:移、数据擦除、日志记录和成本控制都会在任何内容到达供应商之前应用。 我们从更便宜的默认设置和缓存开始。91%的员工没有达到他们的使用上限。我们没有降低上限，而是设置了更便宜的模型默认值来削减支出。缓存需要更多工作来:确保在每个工具和模型系列中保持一致。缓存命中需要:前缀完全匹配，因此我们在多轮对话中持续构建一个长:而稳定的前缀。每个请求仅为新令牌支付全额费用，并:从缓存中读取其余部分。 我们的路由也考虑了缓存。朴素的方法是单独为每轮对话评分并将其发送到合适的模型，这看似合理但会增加支出。缓存是按模型的，因此对话中途切换会使缓存失效。我们的路由器会权衡缓存状态以及任务的难度:对话在缓存温暖时保持其模型，只有当它安静足够长时间:以使TTL过期时，才有机会重新路由。一旦发生，路由:器就可以自由选择任务的最佳模型。 这些改进发生在网关层面，因此适用于每个团队和工具。接下来，我们将在编码框架上深入挖掘，在那里我们拥有最多的信号和灵活性，调整子代理和上下文的管理方式。
总体总结
主题正文
- 在@coinbase，我们本季度的AI支出下降了近一半，而令牌使用量持续攀升。
- 我的团队构建了其背后的基础设:施:路由、缓存、更便宜的默认设置，以及跟踪支出的支出服务。
- 我们将所有内容通过我们自己的网关路由:这是一个单:一的端点和格式，适用于数十种模型，跨提供商故障转:移、数据擦除、日志记录和成本控制都会在任何内容到达供应商之前应用。
- 91%的员工没有达到他们的使用上限。
- 缓存命中需要:前缀完全匹配，因此我们在多轮对话中持续构建一个长:而稳定的前缀。
- 朴素的方法是单独为每轮对话评分并将其发送到合适的模型，这看似合理但会增加支出。
- 我们的路由器会权衡缓存状态以及任务的难度:对话在缓存温暖时保持其模型，只有当它安静足够长时间:以使TTL过期时，才有机会重新路由。
- 接下来，我们将在编码框架上深入挖掘，在那里我们拥有最多的信号和灵活性，调整子代理和上下文的管理方式。