👤 SemiAnalysis @SemiAnalysis_ 🚀 🤖 智能体工作负载具备四项特征： 🟡 多轮次：单次会话包含数十甚至上百轮交互，带来很高的 KV
- 序号：068
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
👤 SemiAnalysis @SemiAnalysis_ 🚀 🤖 智能体工作负载具备四项特征： 🟡 多轮次：单次会话包含数十甚至上百轮交互，带来很高的 KV 缓存复用潜力。 🟡 长上下文：系统提示词、工具定义，以及大量轮次交互，会让上下文信息快速累积。 🟡 高前缀复用：对话线性推进，第 n-1 轮输出一般会拼接至第 n 轮，大部分上下文可以直接读取 KV 缓存，无需重新计算（该特性取决于存储 KV 张量的可用存储空间）。随着轮次 n 不断增加，缓存输入占未缓存输入的比例会逐步趋近于 1。 🟡 子代理突发：单次会话会启动多个生命周期很短的子智能体，每个子智能体都带有全新上下文，会产生突发性的 KV 缓存负载模式。
👤 Aaron Levie @levie 🤖 智能体已经占据了推理的大多数。在未来一两年内，这一趋势将迅速演变为几乎全部推理。 🤖 全球使用的绝大多数 token 都将由智能体消耗，它们全天候 24 小时在后台为我们执行数量惊人的任务。 🤖 智能体将会被部署，读取所有代码变更以保障我们软件的安全，在工作流中处理我们全部的数据，处理招聘与客户拓展环节里绝大部分调研工作，审查全球每一套系统产生的全部事件流与日志，走入我们的个人生活，替我们执行各类任务，还有数百种其他落地场景。 🤖 新上线智能体的速度并未放缓，它们会消耗海量 token。就在过去一周，我搭建了多个全新工作流，这些工作流在一个月前在技术层面还无法实现。 🤖 当下正是投身推理业务、并在此基础上进行开发的绝佳时代。
总体总结
主题正文
- 🟡 多轮次：单次会话包含数十甚至上百轮交互，带来很高的 KV 缓存复用潜力。
- 🟡 长上下文：系统提示词、工具定义，以及大量轮次交互，会让上下文信息快速累积。
- 🟡 高前缀复用：对话线性推进，第 n-1 轮输出一般会拼接至第 n 轮，大部分上下文可以直接读取 KV 缓存，无需重新计算（该特性取决于存储 KV 张量的可用存储空间）。
- 随着轮次 n 不断增加，缓存输入占未缓存输入的比例会逐步趋近于 1。
- 🟡 子代理突发：单次会话会启动多个生命周期很短的子智能体，每个子智能体都带有全新上下文，会产生突发性的 KV 缓存负载模式。
- 🤖 全球使用的绝大多数 token 都将由智能体消耗，它们全天候 24 小时在后台为我们执行数量惊人的任务。
- 🤖 智能体将会被部署，读取所有代码变更以保障我们软件的安全，在工作流中处理我们全部的数据，处理招聘与客户拓展环节里绝大部分调研工作，审查全球每一套系统产生的全部事件流与日志，走入我们的个人生活，替我们执行各类任务，还有数百种其他落地场景。
- 就在过去一周，我搭建了多个全新工作流，这些工作流在一个月前在技术层面还无法实现。