在基于代理的人工智能中,CPU才是瓶颈,而非GPU。 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。佐治亚理工学院和$INTC将五个生
- 序号:319
- 星球链接:打开网页
- 附件:图片 2,音频 0,文档 0
- 音频文件:无音频
图片
1525588845188822

8858811128411112

正文
在基于代理的人工智能中,CPU才是瓶颈,而非GPU。 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。佐治亚理工学院和$INTC将五个生产级代理连接到真实硬件上,并对每个步骤进行了计时。延迟究竟耗费在何处。
RAG检索。CPU文档搜索占总延迟的83%至89%。 SWE-Agent编码。CPU 用于Bash和Python执行的占比为38% 至 65%. 基于Web的增强型代理。CPU摘要处理占总时间的40%至55%. ChemCrow化学。在复杂分子上,CPU构象生成率达到85%至88%. 随后,他们换上了H200一-英伟达最昂贵的GPU。CPU占用率非但没有改善,反而更加恶化。在SWE-Agent测试中,该数值从38%攀升至65%。GPU部分的计算速度加快,反而让CPU的等待时间显得更加突出。 每次英伟达的升级都会拉大差距。 这就是为什么英特尔首席财务官告诉分析师,未满足的CPU需求“以B开头”。他们有数十亿美元的订单却无法发货。
总体总结
主题正文
- 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。
- 佐治亚理工学院和$INTC将五个生产级代理连接到真实硬件上,并对每个步骤进行了计时。
- CPU 用于Bash和Python执行的占比为38% 至 65%.
- 在复杂分子上,CPU构象生成率达到85%至88%.
- 随后,他们换上了H200一-英伟达最昂贵的GPU。
- CPU占用率非但没有改善,反而更加恶化。
- 在SWE-Agent测试中,该数值从38%攀升至65%。
- 他们有数十亿美元的订单却无法发货。