在基于代理的人工智能中,CPU才是瓶颈,而非GPU。 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。佐治亚理工学院和$INTC将五个生

图片

1525588845188822

12001200

8858811128411112

12001200

正文

在基于代理的人工智能中,CPU才是瓶颈,而非GPU。 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。佐治亚理工学院和$INTC将五个生产级代理连接到真实硬件上,并对每个步骤进行了计时。延迟究竟耗费在何处。

RAG检索。CPU文档搜索占总延迟的83%至89%。 SWE-Agent编码。CPU 用于Bash和Python执行的占比为38% 至 65%. 基于Web的增强型代理。CPU摘要处理占总时间的40%至55%. ChemCrow化学。在复杂分子上,CPU构象生成率达到85%至88%. 随后,他们换上了H200一-英伟达最昂贵的GPU。CPU占用率非但没有改善,反而更加恶化。在SWE-Agent测试中,该数值从38%攀升至65%。GPU部分的计算速度加快,反而让CPU的等待时间显得更加突出。 每次英伟达的升级都会拉大差距。 这就是为什么英特尔首席财务官告诉分析师,未满足的CPU需求“以B开头”。他们有数十亿美元的订单却无法发货。

总体总结

主题正文

  1. 在人工智能代理的运行时间中,多达90.6%的时间里,GPU处于空闲状态。
  2. 佐治亚理工学院和$INTC将五个生产级代理连接到真实硬件上,并对每个步骤进行了计时。
  3. CPU 用于Bash和Python执行的占比为38% 至 65%.
  4. 在复杂分子上,CPU构象生成率达到85%至88%.
  5. 随后,他们换上了H200一-英伟达最昂贵的GPU。
  6. CPU占用率非但没有改善,反而更加恶化。
  7. 在SWE-Agent测试中,该数值从38%攀升至65%。
  8. 他们有数十亿美元的订单却无法发货。