OpenAI 发现可将推理成本减半的新方法 我们密切关注着 Anthropic、谷歌和 OpenAI 为获取更多服务器芯片以运行模型所作的努力，但人们往往忽略了
- 序号：527
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
OpenAI 发现可将推理成本减半的新方法 我们密切关注着 Anthropic、谷歌和 OpenAI 为获取更多服务器芯片以运行模型所作的努力，但人们往往忽略了一个关键事实：这些企业正在千方百计挖掘现有服务器的算力，以提升运行效率。 据知情人士透露，在本月一个此前未被报道的案例中，OpenAI 工程师告诉同事们，他们已经找到了将推理（即运行现有模型）成本降低逾一半的方法，这一方案基于一些新发现的优化技术。 当工程师们将这些新技术应用于为没有免费或付费账户的访客运行 ChatGPT 时，所需的英伟达图形处理器数量一度降至仅几百块——这是一个小到令人震惊的数字。（不过，OpenAI 这类用户的用量可能不大，因为公司限制了他们通过这种方式使用聊天机器人的频率。） 目前尚不清楚 OpenAI 是通过何种技术实现这些效率改进的，可能包括量化技术、键值缓存（即帮助模型记住先前计算产生的信息以避免重复运算）、批量处理查询而非逐个请求，以及将部分查询路由至功耗更低的模型或模型子模块等方案。 而 OpenAI 本月发现的这些方案，可能在今年晚些时候、公司开发参数规模更大的模型时影响较小，因为大型模型往往运行成本更高。 然而，这些推理优化方案（竞争对手 Anthropic 称之为“计算倍增器”）已成为各大实验室的主要关注领域。Anthropic 首席执行官达里奥·阿莫代伊至少从 2023 年年中起就公开讨论过这个概念。当时他在播客中表示，公司会限制“知晓给定计算倍增器的人数”，因为如果其他 AI 实验室能够复制这种方案，可能会获得竞争优势。（计算倍增器也可指模型训练阶段的效率优化。） 这些优化措施尤其重要，因为大型 AI 开发企业正面临服务器短缺的困境，即便成功签署构建或租赁新数据中心的合同，从设计到投入运行往往需要数月甚至数年。（OpenAI 同时正在与博通合作开发专用芯片，旨在进一步降低推理成本；这种芯片专为运行模型而设计，目标是比使用英伟达芯片更便宜。） OpenAI 近期的优化引发了一个问题：其会如何处理节省下来的成本？一方面，公司可以通过增加 ChatGPT 订阅用户的查询次数，或降低其在应用程序接口中向开发者出售模型的成本，将节省的成本让利给客户。（如今，旧模型的成本已只有最初成本的一小部分，部分原因正是推理优化。） 这或许有助于巩固其作为更具成本效益模型供应商的声誉，尤其是在其竞争对手 Anthropic 近期因其模型成本相对较高而受到批评之际（尽管这些模型产出的结果更好）。 或者，OpenAI 可以利用节省下来的成本来改善其毛利率，而毛利率在很大程度上反映了推理计算成本。今年第一季度，OpenAI 的毛利率为 39%，较一年前的 33% 有所改善，但距离其希望在今年年底达到 58% 毛利率仍有很大差距。 要达到这一目标，OpenAI 需要在今年剩余时间内平均实现更高的 50%+ 毛利率。Anthropic 今年上半年销售一度激增，预计将使其旗下公司本季度实现意外盈利，这显示出一切顺利时利润率变化的速度有多快。 目前 OpenAI 并不具备这样的定价权，但新的推理优化将使其更容易获得更好的利润率。
总体总结
主题正文
- 我们密切关注着 Anthropic、谷歌和 OpenAI 为获取更多服务器芯片以运行模型所作的努力，但人们往往忽略了一个关键事实：这些企业正在千方百计挖掘现有服务器的算力，以提升运行效率。
- 据知情人士透露，在本月一个此前未被报道的案例中，OpenAI 工程师告诉同事们，他们已经找到了将推理（即运行现有模型）成本降低逾一半的方法，这一方案基于一些新发现的优化技术。
- 目前尚不清楚 OpenAI 是通过何种技术实现这些效率改进的，可能包括量化技术、键值缓存（即帮助模型记住先前计算产生的信息以避免重复运算）、批量处理查询而非逐个请求，以及将部分查询路由至功耗更低的模型或模型子模块等方案。
- 而 OpenAI 本月发现的这些方案，可能在今年晚些时候、公司开发参数规模更大的模型时影响较小，因为大型模型往往运行成本更高。
- 然而，这些推理优化方案（竞争对手 Anthropic 称之为“计算倍增器”）已成为各大实验室的主要关注领域。
- 这或许有助于巩固其作为更具成本效益模型供应商的声誉，尤其是在其竞争对手 Anthropic 近期因其模型成本相对较高而受到批评之际（尽管这些模型产出的结果更好）。
- 今年第一季度，OpenAI 的毛利率为 39%，较一年前的 33% 有所改善，但距离其希望在今年年底达到 58% 毛利率仍有很大差距。
- Anthropic 今年上半年销售一度激增，预计将使其旗下公司本季度实现意外盈利，这显示出一切顺利时利润率变化的速度有多快。