专家要点 1. 开源模型正在缩小差距 在成本降低、性能提升的推动下,开源模型追赶前沿顶尖模型的速度超出预期。 从第二季度开始,客户逐渐以开源替代方案(例如 Qw
- 序号:247
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
专家要点
- 开源模型正在缩小差距 在成本降低、性能提升的推动下,开源模型追赶前沿顶尖模型的速度超出预期。 从第二季度开始,客户逐渐以开源替代方案(例如 Qwen 系列模型,如 Composer 2.5)取代 Anthropic 和 OpenAI 的模型。 这一转变最初涉及工具调用和模型上下文协议(MCP)等基础任务,如今已扩展到低层级的智能体编排,例如并行代码搜索。
- 算力容量与延迟瓶颈 GPU 容量限制了需求的满足,部分公司的流量增长了 5 倍。 美国的容量短缺尤为严重,由于严格的延迟要求,公司无法将工作负载转移到供应充足的海外地区,例如新加坡、马来西亚和澳大利亚。
- 云服务提供商生态动态 AWS、GCP、Azure 和 Oracle 服务可靠,但价格昂贵,要求长期承诺,期限在 3 年以上,且无法立即提供最新一代硬件,例如 NVIDIA B300。 由于成本灵活,公司将 80%‑90% 的算力托管在新兴云服务商,如 CoreWeave、Lambda Labs、Nebius。然而,新兴云服务商存在可靠性问题,例如网络故障或者 Blackwell 过热造成 GPU 意外掉线,需要持续投入工程资源维护集群稳定性。 租赁 GPU 机柜的小型运营商,通常规模约 4000 块 GPU,试图在 1‑2 年内收回投资。但实际上,受限于云管理能力、基础设施维护水平以及运营专业能力不足,这些设备往往无法投入使用。
- 供应动态与行业瓶颈 尽管 NVIDIA 持续扩大 GPU 产能,但美国真正的制约因素是电力供应与数据中心基础设施,并非 GPU 实物供给。 头部模型开发机构以及手握闲置产能的市场参与者,已经开始直接对外出租闲置的 GPU 集群。
- 付款条款与财务结构 美国本土的新兴云服务商一般要求客户预付 20%‑30% 款项,剩余部分按月度或者季度结算;如果出现服务等级协议违约、流量中断,客户可以在合同到期后协商获取返利。 亚太地区服务商的合作条款相对宽松,不需要客户支付预付款。
总体总结
主题正文
- 从第二季度开始,客户逐渐以开源替代方案(例如 Qwen 系列模型,如 Composer 2.5)取代 Anthropic 和 OpenAI 的模型。
- GPU 容量限制了需求的满足,部分公司的流量增长了 5 倍。
- 美国的容量短缺尤为严重,由于严格的延迟要求,公司无法将工作负载转移到供应充足的海外地区,例如新加坡、马来西亚和澳大利亚。
- AWS、GCP、Azure 和 Oracle 服务可靠,但价格昂贵,要求长期承诺,期限在 3 年以上,且无法立即提供最新一代硬件,例如 NVIDIA B300。
- 由于成本灵活,公司将 80%‑90% 的算力托管在新兴云服务商,如 CoreWeave、Lambda Labs、Nebius。
- 然而,新兴云服务商存在可靠性问题,例如网络故障或者 Blackwell 过热造成 GPU 意外掉线,需要持续投入工程资源维护集群稳定性。
- 租赁 GPU 机柜的小型运营商,通常规模约 4000 块 GPU,试图在 1‑2 年内收回投资。
- 美国本土的新兴云服务商一般要求客户预付 20%‑30% 款项,剩余部分按月度或者季度结算;