- SemiAnalysis发布对OpenAI自研推理ASIC芯片Jalapeño的深度分析报告。核心观点包括:1)Jalapeño是一款通用推理芯片(非专为O
- 序号:548
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
- SemiAnalysis发布对OpenAI自研推理ASIC芯片Jalapeño的深度分析报告。核心观点包括:1)Jalapeño是一款通用推理芯片(非专为OpenAI模型定制),在能效比(tokens/s/MW)上击败了英伟达Blackwell,甚至超越了采用HBM4的Vera Rubin;2)采用与Broadcom合作设计,仅16个月即完成从团队组建到流片,开发速度惊人;3)使用HBM4内存(15.4TB/s带宽)、MXFP4数值格式、权重固定脉动阵列,TSMC N3P工艺,B0步进已达13.4 PFLOPs;4)采用软硬件深度协同设计,硬件软件团队从零开始,CUDA护城河可能被打破;5)未采用预填充-解码分离架构,选择同质化芯片池以适应工作负载变化;6)量产将于2027年逐步爬坡,对英伟达、AMD、Cerebras等芯片厂商构成实质性威胁。
SemiAnalysis于2026年8月25日发布重磅报告,对OpenAI自研推理ASIC芯片"Jalapeño"(墨西哥辣椒)进行了深度分析。报告核心结论是:,这对整个AI芯片行业格局具有深远影响。 报告打破了一个常见误解——Jalapeño并非专为OpenAI自家模型优化的"特化芯片",而是一款,能够在各类模型和工作负载上提供高性能。其成功源于极致的(hardware-software co-design),以及充分利用AI(Codex)来加速芯片设计和内核开发。
一、开发速度与背景 :OpenAI与Broadcom合作,从零开始设计 :从2024年中期开始团队组建到2025年11月CoWoS流片,仅约 :通常第一代ASIC难以与成熟GPU竞争,但OpenAI打破了这一规律 :目前仅有工程样品,量产将于2027年逐步爬坡 二、关键架构规格 参数规格 工艺 TSMC N3P(计算芯片)+ N3E(I/O chiplet) 算力 B0步进:13.4 PFLOPs(MXFP4,单个reticle-sized计算芯片) 内存 HBM4,15.4TB/s带宽(推测由三星供货) TDP 700W(低于Rubin的900-1,150W) I/O 32通道800G SerDes 互联 PCIe Gen 5连接x86主机 三、能效比(Perf/W)表现 :在几乎所有场景下,Jalapeño的perf/W击败Blackwell : 即使Rubin使用MTP(多token预测),Jalapeño仅用STP(单token预测)即在输出token吞吐量/MW上超越Rubin 在perf/TCO(总拥有成本)上,Jalapeño与Vera Rubin几乎持平 若Jalapeño未来加入推测解码(speculative decoding),成本优势将进一步扩大(推测解码可带来3倍以上成本下降) 四、设计理念创新
- 通用化而非特化 不针对特定模型优化,追求全场景高性能 ,因为数据中心受限于电力而非预算或空间
- 不采用预填充-解码分离(PDD) 工作负载的输入/输出/cache命中率等比例随时间变化 固定异构的prefill和decode芯片池会导致效率低下 选择应对工作负载波动
- 简化的内存子系统 核心和HBM分为多个slice,每个核心slice对其本地HBM slice有低延迟视图 slice间通过专用高带宽集合网络同步 避免了GPU复杂内存系统的大延迟问题
- 乱序执行核心 与其他加速器普遍采用软件管理scratchpad不同 采用带L1缓存的 消除固定开销(如barrier延迟) 依赖良好的预取(prefetching),由Codex自动优化
- 软件栈 使用自定义内核编程语言(基于Triton) 引入(布局代数)——OpenAI发明的形式化布局方法 内部服务引擎名为**"Teacup"** 内核采用"megakernel"(巨型内核)方法,单个内核在设备上循环以减少CPU开销 五、机架系统架构 :16个主机托盘,每个配备2颗AMD Turin EPYC CPU、1.5TB DRAM :16个托盘,每托盘8个Jalapeño ASIC,共128个ASIC/机架 :8个(6个本地+2个全局),使用Broadcom Tomahawk 6交换机 :约160kW/两机架系统(与GB300双宽机架相当) :最多2,048个XPU(16机架),全局域采用Optical Circuit Switches(OCS) :Celestica 六、AI驱动的开发 AI辅助芯片设计带来: SIMD面积减少8% 矩阵引擎面积减少10% 时序和功耗改善 Codex能够在无人工干预下快速写出功能性和高效的内核 仿真器"chilisim"准确度达实测硬件的5%以内 8天内从TP8扩展到TP32配置,展现极快迭代能力 七、模型测试结果 :低并发场景下超过700 tokens/sec/user :约700 tok/s/user,比次优芯片高9倍 :约1,400 tok/sec/user,同等交互性吞吐量/MW是GB200最高点的近2倍,concurrency 1时是GB200的50倍以上
本报告并非针对单一公司的个股评级报告,因此。然而,报告对芯片行业格局的影响如下: :Jalapeño的成功预示着前沿AI实验室自研芯片可与英伟达GPU正面竞争,"CUDA护城河"可能正在被打破。Rubin软件成熟度仍不及Jalapeño,反映出硬件/软件协同设计的力量。 :与英伟达面临类似的竞争压力,其GPU优势在定制ASIC面前可能被侵蚀。 :作为另一家AI芯片厂商,可能同样面临定制ASIC的冲击。 :作为Jalapeño的设计合作伙伴,是该趋势的主要受益者。 :报告指出,其AI ASIC项目多年未取得成功,说明成本只是方程式的一部分——人才和软硬件协同能力同样关键。
:所有性能数据由OpenAI提供,SemiAnalysis仅在实验室验证了InferenceX部分测试,未运行完整基准测试套件,也未看到AgentX(更适合评估真实生产负载的多轮长上下文测试)的结果。 :测试的模型(DeepSeek R1、Kimi K2.5、GPT-OSS)并非"开放前沿"的最新最大模型。随着模型规模增大,在新芯片上的bring-up难度也会增加。 :与Blackwell的对比不够公平,因为Jalapeño真正应该对标的是同样采用HBM4的Rubin。当前Jalapeño为A0步进(早期版本),B0步进已在流片中,预计带来约25%的perf/W提升。 :Jalapeño目前仅有工程样品,2027年量产爬坡过程中的良率、可靠性、部署速度等仍存在不确定性。SemiAnalysis提到正与数据中心合作伙伴收集可靠性数据。 :尽管当前软件进展迅速,但在大规模生产环境中可能出现预料之外的问题;OpenAI的无缝PDD替代方案是否能在所有负载下保持效率仍待验证。 :A0步进的B0优化改进基于模拟和早期测试,尚未在实际硬件上得到充分验证。 :SemiAnalysis表示对英伟达、AMD、Cerebras及其他与OpenAI签订交易的芯片公司的具体影响分析在付费墙之后,这意味着行业冲击的全面评估尚未完全公开。
总体总结
主题正文
- 核心观点包括:1)Jalapeño是一款通用推理芯片(非专为OpenAI模型定制),在能效比(tokens/s/MW)上击败了英伟达Blackwell,甚至超越了采用HBM4的Vera Rubin;
- SemiAnalysis于2026年8月25日发布重磅报告,对OpenAI自研推理ASIC芯片"Jalapeño"(墨西哥辣椒)进行了深度分析。
- 报告核心结论是:,这对整个AI芯片行业格局具有深远影响。
- 若Jalapeño未来加入推测解码(speculative decoding),成本优势将进一步扩大(推测解码可带来3倍以上成本下降)
- :约1,400 tok/sec/user,同等交互性吞吐量/MW是GB200最高点的近2倍,concurrency 1时是GB200的50倍以上
- :所有性能数据由OpenAI提供,SemiAnalysis仅在实验室验证了InferenceX部分测试,未运行完整基准测试套件,也未看到AgentX(更适合评估真实生产负载的多轮长上下文测试)的结果。
- 当前Jalapeño为A0步进(早期版本),B0步进已在流片中,预计带来约25%的perf/W提升。
- :SemiAnalysis表示对英伟达、AMD、Cerebras及其他与OpenAI签订交易的芯片公司的具体影响分析在付费墙之后,这意味着行业冲击的全面评估尚未完全公开。