基于提供的HC26现场记录,关于Meta MTIA 400 加速卡,核心要点整理如下: · 性能跃升:MTIA 400相比MTIA 300,FP16/BF16算
- 序号:436
- 星球链接:打开网页
- 附件:图片 0,音频 0,文档 0
- 音频文件:无音频
图片
无图片
正文
基于提供的HC26现场记录,关于Meta MTIA 400 加速卡,核心要点整理如下:
· 性能跃升:MTIA 400相比MTIA 300,FP16/BF16算力达3 PFLOPS(5倍),HBM3E带宽约9.4 TB/s(1.5倍),容量提升1.3倍。采用5芯片封装(2计算+1 SoC+2网络),性能提升主要靠架构协同设计(4倍MAC密度、256x256寄存器缓冲、MX4支持),而非堆晶体管数量
· 商业定位:在1500亿参数DLRM生产训练上,仅宣称达到GPU同级水平(未提友商型号),且TCO有竞争力。微基准测试中,前向/后向传播分别有1.87倍/1.88倍加速,但低于设计预期的2.5倍带宽优势,因倾斜输入导致更受缓存和指令限制。
· 互联与存储:72卡规模组网(每计算板4卡),通过RoCE紧耦合,跨机架走PCIe交换机,未转向专有Scale-Up网络。针对最大2TB的嵌入表,采用主机只读缓存+设备级热缓存的层次化方案。
· 后续路线:MTIA 450(专注GenAI推理,HBM带宽翻倍+新低精度数据类型)和MTIA 500(带宽再提50%+更多低精度),但未公布日期、制程或产量。
· 未解悬念:现场最尖锐问题(GenAI训练时稀疏专用硅的利用率)未被回答,官方仅重申自研全栈。此外,片上组播/归约及CPU是否自研也未予明确回应,但确认了ISA向后兼容。
总体总结
主题正文
- 基于提供的HC26现场记录,关于Meta MTIA 400 加速卡,核心要点整理如下:
- · 性能跃升:MTIA 400相比MTIA 300,FP16/BF16算力达3 PFLOPS(5倍),HBM3E带宽约9.4 TB/s(1.5倍),容量提升1.3倍。
- 采用5芯片封装(2计算+1 SoC+2网络),性能提升主要靠架构协同设计(4倍MAC密度、256x256寄存器缓冲、MX4支持),而非堆晶体管数量
- · 商业定位:在1500亿参数DLRM生产训练上,仅宣称达到GPU同级水平(未提友商型号),且TCO有竞争力。
- 微基准测试中,前向/后向传播分别有1.87倍/1.88倍加速,但低于设计预期的2.5倍带宽优势,因倾斜输入导致更受缓存和指令限制。
- · 互联与存储:72卡规模组网(每计算板4卡),通过RoCE紧耦合,跨机架走PCIe交换机,未转向专有Scale-Up网络。
- 针对最大2TB的嵌入表,采用主机只读缓存+设备级热缓存的层次化方案。
- · 后续路线:MTIA 450(专注GenAI推理,HBM带宽翻倍+新低精度数据类型)和MTIA 500(带宽再提50%+更多低精度),但未公布日期、制程或产量。