--- title: "【东方通信-半导体】6.21周观点：模型不停，硬件不止 1、Fable 5/ Mythos 5延续scaling law。Mythos 5的总参数规模走向10T" topic_id: 14422414224554512 created_at: 2026-06-21T20:00:53.382+0800 source: zsxq type: topic cssclasses: zsxq-vault --- # 【东方通信-半导体】6.21周观点：模型不停，硬件不止 1、Fable 5/ Mythos 5延续scaling law。Mythos 5的总参数规模走向10T - 序号：107 - 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/14422414224554512) - 附件：图片 0，音频 0，文档 0 - 音频文件：_无音频_ ## 图片 _无图片_ ## 正文 【东方通信-半导体】6.21周观点：模型不停，硬件不止 1、Fable 5/ Mythos 5延续scaling law。Mythos 5的总参数规模走向10T，相比Opus 4.8（1-2T）提升约5倍；并采用大MOE架构，专家数量到约256个，推理激活参数约500B-1T，使其在长程任务、Agent、科学任务等能力大幅提升。Anthropic与Amazon在2026年4月公告称，已使用超过100万颗Trainium2芯片训练和服务Claude，并通过Amazon合作获得最高5GW级别的未来算力。通过更多的参数获得更好的模型效果，scaling law仍在延续。 2、大MOE模型推动AI 组网走向rack间的scale up。按照LLM预训练 FLOPs≈6 x 激活参数量 x 训练Token数，10T MOE训练周期60天，MFU为35%，其训练过程对算力需求约5万张B200，或者30万张Trainium2。 大MOE模型训练的需求变化，催生机柜间的scale up。对于10T MoE模型，可能有128–256个专家，每个token激活4–8个专家。训练时token会被路由到不同专家，GPU之间需要频繁交换激活参数，其通信模式比普通dense模型更复杂。NVL576 scale up的核心价值是：把更多专家、更大的张量并行组、更长上下文训练放在同一个高速GPU岛里，从而减少跨机柜通信开销。 几乎所有的GPU芯片都在开发rack间的scale up网络。华为 384、NVL 576/1152、TPU 3D Torus、Trainium、Maia等网络结构都是rack 间的scale up网络。在NVL 576/1152网络中，GPU:OE比例将达到1:40，意味着1000万颗GPU，将配比4亿个OE。 3、Fable 5/Mythos 5被美列入出口管制范围，国产AI模型、芯片、制造、应用将举国建立新的产业体系。6月18日，商务部等8部门发布《》，提出17项措施，方向包括AI商品消费、服务消费、商业创新和推广应用。制裁与管制会加强政策扶持，人工智能全产业链发展仍是坚定不移的基本方向。 结论： ①大MOE模型推动scale up和scale out集群规模扩大，NV等rack间的scale up网络拉动CPO、3.2T/6.4T NPO需求，TPU 3D Torus的scale up拉动2.4T 轻相干需求。 旭创、天通 ②推荐国产AI模型、芯片、制造，布局国家级别战略资产。 寒武纪、芯原、华虹 ## 总体总结 主题正文 1. 并采用大MOE架构，专家数量到约256个，推理激活参数约500B-1T，使其在长程任务、Agent、科学任务等能力大幅提升。 2. Anthropic与Amazon在2026年4月公告称，已使用超过100万颗Trainium2芯片训练和服务Claude，并通过Amazon合作获得最高5GW级别的未来算力。 3. 按照LLM预训练 FLOPs≈6 x 激活参数量 x 训练Token数，10T MOE训练周期60天，MFU为35%，其训练过程对算力需求约5万张B200，或者30万张Trainium2。 4. NVL576 scale up的核心价值是：把更多专家、更大的张量并行组、更长上下文训练放在同一个高速GPU岛里，从而减少跨机柜通信开销。 5. 华为 384、NVL 576/1152、TPU 3D Torus、Trainium、Maia等网络结构都是rack 间的scale up网络。 6. 在NVL 576/1152网络中，GPU:OE比例将达到1:40，意味着1000万颗GPU，将配比4亿个OE。 7. 3、Fable 5/Mythos 5被美列入出口管制范围，国产AI模型、芯片、制造、应用将举国建立新的产业体系。 8. ①大MOE模型推动scale up和scale out集群规模扩大，NV等rack间的scale up网络拉动CPO、3.2T/6.4T NPO需求，TPU 3D Torus的scale up拉动2.4T 轻相干需求。