🔢GPT 6 Astra 估计拥有约 1.2T 活跃参数和约 10T 总参数。 📄报告显示，GPT‑5.5（代号 Spud）的预训练于 3 月 24 日在 Ab

• 序号：175
• 星球链接：打开网页
• 附件：图片 0，音频 0，文档 0
• 音频文件：无音频

图片

无图片

正文

🔢GPT 6 Astra 估计拥有约 1.2T 活跃参数和约 10T 总参数。 📄报告显示，GPT‑5.5（代号 Spud）的预训练于 3 月 24 日在 Abilene 校区结束。Astra 的预训练运行（Doug）在那之后接管了该集群，OpenAI 确认数学结果是由 Astra 的内部版本于 8 月 1 日实现的。因此，预训练大致从 3 月下旬运行到 6 月下旬 / 7 月初，即约 90‑110 天。 🖥️Abilene 的运营规模截至 2026 年 5 月约为 150000 至 200000 个 GPU，其中推理共享该站点。因此，运行的 ">100K" 意味着 100 至 150k 个 GPU。 📢大约 8 月 25 日，有信息流传称 OpenAI 已完成一个名为 “Bel” 的基础模型，参数超过 10 万亿，是 Doug 的继任者。Bel 于约 8 月 25 日完成，但 Astra 已在 8 月 1 日进行数学计算，因此 Astra 几乎肯定基于 Doug，而 Bel 是后续模型。 🧮仅预训练的计算量是：120k GPU × 2.25e15（BF16）× 0.30 MFU × 100 天 ≈7e26 FLOP。根据 FP8 和 MFU 的不同，范围为 4e26 至 1.5e27。 ⏱️整个 100 天用于预训练，这现在是可信的，因为 RL 在之后运行（根据 Vellum/CNBC 报道，大型 RL 运行于 8 月重启）。 📊现在数据墙开始发挥真正作用。求解 N_active = C / (6・D)：Tokens D 为 40T 时，7e26 算力下的 N_active 为 2.9T；Tokens D 为 60T 时，7e26 算力下的 N_active 为 1.9T；Tokens D 为 80T 时，7e26 算力下的 N_active 为 1.5T；Tokens D 为 100T 时，7e26 算力下的 N_active 为 1.2T。 📚现实的 2026 年语料库（包括合成数据和重复）上限约为 60‑100T，因此活跃参数落在 1 至 2T 之间。即使在保守的 4e26 端使用 80T tokens，也能得到约 830B 活跃参数。 💴Astra 的输出定价为 50 美元 / 百万 token（62 t/s），相比 Sol 的 30 美元 / 百万，价格上涨 1.7 倍，这与相比前代模型活跃参数增加约 1.5 至 2.5 倍一致，而不是 10 倍跃升。大致如此，但这反驳了 > 2T 的上限。 ✅活跃参数：约 1T‑1.5T（中心值约 1.2T） 📌总参数：假设 8‑12x MoE 稀疏度约为 10‑14T（GPT‑4 的泄露比例约为 6.5x；现代大型 MoE 运行 10x+）。

总体总结

主题正文

1. Astra 的预训练运行（Doug）在那之后接管了该集群，OpenAI 确认数学结果是由 Astra 的内部版本于 8 月 1 日实现的。
2. 🖥️Abilene 的运营规模截至 2026 年 5 月约为 150000 至 200000 个 GPU，其中推理共享该站点。
3. 📢大约 8 月 25 日，有信息流传称 OpenAI 已完成一个名为 “Bel” 的基础模型，参数超过 10 万亿，是 Doug 的继任者。
4. Bel 于约 8 月 25 日完成，但 Astra 已在 8 月 1 日进行数学计算，因此 Astra 几乎肯定基于 Doug，而 Bel 是后续模型。
5. 🧮仅预训练的计算量是：120k GPU × 2.25e15（BF16）× 0.30 MFU × 100 天 ≈7e26 FLOP。
6. ⏱️整个 100 天用于预训练，这现在是可信的，因为 RL 在之后运行（根据 Vellum/CNBC 报道，大型 RL 运行于 8 月重启）。
7. 求解 N_active = C / (6・D)：Tokens D 为 40T 时，7e26 算力下的 N_active 为 2.9T；
8. 💴Astra 的输出定价为 50 美元 / 百万 token（62 t/s），相比 Sol 的 30 美元 / 百万，价格上涨 1.7 倍，这与相比前代模型活跃参数增加约 1.5 至 2.5 倍一致，而不是 10 倍跃升。