📑 🤖1，目前国内主要模型公司，蒸馏现状如何？关于模型蒸馏，主要有三点观察。 ✅第一，国内过去在蒸馏技术上的应用非常普遍和深入。 ✅第二，当前 OAI 和 Cl
- 序号：109
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
📑
🤖1，目前国内主要模型公司，蒸馏现状如何？关于模型蒸馏，主要有三点观察。 ✅第一，国内过去在蒸馏技术上的应用非常普遍和深入。 ✅第二，当前 OAI 和 Claude 的反蒸馏措施已颇为有效，其主要效果并非阻止访问，而是将蒸馏方的成本提高了十倍以上，导致经济账需要重算。这一变化也影响了国内专业模型公司的战略。在 OpenAI 和 Anthropic 加强反蒸馏措施后，这些专业模型公司不约而同地将研发重心从大尺寸模型转向了轻量级模型，以应对蒸馏成本的重新评估。 ✅第三，关于 ZJ 自己，存在两个制约因素。其一，蒸馏效果受限于学生模型自身的能力和容量。当前的模型能力要么因处于持续训练中而无稳定版本，无需蒸馏；要么稳定版本的水平较低，没有必要去蒸馏 GPT-6 这类顶级模型。其二，ZJ 自 2025 年初官方已宣布停止蒸馏。后续未再进行大规模蒸馏，主要是因为其模型一直处于训练迭代中。 💰2，模型蒸馏的成本构成是怎样的，以及近期成本显著上升十倍的具体原因是什么？ 📌模型蒸馏的投入主要分为三个环节。第一是购买 API 的直接资金投入，尤其是在账号可能被封禁的情况下，需要持续投入资金开设新账号。第二是人力、算力和时间的投入，这包括研发用于生成高质量提示词的专门模型，以及对提示词进行分析、筛选和管理。第三是工程系统的投入，蒸馏过程需要通过多轮、递归式的提问来深挖目标模型的完整思维链和推理步骤，这会产生海量的交互数据 (每日可达数亿甚至数十亿条)，需要建立相应的大数据管理体系进行处理。 📌在当前 OpenAI 和 Anthropic 的反蒸馏措施下，成本上升最显著的是第一个环节，即 API 购买成本。具体来看：GPT-6 等新模型不再直接展示思维链，甚至取消了模型思考深度的选项。这迫使蒸馏方必须通过更多轮次的提问来还原其思考路径。原先通过 2 到 5 次提问就能获取的信息，现在可能需要 10 次、25 次甚至 30 次，导致 API 调用成本直接上升 5 到 10 倍。同时，账号被封禁的风险也更高。 📌Anthropic 则采取了另一种策略，它会限制用户对单一问题进行刨根问底式的追问。例如，当连续追问一个敏感或复杂话题 (如核武器原理) 到一定深度 (如三至五个问题) 时，账号就可能被封禁。为了规避这一机制，蒸馏方需要在核心问题周围插入大量其他问题进行混淆和掩饰，可能需要用十几个问题来铺垫一个真正想问的问题。这同样大幅增加了 API 的调用量和封号成本。 📌综合来看，仅 API 采购环节的成本就至少上升了 5 倍，甚至超过 10 倍，具体取决于问题的复杂度。第一环节成本的剧增，也相应加重了第二和第三环节在人力、算力及工程系统上的负担。 📈3，如果 OpenAI 等领先公司不再提供 '' 思维链” 等技术捷径，国内模型厂商若要达到同等效果，其研发成本将如何变化？这种变化对国内厂商的研发路径和行业格局可能产生怎样的长期影响？ 🔍若 OpenAI 等公司提高技术门槛，不再提供 '' 思维链” 等便利，国内模型厂商为达到同等效果，其研发过程将变得更为复杂。首先，需要生成更多、连贯性更强的问题，这将直接导致中间环节的投入增加和数据量的激增。其次，工程系统的存储需求和复杂度会随之升高，而当前存储成本依然高昂。综合来看，整体成本将显著上升。对于能力较强的公司，成本增幅预计在五倍以上；而对于能力稍弱的公司，直接的现金成本增幅可能高达十倍。 🔍这种变化将促使国内厂商在发展路径上做出选择。如果部分公司仍倾向于用资金投入换取短期效果的 “捷径”，那么行业受到的影响可能不大。然而，如果领先公司持续抬高技术壁垒，国内公司最终将被迫回归到更扎实、更基础的研发道路上来。届时，行业可能会出现一种新的态势：领先的海外公司 API 收入或许会略有下降，而国内公司的研发成本增速将放缓，研发周期相应拉长，模型迭代速度变慢，但其发展路径会走上正轨。 🏢4，如何看待国内外互联网大厂在模型能力上的表现普遍不及独立的专业模型厂商？这是否源于组织架构或考核机制的差异？展望未来，尤其是在国内市场，字节跳动和阿里巴巴等大厂在算力资源上具备优势，当其模型参数量达到 5T 级别后，国内独立模型厂商是否还能在通用或特定领域保持领先地位？ 🌐在海外，Meta 和 Google 是典型案例。Meta 的 Llama 模型初期与自身业务结合良好，但在看到 OpenAI 等公司的 API 收入快速增长后，其精力被分散，急于进入 API 市场，对模型提出了 '' 既要又要” 的过高要求，导致模型研发节奏被打乱，走了一段弯路，目前才调整回以个人 Agent 为中心的业务节奏。Google 的问题则不同，其技术在 GPT-3 时期已实现，但因模型推理的算力消耗过大而无法商业化，本质上是技术实现与算力成本不匹配的问题。 🌐国内大厂的情况则更为复杂，呈现出一种循环。ZJ 在 2024 年起步阶段就出现战略失误，在大模型本身尚未训练成熟时便急于推出十几个 App。DeepSeek、KIMI 和智谱等公司早在 2023 年之前就已开始深耕训练，阿里巴巴的 '' 通义千问” 本有稳定的技术积累，但后来受 “豆包” 日活数据的吸引，将战略重点转移到应用，影响了自身迭代节奏。腾讯最初认为大模型对其核心业务并非必需，但在发现阿里和字节开始侵蚀其业务根基后，又仓促地进行战略补防，显得较为慌乱。但后期在算力上加码，workbuddy 场景切的很准，有了稳定用户基本盘。 ⚙️5，对于国内的 5T 级别大模型，预计将由独立模型厂商还是大型科技公司率先推出？其技术路径是基于多模态应用驱动还是在算力受限下选择 MoE 架构的结果？ 🔮预计国内的 5T 级别模型大概率会首先由像 KIMI 这样的独立模型公司推出。根据当前了解到的情况，阿里自身的 5T 路径主要体现在 '' 千问 4'' 的多模态输入版本，而非核心的、基于标准 MoE 架构的大语言模型。目前也是 KIMI 在明确地推动其标准大语言模型向 3T 以上参数量发展。DeepSeek 之前也有媒体报道相关进展，KIMI 当前的模型参数量已接近 3T，预计在 2026 年底至 2027 年初，有很大概率能推出一款超过 3T 的标准大语言模型。 🔮阿里在林俊旸离职后，研发节奏受到了一定影响。原计划于 2026 年八九月份发布的” 千问 4” 标准版要对齐 Gemini 能力的目标，从近期云栖大会上透露的模糊信息来看，其多模态标准输入能否实现存在疑问。预计在 10 月下旬 '' 千问 4'' 正式开放后，可能会呈现两种情况：其文本方向的模型参数量大约在 3T 上下；而其多模态输入分支版本，若能实现，根据模型结构推断，参数量将接近 5T。不过，其标准文本模型在未来三到四个月内，很有可能被 KIMI 反超。 🔮DeepSeek 方面，如果进展顺利的话，预计在 2026 年 12 月可以发布参数量超过 2T 的标准大语言模型，最乐观的情况下可能达到 2.8T 或 3T；若进展不顺，则可能在 2T 至 2.2T 之间。
总体总结
主题正文
- 届时，行业可能会出现一种新的态势：领先的海外公司 API 收入或许会略有下降，而国内公司的研发成本增速将放缓，研发周期相应拉长，模型迭代速度变慢，但其发展路径会走上正轨。
- 展望未来，尤其是在国内市场，字节跳动和阿里巴巴等大厂在算力资源上具备优势，当其模型参数量达到 5T 级别后，国内独立模型厂商是否还能在通用或特定领域保持领先地位？
- Meta 的 Llama 模型初期与自身业务结合良好，但在看到 OpenAI 等公司的 API 收入快速增长后，其精力被分散，急于进入 API 市场，对模型提出了 '' 既要又要” 的过高要求，导致模型研发节奏被打乱，走了一段弯路，目前才调整回以个人 Agent 为中心的业务节奏。
- DeepSeek、KIMI 和智谱等公司早在 2023 年之前就已开始深耕训练，阿里巴巴的 '' 通义千问” 本有稳定的技术积累，但后来受 “豆包” 日活数据的吸引，将战略重点转移到应用，影响了自身迭代节奏。
- 根据当前了解到的情况，阿里自身的 5T 路径主要体现在 '' 千问 4'' 的多模态输入版本，而非核心的、基于标准 MoE 架构的大语言模型。
- DeepSeek 之前也有媒体报道相关进展，KIMI 当前的模型参数量已接近 3T，预计在 2026 年底至 2027 年初，有很大概率能推出一款超过 3T 的标准大语言模型。
- 预计在 10 月下旬 '' 千问 4'' 正式开放后，可能会呈现两种情况：其文本方向的模型参数量大约在 3T 上下；
- 🔮DeepSeek 方面，如果进展顺利的话，预计在 2026 年 12 月可以发布参数量超过 2T 的标准大语言模型，最乐观的情况下可能达到 2.8T 或 3T；