--- title: "持续学习产业更新-0813 ❶持续学习（aka Test-Time Training）本周在产业里开始升温， 7月底SSI宣布与NVIDIA达成长期战略合作、计" topic_id: 82255158558421812 created_at: 2026-08-13T22:18:19.411+0800 source: zsxq type: topic cssclasses: zsxq-vault --- # 持续学习产业更新-0813 ❶持续学习（aka Test-Time Training）本周在产业里开始升温， 7月底SSI宣布与NVIDIA达成长期战略合作、计 - 序号：038 - 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/82255158558421812) - 附件：图片 0，音频 0，文档 0 - 音频文件：_无音频_ ## 图片 _无图片_ ## 正文 持续学习产业更新-0813 ❶持续学习（aka Test-Time Training）本周在产业里开始升温， 7月底SSI宣布与NVIDIA达成长期战略合作、计划将算力扩充10倍，Ilya Sutskever（SSI创始人、OpenAI前首席科学家）罕见表态"已有值得进一步规模化的研究成果"；上周北美知名投资人Gavin Baker在播客节目中称SSI可能8月发布首款模型； ❷结合Ilya过往访谈可推测，SSI的方向大概率就是持续学习—— 让模型从少量经验中抽象规律并迁移到新任务，而非继续靠海量pre-training数据覆盖问题空间。 持续学习的范式变化核心是"经验必须进权重"。持续学习一旦跑通，数据飞轮将从互联网存量数据切换到真实工作流的增量经验， 模型将从发布即巅峰的折旧资产变成复利资产，"部署即训练"随之成立——最好的模型吸引更多人用它干更难的活、换回更高质量反馈、变得更强，领先回报从线性变复利。 ❸持续学习对AI lab的格局将产生巨大影响。当前模型近乎零切换成本，Model/Harness/Context三者互可分离。而持续学习后，换模型等于开除一个积累了数月组织上下文的员工， 理论上用户的切换成本会大幅提升，AI lab将形成真正意义的用户数据飞轮，从而加速AI lab的格局收敛。 ❹产业对持续学习也部分持有反方观点。例如，白领知识工作大多是显性知识，AI能秒级完美吸收1M token级详细笔记，那么长上下文+检索的模式可能就够用了，且还具备无状态模型+上下文配置可组合、可审计等优点；其次，若持续学习的AI无法区分反馈质量、甚至被恶意投毒，飞轮可能转成负反馈，且对性能变化的可解释性会变得更无解。 ❺持续学习对传统推理Infra提出了巨大的挑战。现在的模型推理是建立在所有用户共用同一份冻结权重，靠大batch size摊薄读权重的开销；而换到持续学习的语境下，更新 Fast Weights→每个用户的权重都不一样，batch就凑不起来，权重一更新、之前的KV缓存也会作废，这意味着 推理系统需要从无状态变成必须记住每个客户状态的数据库，对计算/存储/网络/调度的需求影响不再是看模型参数大小那么简单。站在产业观察的角度， 持续学习要比RSI、重回预训练等资本市场热议的叙事具有更重大的产业意义，后续进展值得关注。 ## 总体总结 主题正文 1. ❶持续学习（aka Test-Time Training）本周在产业里开始升温， 7月底SSI宣布与NVIDIA达成长期战略合作、计划将算力扩充10倍，Ilya Sutskever（SSI创始人、OpenAI前首席科学家）罕见表态"已有值得进一步规模化的研究成果"； 2. 上周北美知名投资人Gavin Baker在播客节目中称SSI可能8月发布首款模型； 3. ❷结合Ilya过往访谈可推测，SSI的方向大概率就是持续学习—— 让模型从少量经验中抽象规律并迁移到新任务，而非继续靠海量pre-training数据覆盖问题空间。 4. 持续学习一旦跑通，数据飞轮将从互联网存量数据切换到真实工作流的增量经验， 模型将从发布即巅峰的折旧资产变成复利资产，"部署即训练"随之成立——最好的模型吸引更多人用它干更难的活、换回更高质量反馈、变得更强，领先回报从线性变复利。 5. 而持续学习后，换模型等于开除一个积累了数月组织上下文的员工， 理论上用户的切换成本会大幅提升，AI lab将形成真正意义的用户数据飞轮，从而加速AI lab的格局收敛。 6. 例如，白领知识工作大多是显性知识，AI能秒级完美吸收1M token级详细笔记，那么长上下文+检索的模式可能就够用了，且还具备无状态模型+上下文配置可组合、可审计等优点； 7. 而换到持续学习的语境下，更新 Fast Weights→每个用户的权重都不一样，batch就凑不起来，权重一更新、之前的KV缓存也会作废，这意味着 推理系统需要从无状态变成必须记住每个客户状态的数据库，对计算/存储/网络/调度的需求影响不再是看模型参数大小那么简单。 8. 站在产业观察的角度， 持续学习要比RSI、重回预训练等资本市场热议的叙事具有更重大的产业意义，后续进展值得关注。