物理AI ZJ交流再更新1020🌞：更大的世界，更真实的体验 1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以
- 序号：381
- 星球链接：打开网页
- 附件：图片 0，音频 0，文档 0
- 音频文件：无音频
图片
无图片
正文
物理AI ZJ交流再更新1020🌞：更大的世界，更真实的体验
1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以语言能力为核心，侧重语言理解、任务理解与规划，输入以观测文本为主；@世界模型建立在语言模型基础上，核心目标是预测未来物理世界状态、生成并理解世界，掌握物理规律，可增强人与机器/模型的交互能力。2）@语言模型主要依赖互联网公开数据，以一维文本的监督训练为主；@世界模型还需机器人动作数据、力觉、触觉等互联网无法获取的物理数据。需要更高维度的监督信息，覆盖一维动作、视频、3D甚至4D物理世界信息，对应的数据需求量、算力需求均显著高于语言模型。
2️⃣整体落地节奏（由近及远）&重要环节：内容生成→自动驾驶难例数据生成/仿真→工业制造→零售商场→家庭通用机器人。 模型环节： 未来模型架构将向多模态输入、多模态输出演进：输入包含用户指令、当前观测、历史信息；输出以最具价值的动作为核心，同时叠加2D（图片、结构化信息）、3D、4D物理状态的辅助预测，通过高维状态的辅助监督实现动作预测的降维提升，特斯拉FSD已采用该类架构逻辑。 数据环节： 核心是构建从数据采集、存储、处理、人工标注到打包供模型训练的全自动化流程，高质量数据是全场景（内容、自动驾驶、具身）的基础需求。 相关数采（奥比中光、海天瑞声、华依科技、当虹科技）， 其他垂类场景相关标的参考我们此前观点更新。 Infra环节： 训练侧：物理大模型参数量大，需解决千卡、万卡级大规模分布式训练问题，包括模型参数跨卡拆分、训练不稳定（任务中断、loss异常飞涨）、异常数据筛查等痛点。 部署侧：需解决内容生成等场景的大规模并发访问问题，同时通过模型量化等方式加速推理速度，端侧场景还需满足实时性、因果性要求。
总体总结
主题正文
- 1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以语言能力为核心，侧重语言理解、任务理解与规划，输入以观测文本为主；
- @世界模型建立在语言模型基础上，核心目标是预测未来物理世界状态、生成并理解世界，掌握物理规律，可增强人与机器/模型的交互能力。
- 需要更高维度的监督信息，覆盖一维动作、视频、3D甚至4D物理世界信息，对应的数据需求量、算力需求均显著高于语言模型。
- 2️⃣整体落地节奏（由近及远）&重要环节：内容生成→自动驾驶难例数据生成/仿真→工业制造→零售商场→家庭通用机器人。
- 输出以最具价值的动作为核心，同时叠加2D（图片、结构化信息）、3D、4D物理状态的辅助预测，通过高维状态的辅助监督实现动作预测的降维提升，特斯拉FSD已采用该类架构逻辑。
- 核心是构建从数据采集、存储、处理、人工标注到打包供模型训练的全自动化流程，高质量数据是全场景（内容、自动驾驶、具身）的基础需求。
- 训练侧：物理大模型参数量大，需解决千卡、万卡级大规模分布式训练问题，包括模型参数跨卡拆分、训练不稳定（任务中断、loss异常飞涨）、异常数据筛查等痛点。
- 部署侧：需解决内容生成等场景的大规模并发访问问题，同时通过模型量化等方式加速推理速度，端侧场景还需满足实时性、因果性要求。