---
title: "物理AI ZJ交流再更新1020🌞：更大的世界，更真实的体验 1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以"
topic_id: 14425411818418542
created_at: 2026-10-21T09:28:50.462+0800
source: zsxq
type: topic
cssclasses: zsxq-vault
---

# 物理AI ZJ交流再更新1020🌞：更大的世界，更真实的体验 1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以

- 序号：381
- 星球链接：[打开网页](https://wx.zsxq.com/group/15522451881222/topic/14425411818418542)
- 附件：图片 0，音频 0，文档 0
- 音频文件：_无音频_

## 图片

_无图片_

## 正文

物理AI ZJ交流再更新1020🌞：更大的世界，更真实的体验

1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以语言能力为核心，侧重语言理解、任务理解与规划，输入以观测文本为主；@世界模型建立在语言模型基础上，核心目标是预测未来物理世界状态、生成并理解世界，掌握物理规律，可增强人与机器/模型的交互能力。2）@语言模型主要依赖互联网公开数据，以一维文本的监督训练为主；@世界模型还需机器人动作数据、力觉、触觉等互联网无法获取的物理数据。需要更高维度的监督信息，覆盖一维动作、视频、3D甚至4D物理世界信息，对应的数据需求量、算力需求均显著高于语言模型。

2️⃣整体落地节奏（由近及远）&重要环节：内容生成→自动驾驶难例数据生成/仿真→工业制造→零售商场→家庭通用机器人。
模型环节：
未来模型架构将向多模态输入、多模态输出演进：输入包含用户指令、当前观测、历史信息；输出以最具价值的动作为核心，同时叠加2D（图片、结构化信息）、3D、4D物理状态的辅助预测，通过高维状态的辅助监督实现动作预测的降维提升，特斯拉FSD已采用该类架构逻辑。
数据环节：
核心是构建从数据采集、存储、处理、人工标注到打包供模型训练的全自动化流程，高质量数据是全场景（内容、自动驾驶、具身）的基础需求。 相关数采（奥比中光、海天瑞声、华依科技、当虹科技）， 其他垂类场景相关标的参考我们此前观点更新。
Infra环节：
训练侧：物理大模型参数量大，需解决千卡、万卡级大规模分布式训练问题，包括模型参数跨卡拆分、训练不稳定（任务中断、loss异常飞涨）、异常数据筛查等痛点。
部署侧：需解决内容生成等场景的大规模并发访问问题，同时通过模型量化等方式加速推理速度，端侧场景还需满足实时性、因果性要求。

## 总体总结

主题正文
1. 1️⃣核心还是与现实世界之间的交互：1）@主流VLM（如DeepSeek、豆包、Claude等）以语言能力为核心，侧重语言理解、任务理解与规划，输入以观测文本为主；
2. @世界模型建立在语言模型基础上，核心目标是预测未来物理世界状态、生成并理解世界，掌握物理规律，可增强人与机器/模型的交互能力。
3. 需要更高维度的监督信息，覆盖一维动作、视频、3D甚至4D物理世界信息，对应的数据需求量、算力需求均显著高于语言模型。
4. 2️⃣整体落地节奏（由近及远）&重要环节：内容生成→自动驾驶难例数据生成/仿真→工业制造→零售商场→家庭通用机器人。
5. 输出以最具价值的动作为核心，同时叠加2D（图片、结构化信息）、3D、4D物理状态的辅助预测，通过高维状态的辅助监督实现动作预测的降维提升，特斯拉FSD已采用该类架构逻辑。
6. 核心是构建从数据采集、存储、处理、人工标注到打包供模型训练的全自动化流程，高质量数据是全场景（内容、自动驾驶、具身）的基础需求。
7. 训练侧：物理大模型参数量大，需解决千卡、万卡级大规模分布式训练问题，包括模型参数跨卡拆分、训练不稳定（任务中断、loss异常飞涨）、异常数据筛查等痛点。
8. 部署侧：需解决内容生成等场景的大规模并发访问问题，同时通过模型量化等方式加速推理速度，端侧场景还需满足实时性、因果性要求。