阅读时间大约5分钟(1743字)
出品:穹彻智能
具身世界动作模型:
在行动中持续理解世界变化
Noe-0 以世界模型架构为基础,构建具身世界动作模型,将对真实环境变化的建模与机器人动作生成放在同一个学习过程中。面向真实环境中的连续交互,模型既需要根据当前观察规划动作,也需要持续预测动作发生后与任务相关的世界变化。
在具体推理过程中,Noe-0 接收图像与任务语义,在同一共享表示中同时进行隐式世界想象与动作规划,并输出机器人动作。它并非“先想象、再规划”的串行流程,而是在动作展开的同时,持续保持对世界变化的预测。
在这一过程中,隐式世界想象为动作规划提供物体状态和上下文,动作信号也反过来约束模型关注与任务进程真正相关的变化。每次动作执行后,新的观察进入下一轮联合推理,形成“观察—联合推理—执行—再观察”的连续闭环。

当前预训练实验中,基于世界模型架构的 Noe-0 已呈现出明显的 Scaling Law。在使用 10%、20% 与 100% 数据量的对比实验中,验证动作损失随数据量增加而下降,表明随着预训练数据规模持续扩充,模型能力可以持续拓展。

要让具身世界模型更好地建模真实环境,并把数据规模转化为持续拓展的模型能力,数据不仅需要更大规模,也需要保留真实操作中的自然动作与环境变化,并在不同训练阶段延续一致的数据分布。
全链路无本体数据:
让数据产生于真实世界
从模型预训练到任务后训练,Noe-0 均使用由穹彻智能自研数据采集设备 RoboPocket 采集的无本体数据,使两个训练阶段建立在连续一致的动作分布之上,形成贯穿模型训练全过程的无本体数据链路。
RoboPocket 是一套便携式、可穿戴的数据采集设备,可以记录操作过程中的图像信息与人的操作轨迹。设备不需要连接复杂的外部传感器,因而能够方便地进入不同空间和多种真实场景。

基于 RoboPocket,穹彻智能在全国范围内开展了大规模的分布式数据采集。我们认为,数据采集真正的锚点应当是真实场景,而不是人为搭建的固定采集工位。因此,穹彻智能将数据采集带入采集人员所在的真实环境,让数据从日常生活中的空间、物体和任务中自然产生。
目前,穹彻智能的数据采集网络已覆盖全国超过50个城市,累计采集超过10 万小时的真实世界数据。在真实环境中,采集人员可以根据现场的空间、物体与任务开展采集,持续引入不同材质、形态、使用状态和操作方式的长尾样本。
在预训练阶段,这些来自真实环境的无本体数据构成了 Noe-0 的训练基础。随着采集网络持续扩展,预训练数据的增长不再只是时长的增加,更是任务、物体、场景与动作等整个数据分布的持续扩展。
进入任务后训练阶段,Noe-0 仍然使用由 RoboPocket 采集的无本体数据。如果后训练重新引入停顿、分段和频繁修正的遥操作轨迹,预训练阶段学到的动作知识可能被压缩到更窄的分布。预训练与后训练统一使用无本体数据,有助于保持动作分布的连续性与自然性,避免后训练重新形成灵巧性瓶颈。
由此,Noe-0 从真实世界数据采集、模型预训练到任务后训练形成了全链路无本体数据。这是本次技术预览的一项重要亮点:它不仅提出了一种数据理念,也说明这条完整链路已经走通,并形成了一条可工作的系统路径。
AI 基础设施:
让数据生产与模型迭代形成闭环
真实世界中的分布式采集带来了更广的数据分布,也带来了新的管理瓶颈:采集来源更加分散,数据多样性持续上升,任务管理、数据治理与标注的难度也随之增加。要让大规模、分布式的数据稳定转化为可用于模型训练的资产,需要一套贯穿端侧采集、云端治理、标注与交付的 AI 基础设施。
围绕数据生产,RoboPocket 作为端侧基础设施,负责在真实场景中完成数据采集与上传;数据管理平台 DM3 作为云端基础设施,连接任务管理、数据入库、质量检查、数据治理、标注与交付。DM3 采用 AI-native 的方式,让 AI 普遍介入任务理解与审核、质量监测与检查、数据标注等环节,提升规模化数据生产的运营效率。
DM3 内置面向数据生产的 AI Agent,能够完成自动化任务审核、任务指导、数据标注、问题处理和消息通知,并将分散的信息汇总为运营看板,辅助数据运营人员开展管理工作。通过这些能力,DM3 可以提升整体运营效率、降低数据治理成本,并持续提升数据治理质量。

我们相信,面向规模化数据生产的 AI 基础设施,是将真实世界数据持续转化为模型能力的关键。穹彻智能长期致力于构建连接数据生产、模型训练与评测反馈的技术基础设施,让每一轮模型迭代都能够推动下一轮数据改进。
以预训练模型研发为核心
具身智能预训练模型研发,是穹彻智能长期投入的核心方向。围绕这一核心,公司持续建设真实世界数据采集体系与 AI 基础设施,并同步推进机器人整机硬件和具身智能大脑系统研发,逐步形成从数据生产、模型训练,到硬件适配、系统迭代的完整技术链路。
未来一段时间,穹彻智能将继续围绕具身智能与具身世界模型研发全链路,持续发布相关技术报告与阶段性进展。期待大家长期关注!
