2026-07-07 预训练的秘密，不只在规模和多样性

作者：Marilyn Liu     出品：具身纪元

前段时间，千问一口气发了三篇具身论文。

身边有朋友反复安利，说千问的论文一定要读，是很扎实的工作。

在朋友的建议下，我重点读了操作那篇 Qwen-RobotManip，还有幸和模型的负责人雄辉聊了一下。

他回答了我三个疑问：

为什么是三个模型？

这篇工作最大的不同是什么？

大模型的训练所谓预训练的know how是否有帮助到具身模型训练？

读之前我有个先入为主的判断。我一直以为，只要数据量够大、够多样，Scaling Law自然会起作用。Generalist的效果就是一个活生生的例子。

可读完这一篇，我发现事情没那么简单。数据规模和多样性之外，有一点是行业时常忽视或者做得不到位的，是模态之间的对齐。

三个模型，三万八千小时，没自己采过一条数据

先把这次发布交代清楚。2026 年 6 月 16 日，千问一次发布了三个机器人模型，官方名字叫 Qwen-Robot Suite。

负责操作的是 Qwen-RobotManip；负责导航的是 Qwen-RobotNav；还有一个 Qwen-RobotWorld，是语言条件下的视频世界模型，充当预判接下来会发生什么的那部分。

Qwen-RobotManip 是一个基于 Qwen-VL 主干搭起来的 VLA（视觉-语言-动作）操作基础模型，报告的标题就把它的主张写在明面上，对齐解锁规模（alignment unlocks scale），让我惊讶的是它的来源。预训练语料约 38,100 小时，没有一条自采的数据，全部取自开源数据集和公开的人类演示视频。

官方博客的原话是 without any proprietary data collection。

其中，真机数据约 11,420 小时，来自九个开源数据集，包括 OXE、RoboMIND、DROID、RH20T、AgibotWorld-Beta、RoboCOIN、RDT、InternData-A1、Galaxea Open-World，覆盖单臂、双臂、移动和人形。人类第一视角视频约 1,933 小时，取自 EgoDex、VITRA、EgoVerse。剩下约 24,808 小时全是human to robot的合成数据，从人类视频翻译成 15 种机器人平台的演示，占了将近三分之二。

雄辉称团队对ego 数据是比较相信的：“ego在多样性上发挥的作用很大，如果这条路能验通，意味着具身的叙事能从本体厂商的叙事，转成模型厂商的叙事，不依赖本体厂商的硬件本体，也能把预训练做好”。

一个不到三成靠真机、其余全靠公开数据训出来的模型，凭什么能在最严格的OOD评测超过 π0.5。答案不在数据量，在于它怎么把这些异构数据对齐。

图 1，Qwen-RobotManip 总览：对齐解锁规模，右侧是性能雷达与数据缩放曲线

这篇论文，说到底全是关于对齐

处理这么多来源、这么多本体的数据，靠的不是把它们简单汇到一处。同一个把杯子推到桌边的动作，在不同机器人那里被记成完全不同的数字。

一套记七个关节各转了多少度，另一套记末端执行器在基座坐标系里的位姿，还有一只二十多个自由度的灵巧手同时在动。一股脑送进一个模型，数值上对不上号，模型学到的不是共性，是噪声。

Qwen-RobotManip 的做法是把对齐拆成两块，一块在模型内部，叫表征对齐；一块在数据侧，叫数据对齐。这一节最重，因为整篇论文的分量都在这里。

雄辉说：“对机器人来说，涉及的模态很多，包括 image、state、action、instruction。理想情况下，希望这几个模态能够完全一致”

表征对齐：让不同本体的数据在同一套坐标里说话

模型内部这一层，Qwen-RobotManip 提出了一个横跨表征（Representation）、运动（Motion）、行为（Behavior）三个维度的统一对齐框架，专门用来化解不同机器人形态之间的数据冲突。它由三个核心设计撑起来。

第一个设计是规范化状态-动作表征（Canonical State-Action Representation）

。团队把所有机器人的状态和动作，都映射进一个统一的 80 维向量里，延续了unified work space的思路。

这个向量的结构是固定的，前面两段，各 29 维分给左右两条手臂，每条手臂内部再按语义分组。关节位置占 7 维，末端位姿占 9 维，夹爪状态占 1 维，灵巧手关节占 12 维，后面还留 22 维备用。一台单臂夹爪只填一条手臂的关节和末端字段，双臂系统把两段都填上，带灵巧手的就多占那 12 维手指关节，其余没数据的维度全部补零。

关键在于补零的那些维度不会白白进入训练。团队用一套逐维度二值掩码（binary mask，只标 0 和 1 的开关矩阵），让梯度只在这台机器人真有数据的维度上流动，结构上不存在的自由度不会得到虚假的监督信号。

一套模板就此兼容了单臂、双臂、灵巧手和移动底座，不同形态共享同一套表征，又不会互相打架。

第二个设计是相机坐标系下的位姿变化

。由于不同机器人的基座坐标系不同，同一条手部轨迹，在不同机器人自己的基座坐标系上，数值会差得很远。

团队干脆把末端执行器的动作不再写成基座坐标下的绝对量，而是写成相机坐标系下的位姿增量（delta pose，末端相对当前状态的位移量），这样视觉上相似的动作，换到不同机器人身上，数值也会接近。

配套还有一个相机位置编码（CaPE，Camera Positional Encoding），把相机外参注入进注意力层，让每个视觉 token 都带上视角信息，模型因此对不同相机的视野有了感知；再加一个末端执行器类型的向量，标明当前是什么样的手。

第三个设计是上下文策略自适应（in-context policy adaptation，靠上下文当场适配本体）

。模型做动作预测时，条件里除了当前画面，还带上一个结构化的形态提示，写明机器人平台、执行速度和 FPS，外加一段历史的观察-动作块。

模型把这段本回合的执行历史当作一个隐式的本体标识来读，不必显式声明现在是哪台机器人，就能在线适配不同硬件和不同的运动节奏。

训练时还加了随机上下文采样，把取样位置从整段回合里随机挑，断掉模型照抄上一帧动作的捷径，逼它去读当前本体真实的运动特征，而不是复制刚过去的那一帧。

表征对齐它带来的收益，在scaling law上看得最清楚。

用了统一表示，验证误差随数据量增加对数线性下降，数据越多越好；换成朴素拼接零填充这种不对齐的做法，效果非常差。对齐不是一道可选的工程题，而是数据规模能不能转成能力的先决条件。

雄辉说 unified action space 和相机相对移动这些设计，目的就一个，“让不同来源的数据样本，在训练目标上产生的梯度信号尽可能对齐”，只有梯度对齐了，不同数据源才谈得上 1 加 1 大于 2。

图 2，Qwen-RobotManip 架构：Qwen-VL 主干 + 双流联合训练 + 统一动作空间 UnifiedEEF

数据对齐：先把画面对齐，再把信号对齐

雄辉接着说：“但实际上，保证不同的模态完全对齐是非常困难的。所以我们的思路不是一次性保证所有模态一致，而是分别设计不同的 pipeline，去保证不同模态之间的局部一致性。例如，一个 pipeline 保证 state 和 action 一致，另一个保证 instruction 和 image 一致，再有一个保证 image 和 state一致。

虽然每条 pipeline 只能覆盖其中一部分模态，但通过多条 pipeline 的组合和多轮筛选，最终保留下来的数据，整体一致性就会比较高。”

模型外面这一层，分数据合成和数据清洗两段。先说human to robot的合成数据，这是那 24,808 小时的来源，也是整份语料真正的规模引擎。

人手和机器人的形态完全不同，一段人类第一视角视频没法直接拿来当机器人演示用。合成管线要做的，是把画面里那只人手换成一条机器人手臂。

第一步用 SAM3 把人的手和胳膊从画面里分割出来，得到一张掩码。第二步用 ProPainter做图像修复（inpainting，把被抹掉的区域按周围内容补全），把人手整段抹掉、补上背景，得到一张干净的场景。

接着为每种机器人本体搜一个最优的底座位姿，在 MuJoCo 物理仿真里跑逆运动学，让虚拟机器人的末端去跟踪那条重定向并平滑过的人手轨迹，同时渲染出机器人的图像和深度图。

最后用 Depth Anything v3 估计真实场景的深度，做一次深度引导合成，把渲染出来的机器人按正确的前后遮挡关系贴回那张干净背景。

一段人类视频这样处理下来，能渲染成 15 种不同的机器人本体，1,933 小时的人类视频，被放大成了 24,808 小时的机器人演示。

图 3，人类视频到机器人的数据合成流水线：重定向、抹除人手、渲染、深度引导合成

再说清洗，这一段做的是时间和跨模态两个维度上的对齐校验。论文把它叫多阶段数据整备。

前半程是五个阶段的状态-动作信号过滤，先做突变检测和趋势对齐，剔除极值之后再校验一遍前向运动学的一致性，最后把不同数据集的朝向统一到同一个世界坐标系。

后半程接三道跨模态检查，一道验证语言指令和视频演示的语义是否相符，一道验证视觉画面和记录的机器人状态一不一致，还有一道看视频本身的画质。

这套流程顺手暴露了开源数据有多脏。光是 RoboMIND 里 UR 那一批，就有 81% 的回合没通过趋势对齐检查，被整段剔除。八成是噪声，不先洗干净就送进去，模型学到的就是这些噪声本身。

这四个模态怎么对齐，雄辉给了个更朴素的说法。他说想让图像和状态、动作和指令这四个模态同时严格一致太难了，“所以退一步，保证它们两两一致，用 A、B、C 三条管线分别去保不同模态对之间的一致，再多轮组合，筛出一致性好的数据”。

论文的清洗流程正是照这个思路搭的，一组过滤专管状态和动作对得上，几道跨模态检查再去保指令和演示、图像和状态各自一致。

对齐的理念，World 和 Nav 也都延续了

到这里，对齐还只是 Qwen-RobotManip 的主线，这条主线也延续到了World 和 Nav

Qwen-RobotWorld 是一个语言条件下的视频世界模型，从当前画面预测出物理上合理的下一段画面，横跨机器人操作、自动驾驶，也横跨室内导航和人到机器人的迁移。

这几类任务的动作表示互不兼容，操作记的是关节和末端位姿，驾驶记的是方向和速度，导航记的是朝向角。World 的选择是拿自然语言当统一的动作接口，把它们全部对齐成同一个语言条件下的视频生成任务。

一段来自 Franka 夹爪、一段来自自动驾驶车、一段来自室内导航体，在这个接口下都变成同一种任务。

这正是 Qwen-RobotManip 表征对齐的世界模型版。Manip 找的统一空间是那个 80 维动作向量，World 找的是自然语言。

Qwen-RobotNav 换到的是导航这个空间，基于 Qwen3-VL。它的出发点写在标题里，是 agentic（把复杂任务交给一个会调度的智能体系统）。

Nav 的对齐动作，是把这些行为统一到同一个基座上，再配一个可参数化的接口。接口有两个维度，一个是任务模式，选当前要哪种导航行为；一个是可控的观测参数，比如 token 预算和每个相机的权重。

三个模型，一套对齐。 Manip 把异构信号对齐到 80 维动作向量，World 对齐到自然语言，Nav 对齐到一个可参数化的感知规划骨干。

图 4，Qwen-RobotWorld 架构：60 层双流 MMDiT，Qwen2.5-VL 语义与视频 VAE 逐层联合注意力

图 5，Qwen-RobotNav 的 agentic 架构：上层规划器拆解长程目标，下发给导航执行器

大模型团队的优势？对齐这件事，VLM有迹可循

Qwen-RobotManip的思路，不是凭空来的。视觉语言模型那条线，过去几年反复验证过同一条规律，把对齐的粒度精细化，泛化就能一个台阶。

早期的模型（如CLIP）只能做“整图对整句”的全局粗略匹配（Global Contrastive Alignment）。这导致模型在面对复杂视觉推理时，往往很容易认出画面里有“猫”和“杯子”，却搞不清“杯子在猫的左边还是右边”这类空间和交互关系，容易漏掉结构性的细节。

为了突破这个瓶颈，学术界展开了一场将“对齐下沉”的演进。

例如，MDETR 引入了端到端的调制检测，将对齐粒度从整图下沉到了“文本短语”对“图像边界框”；PyramidCLIP 则构建了金字塔式的层级特征对齐，不仅包含同层级的语义对齐，还引入了跨层级的关系对齐，并使用软目标（Softened Objective）损失函数来包容数据中的局部相似性噪音。随后的研究（如FILIP、X-VLM等）进一步将对齐推向极致。FILIP 首创了跨模态后期交互机制（Cross-modal Late Interaction），强制计算“每一个图像像素块（Patch）”与“每一个文本单词（Token）”之间的最大相似度。

X-VLM 则主张多粒度对齐（Multi-Grained Alignment），将视觉概念拆分为对象、区域和整图，与文本进行多层次的绑定。强制让文本里的细微表述与图像的特定区域或像素块精准对应，大幅提升了模型的定位精度和对复杂场景的理解能力。

Qwen-RobotManip 做的是同一件事的机器人版，只是它要对齐的不是图和文两个模态，而是图像和状态、动作和指令这四个更异构的模态。

我好奇的提了那个问题：大模型团队做预训练有天然的优势，因为你们有比具身团队更强的大规模训练know how？这是江湖传言，还是真实？

雄辉说，一定是有帮助的，至少知道训练中什么是重要的，什么是不重要的。

但具体的细节，雄辉并没有透露。只能全凭我自己的猜测。

除了对齐之外，我发现团队将vl的数据在预训练和后训练中都混入了，这一点是为了防止vlm的灾难性遗忘，提升模型的泛化能力。

这或许也是团队技术选择的考量，毕竟还是千问的人最懂qwen的基础模型，最知道如何发挥它最大的作用。

反思评测标准，才看见真实的差距

一个反直觉的结论是，这套东西一开始差点被评测指标骗过去。团队起初也在刷传统 benchmark。

雄辉说：“Qwen 的 base model 只要训得够久，榜上就很好看；但它裸做 VLA，其实不如 π0.5”。这句话里藏着一个矛盾。π0.5 是相当强的模型，可在同分布的榜单上，Qwen 的预训练模型轻松就能超过它。

既然大家都知道 π0.5 强，榜单却给出相反的结论，那问题就不在模型，在指标。能被轻松刷过去的榜单，本身就是有误导的。

这好像是对行业内的刷榜行为，一个冷静克制的对抗。

于是团队把评测的北极星，从同分布榜单换到了严格的分布外。雄辉说，换上能体现 π0.5 真实性能的评测方法之后，“在严格 OOD 上，预训练模型相比 π 会掉几十个点”。

标准换对之后，一个普遍的现象浮出来，大家的泛化其实都不太行，同分布榜单上的漂亮成绩，到了分布外基本兑现不了。Qwen-RobotManip 的价值也是在这里才看清楚的。

预训练模型在同分布上能超过 π0.5，可真正拉开差距的地方是分布外。更让团队意外的是几种没有显式教过的能力自己涌现了出来。

模型表现出零样本的指令跟随，遇到没训过的说法也能顺着意图去做对；真机测试里还出现了反应式的错误恢复，抓空了会自己再抓一次，这个动作训练时没人教过，是数据规模够了之后自己出现的。雄辉对此的态度很克制，他说很多榜第一次提交就拿 Top 1 确实意外，“也许把数据扩上去，就能解决更多问题。但扩上去到底会怎样，还是未知”。他没把这份意外讲成定论。

图 6，标准榜单上各方打平，分布外（OOD）评测才拉开差距

再往上一层，是阿里云的战略判断。雄辉说： “阿里云想专注在总基模上，把模型提供给各家本体厂商。所以比起把某个特定场景的任务完成度刷到 100%，我们更关注训练出来的模型在 few-shot instruction 上能不能泛化”。

而具身模型的本质其实也是这样，就像一个只具备基础能力的人，进厂培训个1-2个月就可以上岗，真正能让他在各类场景工作的是他可以泛化迁移的基础能力。

为什么是三个模型？

读到这里可能有个疑问，既然三个模型共享一套底层思路，为什么不做成一个大一统模型，偏要分成三个。这和学界崇尚的端到端的思路也不一致。

雄辉把他对这个技术路线的思考告诉了我： “至少短期，agentic是一个非常落地的架构。以navigation和mobile举例，navigation 管的是宏观的移动，比如让机器狗走到某个地点，mobile更多是细粒度的移动，是把自己调整到操作的舒适区。两者是两个独立模块”。

而在模型的能力上来说：*“**4B、8B 这种小模型的智力上限就摆在那，你不该指望一个 VLA 去实现长程记忆这类复杂问题**。但把它变成一个 agentic system 就不一样了，把 VLA、VLN 当成聚焦原子动作的模块，复杂的问题交给大脑、或者快慢思考的双层系统去处理，问题就好解多了。端侧放几个小的能力模块，云侧用大型 VLM 撑起来”。*

在公众号的文章中，有一个隐秘的彩蛋藏在字里行间：“我们还有一个内部项目 Qwen-RobotClaw，一个机器人智能体框架，使 Qwen VLM 智能体能够将 Qwen-Robot Suite 模型作为物理世界工具调用，同时妥善管理长程任务所需的上下文与记忆，推动物理智能走向更通用、更复杂的真实应用场景。以下是目前已实现的早期示例。”

这意味着千问的技术判断，也是作为一个模型厂商，对于单一模型上限的判断。

回到千问的三件套，它们不是三个孤立的模型，是一套 agentic 系统里分工的三块，共用把异构信号对齐到统一空间这套底层方法。

范式是 0 到 1，工程是 1 到 10

在最后，我非常好奇地问雄辉：“整篇的数据处理流程非常精细，对齐的设计也非常精妙。这个架构是经过几轮迭代嘛？还是一开始就想清楚了？”

他说：倒也没有迭代，只是一开始就意识到对齐和数据质量的重要性了。所以要求团队从day 1就把这个事情做好。

脑中涌现出一句话：技术创新是从 0 到 1，工程细节是从 1 到 10。

具身的训练需要大、多样的数据量的支撑和模型的创新。就像physical intelligence搞清楚了异构本体的vla训练范式和后训练范式，generalist ai用umi实现gen0和gen1的跃进。

但不能忽视的是预训练中致命的细节。谁能把数据洗干净、对齐好，谁也就握住了预训练的护城河。

不过工程不是万能的，这一点雄辉自己给了个边界。团队在杭州拍叠衣服的 demo，短袖 T 恤叠得不错。

他随手把一件长袖外套放到床上，才发现麻烦。脱下来的长袖，袖口翻在外面，人要收好它得把整条手臂伸进袖子里，拎住袖口再抽出来。

他当场比划了一下，意识到现在的机械臂构型几乎做不了这个动作。“真走到量产、尤其走到居家，要处理的任务太多了，甚至某个单一任务的 corner case，都比想象中还要多一些”。

这类长尾，数据工程洗不掉，得等硬件构型自己往前走。工程能解决的是这一堵墙，硬件构型的长尾是另一堵。

至于外面那些路线之争，雄辉看得平淡，他说那更像“偏叙事、偏融资的东西，好像并不是特别本质”。

当大家还在比谁采数据更多，问题的重点可能已经变成：谁能把最脏的数据，洗成最干净的能力。