1天前 Machenta发布即时机器人学习模型：只需一次示范，无需微调｜全仿真训练学习真实任务

作者：Machenta     出品：Sourcemind

刚刚，美国机器人公司 Machenta 结束隐身研发，公布全新的完全用仿真数据训练的基础模型。团队称，机器人只需接收一次任务示范，就能立即执行新任务，无需进一步微调模型。

为什么重要： Machenta 同时宣布完成 4000 万美元种子轮融资，由 Creandum 与 USV 联合领投。这家公司瞄准的是机器人部署中反复采集数据、训练模型的时间与成本：如果换任务只需重新示范，频繁调整作业流程的自动化就有望更划算。

怎么做到的： 团队用示范替代语言来描述任务，构建“视觉—示范—动作”（VDA）模型。模型在大量随机化的仿真任务中学习如何从示范推断动作，部署时再结合示范与实时画面执行。“全仿真”指训练数据来源，实际使用仍需真实示范和视觉观测。

关键细节： 团队展示了同一模型在六种机器人、四种示教方式上的表现。在一个案例中，示范结束后，灰色容器与黑色扫描器的位置被交换，机器人仍能继续执行任务。示范也可以追加：如果机器人分不清目标是“小容器”还是“黑色容器”，用户可以补充示范澄清意图。

但要注意： 当前可靠性数据来自团队对三项相对简单任务的测试，每项连续运行一小时：积木入碗成功 74/74 次、螺丝刀交接 78/78 次、瓶子直立放置 97/99 次。这些结果尚不能代表任意新任务的成功率；扩大模型和仿真数据后，能否稳定处理更复杂的任务，仍待验证。

图 1|Machenta 即时机器人学习：从仿真经验到一次示范后的真实执行

SECTION / 01

欢迎来到即时机器人学习时代

Edward Johns： 今天，我们结束隐身研发，正式亮相。我们完成了由 Creandum[1] 和 USV[2] 共同领投的 4000 万美元种子轮融资，让即时机器人学习成为现实。

过去几个月，我们一直忙于创办一家新公司：Machenta。

这次亮相背后，是我们构建的一种新型机器人基础模型所取得的成果。今天能把它分享给大家，我非常兴奋！

通常，教会机器人一项任务，需要数小时乃至数天的数据采集和训练。我们构建的模型能够立即学会任务：一次示范，无需进一步训练。

这个模型完全在仿真中训练，没有使用哪怕一个像素的真实世界数据。教它如此快速、轻松，感觉就像在物理世界里进行 vibe coding。它让机器人像人一样，从像你这样的示教者那里学习。

欢迎来到即时机器人学习的时代。

实时响应与失误恢复。 模型只需一次示范就能学会任务，并立即适应变化。

这里，机器人依靠闭环、端到端的策略，迅速响应新情况，并从干扰中恢复。

一个人、一次示范的工厂。 同一个模型适用于任何机器人。这里，三种机器人协作完成一项任务。

有了即时学习，即使只有一个人，也能在几分钟内让整条装配线实现自动化。

可引导性。 面对同一组物体，只要示范给机器人看，就能引导它的行为。

这里展示了与同一组物体交互的三种不同方式，每一种都能被机器人立即学会。

物理世界的 vibe coding。 操作任务可能很复杂，包含多个阶段，往往需要尝试不同做法。

有了即时学习，我们可以快速迭代不同的物理提示，从而找到像这里的“双重交接”这样的策略。

SECTION / 02

即时机器人学习：示范一次，开始执行

Machenta 团队： 常规方式与即时机器人学习的流程对比如下。

本页每段视频中的物体，机器人此前都从未见过。它只需一次示范，就能立即学会任务，无需进一步训练。

演示涵盖实时响应与失误恢复、真实工业任务、一个人和一次示范的工厂，以及人形机器人。

我们构建了一种专为即时机器人学习设计的新型基础模型，完全在仿真中训练，没有使用哪怕一个像素的真实世界训练数据。

就像给大语言模型输入提示后可以立即得到结果一样，如此迅速、容易教会的机器人，也将开启一个充满想象力、创造力和物理世界的 vibe coding 的新时代。

SECTION / 03

从会做任务，到学会学习

智能的关键不在于你已经会做什么。关键在于，你能多快学会做一件新事情。

随着可扩展的机器学习为机器人打开新的天地，我们开始看到基础模型执行物理任务的出色案例。但在这些案例背后，有一个令人不安、又经常被藏起来的事实：学习过程慢得让人难以忍受。每项任务都要经历漫长的真实世界数据采集和训练，而且这个过程要一遍又一遍地重来。机器人演示视频通常并不像上面那些视频一样。

或许，要让机器人智能真正具备类似人类的实用能力，我们需要抓住人类智能独特之处的根源：适应能力，也就是迅速学会新事物的能力。

为此，我们可以构建的，不只是学会单项任务的模型，而是学会如何学习新任务的模型。

在 Machenta，我们开发了首个这样的机器人基础模型：它学会了如何仅凭一次示范，就立即学会一项新任务；同时，它完全在仿真中训练，没有使用任何真实世界数据。

走到机器人面前。示范一次。退后一步。看着它行动起来。就在这一刻，机器人已经立即学会了一项任务。我们将其称为即时机器人学习（Instant Robot Learning）。

下面，就让大家看看我们在 Machenta 最初几个月里的一些工作。[9]

SECTION / 04

当前的做法，以及为什么需要后训练

要理解即时学习有何不同，我们先回顾一下当今机器人基础模型通常是什么样的。简单来说，这些模型以图像，也就是机器人看到的内容，以及任务描述，也就是我们要求机器人做的事情，为条件，预测动作，也就是机器人的实际物理行为。因此，采集数据就意味着收集示范，告诉模型面对每一张图像、每一项任务时，应当预测什么动作。如果可以通过语言描述任务，就形成了视觉、语言、动作（Vision-Language-Action，VLA）模型。

传统 VLA 模型以图像和语言为条件预测动作。但要在实际场景中部署 VLA，通常还需使用大量真实世界示范进行后训练，每项任务的这一过程可能耗时数天乃至数周。

图 2|VLA 以图像和语言任务描述为条件预测动作

如果你能事先考虑到所有可能的物体和所有可能的任务，再为它们可能出现的每一种空间布局和环境收集示范，那么原则上，在这些数据上预训练的模型就可以实现零样本运行：无须补充任何数据，机器人就能根据任何语言指令执行任何任务。

但世界太大了。所有物体、任务、空间布局和环境共同构成的这个空间，在实际意义上可以说是无限的。

因此，机器人基础模型通常需要后训练。你不能指望单凭预训练模型就已经能够完成一项任务，而是需要自己收集示范，针对这项任务对模型进行后训练。多样化的预训练数据为模型打下表征基础，但要真正学会每项任务，还需要针对该任务的后训练数据。

VLA 的预训练数据多样而稀疏。因此，VLA 面对任意一项新任务时，通常都不能很好地完成。对于每一项你真正希望机器人执行的任务，通常都需要密集的、针对该任务的后训练数据。

图 3|VLA 预训练数据覆盖稀疏，特定任务通常需要密集的后训练数据

可是，后训练的数据采集与训练可能耗费数天，甚至数周。机器人领域的后训练时代，尚未带来具备人类水平适应能力与实用性的物理 AI。

要怎样才能让机器人像我们一样，仅凭一个例子就立即学会任务？

SECTION / 05

在仿真中学会学习，走向即时学习

在 Machenta，我们开发的模型建立在帝国理工学院六年的单次示范学习研究之上，尤其承接了我们早期关于机器人上下文学习的工作：Implicit Graph Alignment[10]（CoRL 2023）和 Instant Policy[11]（ICLR 2025）。最近，我们也开始看到其他地方令人兴奋的上下文学习应用：Rhoda AI[12]、Generalist[13] 和 Skild AI[14] 都在扩大真实世界数据采集的规模。我们押注的方向是：要最快获得所需的关键多样性与规模，就应当依靠仿真，真实数据只用于那一次教学示范。

从概念上说，这个想法很简单。和前面一样，我们让模型以图像和任务描述为条件。但我们使用示范来描述任务，替代语言。我们将其称为视觉、示范、动作模型（vision-demo-action，VDA）。

我们的端到端 VDA 模型要做的是“学会如何从一次示范中学习一项新任务”。模型训练完成后，只需把一次示范和持续输入的图像流一起送入模型，就能以端到端、闭环的方式预测动作，从而学会新任务。

图 4|VDA 将任务示范与连续视觉观测一起输入模型，闭环预测动作

在典型的 VLA 后训练中，模型权重的优化目标是“学会一项特定任务”。而为了训练我们的 VDA，我们生成的数据同时涵盖任务之间和任务内部的变化，以此引出元学习目标。此时，模型权重的优化目标变成了“学会如何学习一项新任务”。

但要引出元学习，也就是优化任务学习过程本身，而不只是记住任务，我们需要海量的这类数据。这就轮到仿真登场了：它是我们自己的数据飞轮。

我们假设的示意图。随着算力和仿真数据规模扩大，示范与视觉构成的空间内，预训练数据的密度会不断提高。当整个空间逐渐被更多数据填充时，模型学到的表征就越来越能够理解这个空间中任意的新任务，也就能够仅凭一次示范立即学会它们。我们已经看到令人鼓舞的证据：到目前为止，算力与数据的扩展幅度还不大，但本网站展示的所有任务已经都能被立即学会。

图 5|团队的假设示意：算力与仿真数据扩展，提高可即时学习任务的覆盖率

我们开发了一套生成仿真训练数据的方法。借助这套方法，把模型带到真实世界、给它一次示范之后，它往往就能立即学会随机遇到的真实任务。而且，这些任务都是全新的。我们并不只是把将在真实世界中教给机器人的那些任务先做成仿真。

我们的仿真世界包含物体、任务、布局、环境、示范和机器人形态等各个维度上极其丰富的随机可能性。这个世界如此多样，以至于要掌握它，最优的方式就是学会如何学习。

SECTION / 06

三个常见问题：部署成本、仿真差距与语言

为什么即时学习很重要？从实用角度来看，与雇用人工或传统机器人编程相比，后训练所需的时间与成本往往不划算。如果每项新任务都需要花数天甚至数周采集数据和训练，机器人的部署就仍会太慢、太贵，无法大规模铺开。即时学习改变了这一点。

不过，即时、类似人类的学习之所以重要，还有更深一层的原因。当我们可以像与人交流那样，自然而然、快速轻松地与大语言模型交互时，它们才真正变得有用。我们正在为物理 AI 构建同样的故事。

仿真到现实的差距怎么办？用仿真学习某一项特定任务时，仿真到现实的差距确实是个问题。策略依赖的是仿真器中的相机参数、物体物理特性等隐含属性，一旦现实与仿真不同，就会失效。

但我们使用仿真的方式不同：我们用它来学习任务学习函数本身。模型并非记住某一个环境，而是在极其广泛的随机化环境中训练，因此，它必须学会从给定示范中推断出哪些信息重要。测试时，示范和观测都来自同一个真实世界，所以模型适应的是真实条件，而不是仿真条件。对模型来说，现实只是又一个需要适应的环境。实践中我们发现，完全在仿真中训练得到的任务学习函数，在真实示范与真实观测上也表现得很好。

语言怎么办？与示范相比，语言对任务的描述稀疏得多。它可以说明做什么，却无法说明在物理层面如何去做。语言推理经过多年的飞速进展，如今的难点在于学习物理行为本身，而这正是我们关注的重点。

一旦学会这些行为，我们的模型就可以扩展为以语言为条件的策略，我们此前的工作已经展示了这一点。具体而言，既可以用语言检索一段匹配的示范作为提示，参见 Learning a Thousand Tasks in a Day[15]；也可以学习语言与示范之间的映射，参见 Instant Policy[11]。现阶段，我们的使命是解决那个更困难的问题：学会如何行动。

SECTION / 07

型预览：空间泛化、跨本体与真实任务

现在，我们可以更具体地展示即时机器人学习是什么样的。在下面所有视频中，你都会看到这样的过程：（1）有人走到机器人面前；（2）用机器人从未见过的物体做一次示范；（3）随机重新摆放这些物体；（4）退到一旁；（5）机器人立刻完全自主地执行任务。一段连续、未经剪辑的视频，示范结束后紧接着执行刚学会的任务，这正是即时机器人学习的标志。

即时空间泛化。 下面的例子清楚地展示了即时学习中涌现出的智能泛化能力。你教会机器人一项任务后，它不仅能在全新的空间布局下完成任务，还能对干扰立即作出实时反应，并在失败后立即恢复，而这些行为都不需要你在示范中展示。

即时反应与恢复。 我们的模型可以立即响应环境变化，从干扰中恢复，甚至重新完成那些已被撤销的任务步骤。

机器人响应物体位置变化，并重新完成被打断或撤销的任务步骤

交换物体位置。 示范结束后、机器人执行前，灰色容器和黑色扫描器的位置被交换了。我们的模型直接根据图像进行端到端预测，就能轻松适应这种变化。

通用、不依赖特定任务、跨本体的模型。 除了实现即时学习，这也是一个通用、跨本体且不依赖特定示教者的模型：

所有任务共用一个模型。 本文每段视频都使用同一个预训练模型来学习相应任务，不进行任何针对特定任务的微调。任务之间唯一的区别，就是展示了不同的示范。

所有机器人共用一个模型。 在这些视频中，你会看到六种不同的机器人学习任务，所有机器人运行的都是同一个模型。此外，这些机器人的相机配置各不相同，而我们的模型可以适用于其中任意一种配置。

所有示教方式共用一个模型。 视频展示了四种不同的机器人示教方式：主从式示教、VR 控制器、拖动示教，以及直接用你自己的双手示范。无论采用哪种示教方式，使用的都是同一个模型。

下面的视频体现了这种通用性：一次示范、一个人的工厂。三台机器人共同工作，每台的夹爪类型、相机配置和示教方式都不同，但运行的是同一个模型。只用两分钟，整条装配线就实现了全自动运行。 按照传统方式，这个过程需要数周的系统集成和人工机器人编程。

一次示范、一个人的工厂。

从工厂车间到家中的书桌，我们在设计模型时就希望，它在低成本的爱好者级机器人上，也能像在工业机器人上一样好用。

更换纸卷。

机器人学习更换纸卷

将笔放入笔架。

机器人学习将笔放入笔架

收纳螺丝刀。

机器人学习收纳螺丝刀

我们的模型可以学习非常多样的任务。下面还选取了一些可以学会的、实用的日常任务。和前面的例子一样，机器人此前从未见过其中任何一个物体。

将罐子堆放到架子上。

机器人学习将罐子堆放到架子上

操作封袋机。

视频 10|机器人学习操作封袋机

操作离心机。

机器人学习操作离心机

给人体模型穿衣。

机器人学习给人体模型穿衣

SECTION / 08

发挥创造力：提示、组合泛化与示范拼接

当大语言模型变得快捷、简单、直观易用时，它们开启了一个前所未有的时代，让人们有了把想法变成文字的想象空间和机会。有了即时机器人学习，我们也可以在物理世界中做到同样的事：把想法变成行动。一次示范就足以学会一项新任务。如果有帮助，你也可以增加示范，以交互方式细化、澄清或组合行为。

当学习可以即时完成时，你可以通过下面这些方式发挥创造力。

可引导性。 面对完全相同的一组物体，你只需向机器人示范，就能引导它的行为。这里展示了与这些物体交互的三种不同方式，每一种都可以即时学会。这有力地说明，模型确实在以示范为条件作出行为，而不只是对预训练数据中的某项任务过拟合。

通过提示工程澄清意图。 如果一次示范所表达的任务有歧义，甚至人也无法确定，那么更多示范可以帮助澄清。在这个例子中，一个物体被放进一个黑色小容器。任务究竟是把它放进“小”容器，还是“黑色”容器？这并不明确。使用我们的模型时，你可以一边观察机器人的行为，一边补充示范来澄清意图。

追加示范，澄清应按容器大小还是颜色选择目标

物体泛化。 通过结合多个示例，我们的模型可以泛化到与示范中物体差异很大的新物体。这里，机器人先学会拿起“白色大信封”和“棕色小信封”。随后，它就能拿起“棕色大信封”和“蓝色中号信封”，展现出跨越形状和颜色两个维度的组合泛化能力。

组合不同示范，实现信封形状与颜色的泛化

示范拼接。 对于长时程任务，你不必一次给出完美的完整示范，而可以把任务拆成若干段子示范，再将它们拼接成完整任务。这里，一项两阶段任务通过两次示范完成教学，这样你就可以先单独检查第一次示范，再进行第二次。

把两个子示范拼接为完整的两阶段任务

物理世界的 vibe coding：“双重交接”案例。 不同本体的机器人往往需要采用不同策略，才能在各自的运动学限制内完成同一项任务。即时机器人学习能提供即时反馈，因此，寻找可行策略就变成了不断尝试不同提示，直到找到对机器人和模型都有效的一种。我们把这称为物理世界的 vibe coding：自由迭代物理提示，直到出现期望的行为。

例如，要把鞋子紧密地装进盒子，就需要调整鞋子的朝向，而对于配备平行夹爪的机器人来说，这并不容易。经过几次尝试，我们找到了一种包含双重交接的提示：让鞋子在两条机械臂之间交接并翻转，从而能够放进盒子里，见下方视频。每次修改提示，模型的行为都会立即改变，让我们很快就找到了一种可靠有效的提示。这种示范、观察、修改的快速循环，只有即时机器人学习才能实现。

双臂两次交接并翻转鞋子，将鞋子紧密放入盒中

双重交接

SECTION / 09

人类与人形机器人

我们的模型能够很好地适用于不同机器人和不同示教方式。我们很好奇，这种能力究竟能拓展到什么程度。在早期实验中，我们发现 VDA 模型也能直接从人的示范中学习，并在仿人手上运行。这些方向目前并非我们的主要重点，但初步结果令人期待，显示出模型的泛化潜力。

SECTION / 10

直接从人的双手学习

与传统后训练相比，即时学习已经大幅提高了实用性。再进一步，就是只用你自己的双手来示教，不需要任何其他设备。我们的早期结果表明，模型也能够以这种方式学习任务。

机器人从人的双手示范中学习操作，第一组实验

机器人从人的双手示范中学习操作，第二组实验

SECTION / 

11人形机器人的即时学习

本文每段视频都使用同一个模型来学习任务，而这个模型也能在人形机器人上学习任务。在这些视频中，我们展示了仿人手的可引导性：你用两根手指、三根手指或整只手示教，机器人就会用相同方式执行任务。

仿人手跟随不同手指示范完成操作，第一组实验

仿人手跟随不同手指示范完成操作，第二组实验视频

仿人手跟随不同手指示范完成操作，第三组实验

SECTION / 12

下一步：从三个层面加码“苦涩的教训”

上面的视频展示了即时机器人学习能做什么，以及如何使用。但它到底有多可靠？为了做压力测试，我们设计了几项可以自行复位的任务，见下方视频，并在一个周末让模型在每项任务上连续运行一小时。在此期间，机器人把积木放入碗中的成功次数为 74/74，来回交接螺丝刀为 78/78，将瓶子直立放好的成功次数为 97/99。（如果你好奇，两次失败发生在对应视频的 0:46 和 0:52，原因是潜在碰撞和运动学限制。）

虽然这些任务相对简单，结果依然很令人鼓舞。 但这只是开始，也将我们带到 Machenta 的下一阶段：从三个层面加码“苦涩的教训”，真正推进规模扩展。

“苦涩的教训”的核心，是关于如何随计算资源增加而扩展的经验：长远来看，胜出的方法，是那些能够随着更多计算资源的可用而持续改进的方法。我们押注的，就是把这条经验贯彻到极致。

第一，我们用计算从数据中学出智能，这比手工编程实现智能更容易扩展。第二，我们用计算来学习如何学习新任务，这比为每个任务设计一套训练流程更容易扩展。第三，我们用计算生成仿真数据，让这种学习能力从中涌现，这比在现实世界中采集全部数据更容易扩展。

计算扩展模型。计算扩展学习者。计算也扩展了它从中学习的世界。

令我们兴奋的是，关于这条路究竟能走多远，我们才刚刚开始探索。本文展示的结果，来自我们在 Machenta 最初几个月的工作。这段时间，我们主要专注于让即时学习能够实现所必需的基础研究：寻找合适的架构、训练方案和数据分布。

现在，我们已经可以检验一个简单的假设：随着我们提高仿真经验的密度与多样性，扩大模型容量，并增加训练所用的计算资源，应该会涌现出能力越来越强、能够应对越来越复杂任务的即时学习模型。

敬请期待这些结果。