10小时前 Gemini Robotics 2 发布：全身控制，机器人开始组队干活

一、三个模型，一次发布

几十年来，人们一直期待机器人能自然地走进我们的世界搭把手。现在，这个愿景往前迈出了实打实的一步。

大多数机器人依靠预先编程或者遥操作来完成狭窄而重复的任务序列。它们缺乏真正自主学习的能力，也无法适应难以预测的环境。更进一步说，把学到的技能从一种机器人本体迁移到另一种，至今仍然极其困难。想要在规模化的前提下啃下最难的问题，各种形态和尺寸的机器人都需要 AI 模型赋予它们思考、行动和智能交互的能力，从而安全地完成任务。

我们此前用 Gemini Robotics 展示过 Gemini 的多模态理解如何驱动真实世界中的动作。今天，我们推出 Gemini Robotics 2，它是驱动下一代真正具备适应能力的机器人的智能层。

随着它迈出字面意义上的第一步，这次重要进展解锁了智能全身控制、进阶灵巧操作和多机器人协作。

Gemini Robotics 2 让机器人能够对每一个动作进行推理，从而打开了相当广的任务范围。举例来说，它可以让一台人形机器人走动、下蹲、伸展并操作物体，把一个杂乱的房间收拾干净。它甚至可以和其他机器人组队，更快地把活干完。而这份深层的智能同样可以在设备本地运行，并且在几个小时之内就能平滑适配到全新的机器人本体上。

图注：Gemini Robotics 2 让人形机器人具备从脚掌到指尖的全身控制能力。图片来自 Google DeepMind 官方视频截帧。

我们通过三个能力很强的模型来实现这一点。

Gemini Robotics 2 是我们最先进的视觉语言动作模型（VLA），它把视觉和语言输入转换为电机控制，让机器人得以采取行动。这个模型有能力控制完整的人形机器人，从脚掌到指尖，也能控制其他双臂机器人。

它同时在双手和夹爪两类末端执行器上带来了新层级的灵巧操作能力。

Gemini Robotics ER 2 是我们能力最强的具身推理（ER）模型。它是一个视觉语言模型（VLM），扮演我们的智能体角色，让机器人能够与人沟通、理解物理世界并规划长达数分钟的多步任务。我们也在其中引入了让机器人作为团队协同工作的能力。

Gemini Robotics On-Device 2 是我们效率最高的视觉语言动作模型（VLA），经过优化后可以在机器人设备本地运行。这个模型现在能够用几个小时的数据快速适配到全新的机器人本体上。

图注：同一个模型检查点在三种本体上的表现，装因时手的 Apollo 2 在全身操作任务上的成功率为 68.4% 至 76.3%。图表来自 Google DeepMind。

我们的推理模型 Gemini Robotics ER 2 现已在 Google AI Studio 上线，并在 Gemini Enterprise Agent Platform 上开放私有预览。VLA 模型和端侧模型面向早期合作伙伴开放。如何把这些模型接到自己的硬件上，可以查阅我们的开发者博客。

二、人形机器人开始应对全身任务

这个世界是按照人类的动作方式建造的，它要求我们在狭窄杂乱的空间里伸手、弯腰并保持平衡。我们此前的模型控制人形机器人的上半身来完成桌面任务，而 Gemini Robotics 2 把物理 AI 扩展到了全身动作。

我们的模型第一次可以控制完整的人形机器人，把意图翻译成智能的全身控制。 举例来说，在控制 Apptronik 的 Apollo 2 人形机器人时，我们可以让它“把洒水壶放进最下层货架的绿色箱子里”。Apollo 处理完这条指令，走到桌子旁边，拿起洒水壶，再走几步到货架前，把它精准地放到目的地。虽然我们的机器人在移动速度上还有不少要推进的空间，但这是迈向更复杂真实任务所需技能的重要一步，那些任务需要全身协调才能完成。

图注：Apollo 2 接到指令后走到桌前取物，全程由 Gemini Robotics 2 驱动。图片来自 Google DeepMind 官方视频截帧。

三、把进阶灵巧度带给双手和夹爪

要在家庭和工作场所真正派上用场，机器人需要细腻的手上功夫。Gemini Robotics 2 在不同末端执行器上都解锁了新层级的物理灵巧度，无论机器人用的是手还是夹爪，都比以往更加有用。

这个模型现在可以控制 Apollo 2 机器人上那只五指、22 个自由度的 SharpaWave 手，完成打结或者封住保鲜袋这类精细动作。 它也能操作 Franka Duo 平台上标准的两指平行夹爪，执行复杂的灵巧任务，比如紧密装箱。我们正在继续推进精度和速度，目标是达到人类水平的灵巧度。

图注：SharpaWave 五指手正在封一只装着葡萄的保鲜袋。图片来自 Google DeepMind 官方视频截帧。

图注：多指灵巧任务的成功率，拧下灯泡为 92%，但拧回去只有 36%，扫簸箕 32%，封保鲜袋 40%。图表来自 Google DeepMind。

图注：夹爪任务表现明显更稳，通用抓放 74.2%，多样化工具配套 78.9%，精密插入 89.6%。图表来自 Google DeepMind。

四、用智能体推理和多机器人协作解锁进阶任务

现实世界中的大多数任务都需要在较长时间里完成多个步骤。为了驾驭这种复杂度，我们的具身推理模型 Gemini Robotics ER 2 充当机器人的高层大脑，负责处理用户指令并与人沟通。它观察房间，推理出完成任务所需的步骤，与 VLA 协同来执行动作，并且一路跟踪进度直到任务完成。这套配置让机器人能够执行复杂的多步任务，在某一步失败时自我纠正，并泛化到全新的情境和目标上。

在这次更新中，我们让机器人能够更可靠地执行更长的任务序列，这些序列持续数分钟，涉及数百个决策。Gemini Robotics ER 2 现在能理解任务何时开始、何时结束，也能精确定位关键事件发生的时刻，这在进度理解上是一次台阶式的变化。

除此之外，我们还引入了多机器人协作。这让不同类型的机器人可以互相沟通、协同工作，去解决单台机器人独自无法完成的复杂工作流。

图注：人形机器人与双臂机器人在同一工位上分工协作。图片来自 Google DeepMind 官方视频截帧。

五、让端侧模型快速适配任意机器人

许多机器人应用需要在没有网络延迟或者没有互联网连接的条件下运行。Gemini Robotics On-Device 2 正是为应对这些约束而生，它是我们效率最高的视觉语言动作模型（VLA），经过优化可在机器人设备本地运行。

这个模型原生支持多本体，并继承了我们在 Gemini Robotics 1.5 中的进阶“动作迁移”技术。 我们现在只需要几个小时的适配时间就能适配到新的双臂机器人本体，通常用不到 200 个示例。即便面对形状、传感器和自由度差异极大的全新本体，这套方法依然奏效，下图中 Dexmate、SO101 和 Trossen 三个平台执行的多样化任务就是例证。

图注：Dexmate、SO101 和 Trossen 等平台在端侧模型驱动下自主执行任务，右上角标注为播放倍速。图片来自 Google DeepMind 官方视频截帧。

六、推进安全与负责任机器人的承诺

安全是我们机器人研究的根基。随着机器人获得更多物理能力，我们致力于确保端到端的安全与对齐。每一次发布，我们都采取多层次的方法，把传统的物理安全措施与稳健的 AI 安全框架结合起来。

Gemini Robotics 2 特别针对两件事推进了机器人安全，一是应对真实世界的不确定性，二是与人类并肩协作。

我们推出了 ASIMOV-Agentic，这是一个面向智能体安全编排与不确定性化解的新基准。 举例来说，它衡量具身推理智能体拒绝来自 VLA 的不安全工具调用的能力。它同时衡量该智能体预判任务是否可行的能力，以及在不确定时主动请求人类介入的能力。

除此之外，凭借增强的具身推理，Gemini Robotics ER 2 是我们迄今在安全约束遵循和人体接近度基准上表现最安全的机器人模型。它能更好地察觉附近是否有人，触发安全工具调用，并在有人靠得过近时让机器人安全停下。这是协作安全标准中的一项关键要求。更多细节可以查阅我们的《Gemini Robotics 2: Safety Technical Report》。

七、走向通用物理智能

Gemini Robotics 2 标志着通往解决物理世界 AGI 道路上的一个重要里程碑。要释放机器人技术的真正潜力，就必须越过单一任务自动化，走向通用智能。通过构建这层核心智能，我们的目标是让物理世界中的 AI 能够与人类并肩，共同解决复杂的挑战。