2026-09-23 清华的视觉运动控制：把"下一步踩哪"当成搜索词。

作者：Yuanxq     出品：具身智能研究室

人形机器人走上台阶之前，通常已经看过脚下即将接触的踏面。但随着身体前进，这块区域可能离开相机视野，也可能被腿部遮挡。看见地面的时刻与真正踩上去的时刻存在间隔，控制器需要保留并找回此前的视觉信息。

图3：橙色十字标出实际落脚点。它在约 0.02 秒前的最新深度图中已不可见，在约 0.42 秒前的图像中仍然可见。标记来自离线记录。

保存历史图像之后，还需要确定当前这一步该读取哪一帧、哪个区域。左脚和右脚的接触位置、接触时机不同，对地形信息的需求也不同。

清华大学等机构提出的 FootQuery，以每只脚的下一次接触为检索条件：先根据身体状态预测左右脚可能落在哪里，再从历史深度图中读取相关地形，辅助生成动作。

这里的落脚预测描述当前运动可能产生的接触位置，为视觉检索提供线索。控制策略结合检索结果继续调整动作。整个过程形成一条清晰的信息链：

身体状态 → 预测落脚 → 检索历史 → 融合地形信息 → 输出动作。

训练时，脚真正落地后，系统还会把实际接触位置投影回历史图像，标出曾经看见它的区域。这样，注意力就获得了直接对应未来接触的监督信号。

方法设计

整体架构

图4：身体状态用于预测落脚，深度历史提供全局记忆和局部特征，左右脚分别检索后生成控制动作。紫色短线表示停止梯度。

FootQuery包含三条信息路径：本体感知路径描述身体运动，全局视觉路径概括近期地形，足部检索路径提取与下一次接触相关的局部信息。策略融合这些特征，输出关节位置偏移量。

主配置控制 G1 的 21 个关节，策略运行频率为 50 Hz。本体感知包括身体角速度、重力方向、速度指令、关节状态和上一时刻动作，同时使用前九个控制时刻的历史观测。历史帮助网络区分抬脚、摆动和接近落地等运动阶段。

预测落脚分布

网络为左右脚分别提取特征，并预测二维高斯分布：均值表示可能的落脚位置，标准差表示预测的不确定性。坐标位于当前骨盆偏航对齐的水平平面内。

落脚预测头仅使用本体感知。 它先根据身体运动形成接触预期，再把位置与不确定性一起交给检索模块。摆动初期的运动变化较大，接近接触时预测通常更准确，分布表达能够保留这种差异。

预测均值在两个坐标方向分别限制于约 ±1.0 米、±0.6 米，标准差限制于 0.03～0.60 米，避免输出过大的位置范围或极端的不确定性。

保存视觉历史

系统保留 8 帧深度图，覆盖约 1.4 秒，相邻保留帧间隔约 0.2 秒。每帧裁剪为 27×24 的近场区域，再经过共享卷积编码器。

编码结果分成两路：

局部特征：保留空间细节，组成 288 个视觉 token，加入帧位置和空间位置编码，供左右脚查询。

全局记忆：进一步编码并池化每帧特征，再由 GRU 按时间顺序汇总地形信息。

局部特征保留踏面、边缘等细节，全局记忆补充整体场景。GRU 在每个历史窗口内从零状态开始处理，记忆范围由保留窗口决定。

按脚检索地形

每只脚的查询向量融合两类信息：该脚的运动特征，以及预测落脚位置和不确定性的编码。 历史视觉 token 则被映射为用于匹配的 Key 和提供内容的 Value。

四头交叉注意力将查询与历史特征匹配，为左右脚各生成一个 64 维视觉上下文。右脚接近上一级台阶时，可以读取与该次接触有关的踏面信息；左脚使用独立查询，关注自己的后续接触。

部署时，这种匹配由学习到的注意力完成，无需利用历史相机位姿对图像进行几何对齐。预测分布作为检索条件输入网络，其作用由训练形成。

用接触监督检索

训练包含两类直接监督。

落脚预测监督利用采样片段内满足条件的下一次实际接触，训练位置均值与高斯分布。均值使用 Smooth-L1 损失，分布使用负对数似然损失，距离当前较近的接触标签权重更高。

历史读取监督利用仿真中的相机位姿，把真实接触点投影回历史深度图。只有位于有效区域且深度一致的投影，才会被转成注意力标签。

这条监督链是本文的关键：用“脚后来踩在哪里”，教网络识别“此前哪些画面包含有用证据”。 读取损失鼓励多个注意力头中至少有一个与接触区域对齐，其余头可以学习互补信息。

训练将 PPO任务损失、状态估计损失、落脚预测损失和读取损失联合优化。预测输出传给检索与动作网络时采用停止梯度，阻断 PPO 沿这条连接直接修改预测头；共享编码器仍参与联合训练。

最终，动作网络结合本体感知、全局视觉记忆、左右脚检索结果、落脚分布，以及估计的机身速度和接触概率，生成关节目标。真实接触标签和历史相机位姿仅用于训练监督。

辅助力课程

训练初期，机器人容易频繁摔倒，难以积累有效的跨越经验。作者在仿真中给骨盆施加向上支撑力和姿态恢复力矩，帮助策略完成早期探索。

系统根据存活情况和辅助需求调整支撑强度。需求统计使用限幅前的力与力矩，避免输出被截断后低估机器人对辅助的依赖。达到撤除阶段后，辅助持续衰减至零。

评估和真机部署时，辅助力均为零。

踏面中线奖励

图6：绿色为踏面中线，橙色为前后边缘，紫色为脚底中心投影。奖励约束沿行进方向的偏差。

踏面中线奖励鼓励脚底中心远离台阶前后边缘，增加支撑余量。系统在摆动早期锁定目标踏面，避免目标反复切换，也避免两只脚争抢同一目标。

奖励根据脚向中线靠近的进展持续提供反馈，落地时再对剩余偏差施加惩罚。左右脚交替踩上相邻台阶获得正奖励，两脚停在同一级受到负奖励。横向落脚位置保持自由。

这两项训练机制分别改善早期探索和楼梯接触质量，与 FootQuery 的视觉检索共同支持运动学习。

实验结果

历史补回信息

在约 7.95 万个楼梯诊断样本中，作者统计了未来脚底中心的可见性：

历史图像为 60.07%的样本补充了当前视野缺失的接触信息。 这直接支持使用视觉历史的必要性。仍有约三成样本在整个窗口内不可见，策略需要结合身体状态、全局特征和学到的运动规律完成控制。

这些比例对应论文设定的相机视野、裁剪区域和楼梯样本，统计对象是未来脚底中心。

困难地形表现

图7：从左至右为楼梯、沟隙、平台。蓝线是完整系统，其余包括 HPL，以及移除足部检索、中线奖励、辅助力的版本。

最困难设置下的仿真结果如下：

相较于移除 FootQuery 的版本，完整系统分别提高 13、60、55 个百分点，沟隙与高平台的差距最明显。HPL 在 50 cm 沟隙上达到相同成功率。

这组组件比较缺少完整试验次数、多随机种子波动和检查点来源信息，性能优势的统计稳定性仍需进一步验证。

检索与预测质量

在历史中可见的样本上，所有注意力头平均向接触相关 token 分配 34.30% 的权重，高于均匀分配的 5.58%参考值。利用真实标签离线选出的最佳注意力头，Top-1、Top-3 命中率分别为81.73%、95.80%。这些指标显示注意力与接触区域有较强关联；最佳头由真实标签选取，均匀参考也未考虑有效 token 掩码。

落脚预测误差随提前量增大：

近接触预测更准确，较远期预测仍有明显不确定性。采样片段边界也会减少监督机会：离线完整未来窗口的标签覆盖率为49.35%，限定在当前片段内则降至21.94%。

上述诊断使用12关节腿部策略，主实验使用21关节配置。另一个待验证的问题是动作策略对局部检索的实际依赖程度：现有消融同时移除了多条路径，需要进一步通过去掉读取监督、置零或打乱检索特征等对照，分离各部分贡献。

训练机制效果

辅助力使总体成功率达到0.5的时间提前约1500～2000次PPO迭代，后期差距缩小。其效果随难度变化：15 cm楼梯上，无辅助版本达到98%，完整版本为93%；最大障碍设置中，移除辅助则降低成功率。

图9：左列无中线奖励，右列有中线奖励；上行为上楼，下行为下楼。红框标出比较的接触位置。

中线奖励使示例中的落脚位置更深入踏面，减少脚底悬在边缘的情况。论文尚未给出支撑面积、边缘距离和踩边频率的统计分布，这部分证据主要来自接触示例和总体成功率。

真机连续通过

图11：室外上楼，以及室内楼梯、平台、沟隙组合路线。叠加姿态表示连续执行中的不同阶段。

在真实 Unitree G1上，同一策略完成室外楼梯和室内混合地形的连续通过，能够衔接支撑高度与地面连续性变化。论文未报告系统性的真机重复试验成功率，展示结果主要验证了可部署性和连续执行能力。

FootQuery的核心价值，是把未来接触作为连接身体状态、视觉历史和动作生成的明确线索。现有结果支持历史视觉的作用，也显示完整系统在困难地形上的收益；接触检索的独立贡献与真机长期可靠性，还需要更充分的对照和重复实验。