PAPER DEEP DIVE
视觉即本体感知：从视频估计人形机器人全身位姿
HumanoidPose 结合冻结的人体姿态特征与机器人运动学，仅凭单目视频恢复跨构型全身关节和世界坐标运动。
论文深度解读
作者：Jiaxi Jiang、Matthias Heyrman、René Zurbrügg、Marco Hutter、Christian Holz
机构：苏黎世联邦理工学院
论文：https://arxiv.org/abs/2610.25288
项目页：https://siplab.org/projects/HumanoidPose
代码：https://github.com/eth-siplab/HumanoidPose。截至 2026 年 10 月 23 日，仓库只有说明文件、许可证和展示素材，明确标注代码与模型即将发布，因此本文不能假装已经存在可核对的训练或推理实现。
一句话总结
HumanoidPose 把普通单目视频当作外部本体感受器：先用 16 种人形机器人的合成图像训练一个以运动学描述为条件的共享位姿解码器，再借助在线视频自训练机器人检测器，最终从画面直接恢复关节角、根位姿和世界坐标轨迹。
研究背景与问题
人形机器人通常通过关节编码器、惯性测量单元和本体状态接口知道自己处于什么姿态。可在现实交互中，观察者未必拥有这些接口。机器人可能属于其他机构，通信链路可能被限制，隐私要求也可能禁止共享内部状态。此时，摄像头成为最自然的外部传感器：人只要看见机器人抬起手臂或迈出一步，就能大致判断它下一步会做什么。
论文把这一能力称为“视觉本体感受”。目标不是从图像中贴合一个人体网格，也不是只预测二维骨架，而是输出机器人自身的关节坐标、根节点相对相机的六自由度位姿，并进一步把整段动作放到世界坐标系中。输出必须能被机器人控制器和运动学习流程直接使用，因此关节顺序、关节限位、父子连杆结构和正运动学都不能被忽略。
单目视觉本身存在深度歧义。细长连杆在透视投影下可能产生多种解释，手部或腿部被躯干遮挡时，图像证据会突然消失。不同人形机器人的比例、关节数量、关节轴方向、外观和机械限位又各不相同。若为每个型号单独训练一个网络，数据采集成本会随型号数量线性增长，模型也很难迁移到新机器人。
现有机器人位姿工作多为机械臂相机标定或铰接物体跟踪。二维人形关键点检测可以找关节位置，却没有恢复三维关节角；人体网格恢复方法拥有很强的人体先验，但人体骨骼与机器人骨骼并不等价，先回归人体再重定向会把误差传递并放大。论文因此选择直接预测机器人关节配置，只在视觉特征层面复用人体预训练知识。
训练数据是第二个障碍。要覆盖不同外观、动作和视角，最理想的是让大量机器人重复执行动作，并同步保存图像与编码器数据。这在真实世界中难以规模化。论文反过来利用动作捕捉库、运动重定向和随机化渲染，构造图像与机器人状态精确配对的合成语料，再用无标注网络视频补足真实外观差异。
任务定义与总体流程
输入是一段外部相机拍摄的彩色视频 $\{I_t\}_{t=1}^{T}$，以及目标机器人的统一机器人描述格式或 MuJoCo 模型格式。若机器人有 $n$ 个受驱动关节，第 $t$ 帧要预测关节配置 $\hat{\mathbf{q}}_t\in\mathbb{R}^{n}$ 与根节点到相机的变换 $\hat{\mathbf{T}}_{C\leftarrow R,t}$。这里的 $R$ 表示机器人根坐标系，$C$ 表示相机坐标系。
系统分成三条相互衔接的路径。数据路径把人体动作重定向到多种机器人，并渲染出带精确标签的图像。检测路径先用合成数据训练二维检测器，再以在线视频中的高置信度结果为伪标签做两轮自训练。位姿路径冻结人体预训练图像编码器，将视觉令牌与各关节的运动学查询送入共享解码器，最后组合相机运动得到世界轨迹。
图 1：论文方法总览。上部为合成监督生成，中部为检测器自训练，下部为跨本体的关节角、根位姿和世界运动恢复。
这条设计和“先估计人体，再重定向到机器人”的基线有本质区别。人体网格只作为视觉特征的来源，不占据最终输出位置。解码器直接面对机器人关节，且同一个模型覆盖多种本体，避免每个型号各自维护一套预测头。论文的消融也显示，去掉直接机器人解码后误差上升最大。
flowchart LR
A[外部彩色视频] --> B[YOLO11机器人检测]
B --> C[按机器人高度裁剪]
C --> D[冻结的人体预训练图像编码器]
K[统一机器人描述] --> J[27维关节描述子]
J --> Q[共享多层感知机关节查询]
D --> X[32乘32图像令牌]
Q --> R[八头共享位姿解码器]
X --> R
R --> S[关节角与根节点位姿]
A --> M[DROID-SLAM相机估计]
B --> M
M --> W[世界坐标变换]
S --> W
W --> O[世界坐标机器人运动]
合成语料：把人体动作变成 16 种机器人监督
论文从 AMASS 动作捕捉库出发，用通用运动重定向方法 GMR 把人体动作映射到 16 个人形机器人模型。不同机器人的高度从 0.60 米到 1.78 米，受驱动自由度从 19 到 43。这个跨度同时覆盖小型平台、标准人形平台和具有更多手臂或手部关节的复杂结构，使模型必须学会用比例和拓扑理解本体，而不能只记住一个固定骨架。
重定向后的动作在 Unreal Engine 中渲染。论文随机化场景、光照、相机视角和机器人外观，并把机器人状态、相机内参、根位姿、关节配置与二维关键点同步保存。每张图像都有渲染时真正使用的控制量，因此关节标签不是人工估计，也不是从图像反推得到，而是生成过程直接留下的真值。
图 2：训练语料覆盖 16 种机器人，高度相差约 3 倍，关节数从 19 到 43。每个样本都配有生成图像时使用的机器人配置。
整套语料包含 128000 张图像。二维检测器与三维位姿解码器共享这套图像和骨架定义。机器人模型还提供统一坐标约定、关节限位和正运动学函数，使描述子、标签和损失处于同一套几何语义中。这一点比单纯增加渲染数量更重要，因为跨机器人共享模型首先要求不同本体能被放进一致的计算框架。
合成数据不会自动保证真实世界泛化。材质、运动模糊、镜头噪声、真实背景和实际机械间隙仍会制造域差距。论文没有声称渲染本身解决全部问题，而是把泛化拆成两部分：三维关节先验由大规模合成监督学习，真实外观差异由无标注视频适配二维检测器。
检测器：合成初始化与两轮自训练
二维检测器采用 YOLO11 姿态模型，并以人体关键点权重初始化。它输出机器人边界框以及 15 个跨本体共享的二维身体地标：骨盆、颈、头，左右髋、膝、脚、肩、肘和腕。这些地标不要求与每个机器人所有受驱动关节一一对应，只承担定位和视觉锚点作用。
只用合成图训练时，检测器在合成测试集上取得 100% 检测率和 93.6% 关键点正确率，但迁移到真实 G1、PM01 和 N1 后，检测率分别只有 81.1%、75.6% 和 99.3%。其中 N1 虽然容易被找到，关键点误差仍然很高。论文因此从在线视频中挖掘高置信度帧，通过时间插值补齐短缺口，只保留单机器人且边界框重叠的可靠样本，再与合成图像混合微调。
自训练重复两轮，并排除评测录像。最终真实覆盖率提升到 G1 的 98.8%、PM01 的 96.8% 和 N1 的 99.4%。在三个阶段共同检测到的帧上，固定同一个位姿解码器后，真实关节角误差分别为 7.11 度、5.36 度和 8.90 度。覆盖率增加与关键点质量改善是两条独立收益，前者决定视频中有多少帧可用，后者决定可用帧的几何质量。
推理时，检测框被扩展成正方形裁剪，并使机器人高度占据裁剪高度的 $\rho=0.55$。固定比例让输入尺度在三个真实平台之间保持可比，也为根节点深度网络提供稳定的投影关系。论文同时用这 15 个二维地标构造关键点拟合基线，确保比较时大家共享相同检测结果、裁剪和帧集合。
运动学条件：每个关节都有可迁移的身份
跨本体共享解码器的关键不是强行把所有机器人统一成同一种骨架，而是让每个受驱动关节用一段几何描述告诉网络“我是谁、我在哪里、我如何运动”。对关节 $j$，论文定义局部轴 $\mathbf{a}_j$、局部锚点 $\mathbf{c}_j$、相对父体的静止偏移 $\mathbf{o}_j$ 与静止四元数 $\mathbf{r}_j$，同时给出相对根坐标系的静止锚点 $\bar{\mathbf{c}}_j$、轴 $\bar{\mathbf{a}}_j$ 和左右侧符号 $\eta_j$。
这些量被组合成 27 维向量。局部几何描述关节在父体中的安装方式，根坐标系位置区分左右对称关节，关节限位限制可输出范围，树深度携带拓扑信息，机器人尺度则让不同高度的平台共享几何规律。完整描述子写成：
$$ \begin{aligned} \mathbf{v}_j=[&\mathbf{a}_j,\mathbf{c}_j/s_R,\mathbf{o}_j/s_R,\mathbf{r}_j, \|\mathbf{o}_j\|_2/s_R, \ell_j,u_j,u_j-\ell_j,\\ &d_j/10,\eta_j,\log s_R,\bar{\mathbf{c}}_j/s_R,\bar{\mathbf{a}}_j,m_j] \end{aligned} $$其中 $[\ell_j,u_j]$ 是关节范围，$d_j$ 是编译后机器人树中的深度，$s_R$ 是零位姿下由各连杆原点测得的竖直尺度，$m_j$ 标记关节是否存在有限限位。一个共享多层感知机把 $\mathbf{v}_j$ 映射成查询 $\mathbf{t}_j=\phi(\mathbf{v}_j)$。所有机器人复用一个映射网络，因此新本体无需新增关节嵌入。
这些查询与图像令牌组成序列：
$$ \mathbf{H}^{0}=[\mathbf{e}_{root},\mathbf{e}_{aux}, \mathbf{t}_1,\ldots,\mathbf{t}_n] $$根查询与辅助查询负责全局状态，关节查询负责具体控制量。不同机器人序列长度不同，但每个元素的语义一致。因此解码器可以通过注意力把可见手臂、腿部或躯干像素与对应关节联系起来。左右对称关节不会只因为名字相同就得到相同表示，根坐标系中的锚点、轴和侧别会提供空间身份。
视觉编码与共享位姿解码
图像分支冻结 PromptHMR 的图像编码器与相机编码器。裁剪图经过编码后汇集为 $32\times32$ 个图像令牌，保留空间排列而不是压成一个全局向量。冻结编码器带来两个好处：人体图像预训练提供的姿态和空间关系没有被小规模机器人数据冲掉；训练只需优化约 455 万活跃参数，计算和显存成本远低于端到端重训大型视觉骨干。
共享解码器宽 256，使用 8 个注意力头。根查询、辅助查询和所有关节查询同时读取图像令牌，再分别输出根参数与关节参数。论文逐帧解码位姿，时间信息只用于检测器自训练、短缺口插值和相机运动估计，没有在关节轨迹上加入显式递归或时序平滑。这种设计让帧级训练更直接，也意味着输出可能保留逐帧抖动。
有限位关节先预测归一化值，再投影进机械范围：
$$ \hat{q}_j=\ell_j+(u_j-\ell_j)\operatorname{sigmoid}(z_j) $$无限位关节直接回归，但通过角度环绕保持周期一致：
$$ \hat{q}_j=\operatorname{wrap}(z_j) $$根节点深度不是任意回归的相机坐标，而是由机器人真实高度 $H_R$、裁剪参考尺寸 $S$、机器人高度占比 $\rho$ 和焦距 $f_x$ 构造尺度，再通过网络输出修正：
$$ \hat{z}=\frac{f_xH_R}{S\rho} \exp(\operatorname{clip}(p_z,-3,3)) $$图像平面位置由裁剪中心投影和二维残差修正得到：
$$ \begin{aligned} \hat{t}_x&=\left(\frac{u_0-c_x}{f_x}+p_x\right)\hat{z},\\ \hat{t}_y&=\left(\frac{u_0-c_y}{f_y}+p_y\right)\hat{z} \end{aligned} $$这种参数化把已知机器人尺寸作为公制尺度先验，又允许网络根据具体姿态修正。机器人蹲下时，固定按图像包围框高度缩放会产生系统误差；学习到的 $p_z,p_x,p_y$ 可以从视觉上下文判断姿态变化。这也是其根轨迹显著优于简单高度缩放的原因。
损失函数：关节角、正运动学与根变换共同约束
只监督关节角存在一个优化盲点：相连关节可能通过不同组合产生相似的末端位置，而某些末端旋转即使不改变连杆原点也不会被位置误差捕获。论文因此同时监督控制量、正运动学得到的身体原点和根节点变换。角度项对每个关节的环绕误差取平均：
$$ \mathcal{L}_{q}=\frac{1}{n}\sum_j \left|\operatorname{wrap}(\hat{q}_j-q_j)\right| $$正运动学项直接比较预测配置和真值配置产生的各身体原点位置：
$$ \mathcal{L}_{FK}=\frac{1}{|\mathcal{B}_R|} \sum_{b\in\mathcal{B}_R} \left\|P_R(\hat{\mathbf{q}})_b-P_R(\mathbf{q})_b\right\|_2 $$末端方向项对末端受驱动连杆的单位四元数使用 $1-\langle\hat{\mathbf{u}}_b,\mathbf{u}_b\rangle^2$，用于约束不改变原点位置的旋转。完整目标还包含根旋转测地误差与根平移误差：
$$ \mathcal{L}=\mathcal{L}_{q}+\lambda_{FK}\mathcal{L}_{FK} +\lambda_{end}\mathcal{L}_{end} +\lambda_{root}\left(\mathcal{L}_{rot} +\frac{\|\hat{\mathbf{t}}-\mathbf{t}\|_1}{5}\right) $$论文设置 $\lambda_{FK}=1$、$\lambda_{end}=0.1$、$\lambda_{root}=0.5$。可微分正运动学把身体位置误差传回关节预测，同时把根运动与关节运动分开。训练用 AdamW，学习率 $4\times10^{-4}$，有效批大小 48，每个本体使用 8000 张合成图像训练 20 轮。参考裁剪尺寸 $S=480$，图像编码器保持冻结。
从机器人坐标到世界坐标
根节点到相机坐标系只能描述机器人在当前画面中的位置。要得到连续轨迹，还要把相机自身运动抵消掉。若 $\mathbf{T}_{A\leftarrow B}$ 表示从坐标系 $B$ 到 $A$ 的变换，则世界坐标系中的机器人根变换为：
$$ \hat{\mathbf{T}}_{W\leftarrow R,t} =\mathbf{T}_{W\leftarrow C,t} \hat{\mathbf{T}}_{C\leftarrow R,t} $$相机固定时，相机到世界变换为常量；相机移动时，论文先遮掉机器人像素，避免把机器人自身运动误判为相机运动，再用 PromptHMR 相机流程和 DROID-SLAM 估计轨迹。公制深度提供平移尺度。每个连续镜头单独定义世界原点，因此该方法恢复的是一条镜头内的相对世界轨迹，而不是自动把所有片段拼成统一地图。
这套组合把视觉、机器人和相机三个坐标系明确分开。关节角决定机器人内部形状，根预测决定它相对相机的位置，相机变换决定观察者在世界中如何移动。任何一项出错都会通过变换链传递到最终轨迹，因此论文不仅评估关节误差，也在 G1 上单独用动作捕捉真值检查根轨迹。
实验结果一：跨本体关节与位置精度
实验使用 Unitree G1、EngineAI PM01 和 Fourier N1 的真实录像，覆盖行走、手臂运动、蹲伏和借助支撑物的姿势。真实集包含与编码器同步的关节参考，G1 还提供光学动作捕捉数据以评估全局根轨迹。每个机器人内部按帧汇总真实误差；合成数据则对 16 个机器人等权平均，避免高帧数本体支配结果。
论文比较关键点拟合、PromptHMR 加 GMR、加入合成微调的 PromptHMR 加 GMR、HoRoPose 和 RoboPEPP。由于完整人形三维视觉本体估计仍缺少统一基准，这些基线是论文为任务专门构造或适配的。所有方法尽量共享检测、裁剪和帧，减少输入差异。HumanoidPose 仍使用一个模型覆盖全部 16 个机器人，而几个基线需要为机器人训练独立模型。
| 平台 | HumanoidPose 角度误差 | 最佳基线角度误差 | HumanoidPose 位置误差 | 最佳基线位置误差 |
|---|---|---|---|---|
| G1 | 7.10° | 10.46° | 3.81 cm | 4.88 cm |
| PM01 | 5.65° | 6.99° | 2.60 cm | 6.02 cm |
| N1 | 8.62° | 10.52° | 5.18 cm | 5.63 cm |
| 合成 16 模型 | 9.48° | 14.49° | 4.49 cm | 8.68 cm |
结果最直接的含义是：共享模型不仅没有因为跨本体而牺牲精度，反而在三个真实平台上都超过各自最佳基线。相对最佳逐平台基线，真实关节角误差降低 18% 至 32%，G1 的收益最大。合成集上，关节角误差相对最强基线 RoboPEPP 降低约 35%。位置误差也普遍改善，但 N1 上相对最佳基线的优势较小，说明细长、特殊结构的真实机器人仍有提升空间。
图 3：同一模型在 Unitree G1、EngineAI PM01 和 Fourier N1 上的真实图像与三维预测。动作包括行走、抬臂、蹲伏和支撑姿势。
图 3 比单看误差数字更能说明泛化范围。三个平台机械比例和外观不同，相机还包含侧面与背面视角；模型仍能重建整体姿态。不过这是一组定性结果，不能据此断言所有遮挡、快速动作或极端关节组合都同样可靠。
实验结果二：全局根轨迹
根轨迹实验只在具备动作捕捉真值的 G1 上进行。每个预测轨迹只做一次固定尺度刚体对齐，不逐帧重新缩放，并在初始残差最低的 90% 帧上细化对齐。这样评估的是整段运动的空间形状和尺度，而不是允许每帧贴到真值附近。
| 方法 | 均方根误差 | 中位误差 | P90 |
|---|---|---|---|
| 关键点拟合 | 42.2 | 21.3 | 56.3 |
| PromptHMR | 66.2 | 37.4 | 96.2 |
| PromptHMR 加高度缩放 | 39.0 | 16.8 | 51.1 |
| HumanoidPose | 23.4 | 11.3 | 21.7 |
相对经过高度缩放的 PromptHMR，HumanoidPose 的根平移均方根误差从 39.0 厘米降到 23.4 厘米，降幅约 40%。更重要的是中位误差与 P90 同时下降。简单高度缩放可能在某些站立姿态下工作，却难以处理蹲伏、弯腰和支撑动作；论文的根网络从图像修正尺度，能够吸收姿态造成的投影变化。
这项实验的边界也需要明确：全局根真值只来自一个机器人平台。N1 和 PM01 的关节结果不能自动证明它们的根轨迹同样准确。多镜头世界坐标拼接、长距离漂移和不同地面的尺度变化也没有被完整评估。
实验结果三：每个设计是否真的必要
论文在相同测试集上删除四个核心组件。去掉关节身份，即删除根坐标系锚点、轴和左右侧标记；去掉直接机器人解码，即回到合成微调的人体模型再重定向；去掉运动学条件，即用每个机器人关节的可学习嵌入替代几何描述子；去掉人体预训练编码器，即换成通用 DINOv2。真实指标是三个机器人按帧加权平均。
| 变体 | 合成角度 | 合成位置 | 真实角度 | 真实位置 |
|---|---|---|---|---|
| 完整模型 | 9.48° | 4.49 cm | 7.09° | 3.82 cm |
| 无关节身份 | 10.94° | 5.05 cm | 7.15° | 4.02 cm |
| 无直接机器人解码 | 16.82° | 7.98 cm | 12.12° | 6.19 cm |
| 无运动学条件 | 12.43° | 6.67 cm | 7.62° | 4.15 cm |
| 无人体预训练编码器 | 11.14° | 5.57 cm | 7.95° | 4.65 cm |
影响最大的是“直接机器人解码”。把输出交还给人体模型和重定向后，合成角度误差从 9.48 度升到 16.82 度，真实角度从 7.09 度升到 12.12 度。这支持论文的核心判断：人体先验适合提供视觉特征，但人体参数化不适合作为机器人状态的中间瓶颈。
运动学描述子也很重要。换成每个机器人自己的可学习关节嵌入，虽然仍共享解码器，但合成误差升到 12.43 度。固定嵌入只能记住训练过的关节身份，难以表达新本体的几何关系；描述子则把关节轴、位置、限位和尺度显式编码，给新机器人留下按同一语义接入的路径。
关节身份和人体预训练编码器带来的收益相对较小，但方向一致。真实集上的差距尤其有限，说明论文仍需更多平台和更细的结构消融来判断这些模块在哪些情况下最关键。表 3 的完整模型真实角度为 7.09 度，与表 1 按三个平台等权得到的平均值略有差异，是因为真实消融采用按帧加权汇总，不能把两者当成同一统计口径。
新本体迁移与少样本适应
论文还检验了真正未见的机器人结构。训练解码器时分别留出两个 G1 变体或 PM01，只保留其余 14 或 15 个机器人，同时继续使用包含目标机器人合成图和公开视频训练的检测器。测试时，目标机器人的运动学描述直接生成查询，不增加新的关节嵌入。
留出本体上的真实汇总误差为 G1 11.27 度、PM01 11.44 度，各序列的根误差中位数为 8 至 16 厘米。它们比训练中包含目标本体的专用结果差，但仍能在没有真实关节监督的情况下给出可用姿态。这个结果比“同一模型覆盖已见 16 个机器人”更强，因为它检验了描述空间对新拓扑的外推。
进一步实验把留出的 G1 解码器在逐渐增加的 G1 合成图像上微调。随着样本数增加，合成测试误差持续下降，但图像编码器仍冻结，也没有使用真实关节标签。这说明适应新机器人首先需要正确的运动学描述和少量目标合成数据，而不一定需要昂贵地同步采集真实编码器数据。
检测器自训练的实际收益
| 阶段 | 合成关键点正确率 | G1 覆盖与角度 | PM01 覆盖与角度 | N1 覆盖与角度 |
|---|---|---|---|---|
| YOLO11 初始 | 38.6% | 98.6%，7.82° | 96.5%，5.89° | 77.8%，17.65° |
| 加合成微调 | 93.6% | 81.1%，8.65° | 75.6%，5.87° | 99.3%，8.98° |
| 加两轮自训练 | 92.1% | 98.8%，7.11° | 96.8%，5.36° | 99.4%，8.90° |
这组表揭示了一个不能只看平均值的权衡。合成微调把关键点正确率从 38.6% 提高到 93.6%，也解决了 N1 的大部分检测问题，却让 G1 和 PM01 的真实覆盖下降。后续自训练把两个平台重新提升到 96% 以上，同时把 G1 和 PM01 的固定解码器误差降到 7.11 度和 5.36 度。N1 的覆盖保持稳定，误差只小幅下降。
因此，自训练的主要贡献首先是恢复真实视频中的可用帧，其次才是改善定位。对下游应用来说，这是必须区分的事情。检测不到机器人时，无论三维解码器多准都没有输出；检测到但关键点偏位时，才会体现为位姿误差。论文在共享帧上评估避免了不同覆盖率导致的指标混淆。
方法优势与工程意义
第一，论文把输出空间改为机器人控制量，而不是人体参数。关节角可直接送到正运动学、动作分析或模仿学习管线，减少一次重定向转换。第二，运动学描述子让共享网络扩展到不同高度和不同关节数，模型容量不再随每个型号线性复制。第三，合成监督覆盖稀有动作和多视角，真实视频只用于适配检测外观，分工清楚。
第四，根节点参数化把已知机器人尺寸与图像相对位置分开。网络不必从零学习米制尺度，又能根据姿态修正高度先验。第五，世界坐标恢复明确遮掉机器人再估相机，避免把被观察对象当成静态场景。第六，论文提供了关节、根位置、检测覆盖和未见本体的分层评估，而不是只展示几张漂亮的三维重建图。
局限与风险
作者明确承认，实验只处理单个机器人。多机器人场景中，身份关联、相互遮挡和证据中断会造成更复杂的歧义；要维持每个机器人的轨迹一致，需要专门的身份跟踪和时序建模。论文没有把“检测多个框”直接包装成多机器人能力。
作者还指出，下游交互和从演示学习尚未评估。关节角误差降低并不自动等于动作预测、协同控制或模仿策略更好。不同任务对误差的敏感度不同，例如接触操作可能比行走姿态更在意末端位置，而论文当前指标不能替代任务级实验。
从方法本身看，位姿解码逐帧进行，没有显式关节时序平滑或物理约束。真实视频中可能出现帧间抖动、短时跳变和遮挡后的不一致。虽然检测器自训练使用时间锚点与插值，这些时序信息没有进入三维关节轨迹，因此还不能视为完整视频动作捕捉系统。
评估范围也有限。物理机器人只有三种，全局根轨迹真值只有 G1，泛化到不同尺寸、不同足端结构、灵巧手和轮足平台仍需验证。方法依赖准确的统一机器人描述或 MuJoCo 模型；如果关节轴、限位或连杆尺度有偏差，描述子和正运动学监督都会受影响。
最后，代码和权重尚未公开。论文展示了完整思路和可复现实验流程，但外部研究者目前无法核对实现细节、训练预算、推理速度和真实部署鲁棒性。仓库说明只承诺后续发布，不能把计划中的资源当成现在可用的工程资产。
总结与展望
HumanoidPose 的核心贡献不是单独发明一个新的视觉骨干，而是重新组织视觉先验、机器人运动学和真实域适配之间的关系。人体预训练特征提供通用身体理解，正运动学描述提供跨本体的结构接口，合成数据提供精确监督，在线视频自训练补上真实外观。最终模型直接从视频输出机器人关节状态，并把预测送入世界坐标。
三个真实平台的关节角误差为 5.65 至 8.62 度，位置误差为 2.60 至 5.18 厘米；G1 根轨迹均方根误差为 23.4 厘米。结果说明“看另一个机器人并推断其内部状态”具备可行性，尤其适合无法读取本体数据的外部观察、网络视频动作提取和生成视频筛选。
下一步最值得补的是时序跟踪、多机器人身份、物理可行动作约束和任务级闭环评估。如果这些能力与当前跨本体解码器结合，视觉可能成为机器人状态接口之外的一条独立感知通道，而不是本体传感器的简单替代。
金句
当机器人的内部状态不可见时，视频不只是外观记录，也可以成为推断其关节、平衡与运动意图的外部本体感受。
