---

🌌你好！这里是 晓雨的笔记本 在所有感兴趣的领域扩展知识，感谢你的陪伴与支持~ 👋 欢迎添加好友 is_yu_ei，不定期掉落福利资讯

---

写在最前面

版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。

文献与图片说明：本文为对 ECCV 2026 论文 TAIHRI 的解读。文中所引论文原图及原始实验数据均标明来源，图片版权仍归原权利人所有，不包含在本文文字内容的原创授权范围内。

对机器人说一句“和我握个手”，难点很快就会从语言转到空间：你伸出的是哪只手，手腕在什么位置，离机器人还有多远？如果你向前挪半步，原来的目标位置还有效吗？这些问题没有解决，即使机器人理解了指令，也很难把动作落到正确的地方。

ECCV 2026 论文 TAIHRI 关注的正是这一环节。来自清华大学深圳国际研究生院、腾讯 Robotics X 和福田实验室的研究者，把近距离人体感知的目标收敛到一件具体的事：根据交互任务，找出相关身体关键点在机器人相机坐标系中的实际三维位置。[1]

这篇工作值得启元机器人开发者关注，因为它把“任务理解”和“动作执行”之间的空间信息讲得很具体。本文会从握手这个例子出发，解释它怎样选部位、怎样估计三维坐标，再看实验支持了什么，以及这些思路可以怎样用于后续开发。

一 机器人需要知道身体部位实际在哪里

先想象两幅人体重建结果：两幅图里的胳膊都弯得很自然，但其中一幅把整个人放在了比真实位置远十厘米的地方。对观察姿态的人来说，它可能仍然“很像”；对正准备握手的机器人来说，这十厘米会直接改变手臂应该伸向哪里。

传统人体姿态与网格重建研究经常以骨盆等根关节为参考，衡量其他关节相对于它的位置。这样的表示擅长描述人体结构，却需要额外处理整个人相对于相机的平移和深度，才能服务接触动作。近年的 CameraHMR、PromptHMR、SAM 3D Body 等方法已经考虑了相机空间定位，但近距离画面中的遮挡和截断仍然会放大误差。[1]

距离越近，这个问题越明显：机器人相机可能只能看到上半身，看不到骨盆和脚；伸向镜头的手还会挡住手臂。此时，为了握手而先恢复一个完整人体，再从中取出手腕位置，会把整体定位误差带到真正需要接触的部位上。

TAIHRI 因而把问题写得很直接：输入第一视角 RGB 图像、用户指令和已知相机内参，输出一组与当前任务有关的三维人体关键点。这里的“全局坐标”指相机坐标系中的绝对位置；要让机械臂使用这些结果，还需要相机到机器人控制坐标系的变换。理解这一点，才能看懂后面的设计与实验。[1]

图1 从全身重建到任务相关部位定位。左侧强调完整人体的形状与姿态，右侧强调近距离交互时关键点在相机前方的实际位置。来源：原论文 Fig.2，印刷页197。[1]

二 TAIHRI 如何把交互指令变成三维位置

TAIHRI 的主模型基于 Qwen3-VL 4B，论文还给出了 2B 版本。它沿用视觉语言模型的序列生成方式，把关键点名称、二维位置和三维量化位置组织成结构化输出。[1]

图2 TAIHRI 的推理流程。图像先依据相机内参调整，模型结合指令依次输出关键点名称、二维像素位置和三维量化位置，最后还原成有实际尺度的相机坐标。右侧展示这些坐标的下游用途。来源：原论文 Fig.4，印刷页201。[1]

让任务决定关注哪些关键点

“握右手”和“按摩肩膀”需要的空间信息不同。前者关心右腕等手臂部位，后者要找到肩部。TAIHRI 让语言指令参与定位目标的选择，模型输出的关键点组合可以随任务改变。论文准备了六千多条交互指令；训练时，一半概率使用场景指令，另一半使用定位一至六个关键点的通用提示。[1]

这让感知模块与任务有了明确的接口：上层提出交互需求，下层返回相关部位的位置。模型在这一环节承担的是目标选择与定位，机械臂的轨迹规划、逆运动学和接触控制仍由后续系统处理。

先处理相机差异 再表达空间位置

单目图像里的像素大小与真实距离之间，隔着相机的成像关系。同样大小的人体部位，换一支不同焦距的镜头，投影到画面中的大小就会改变。因此，TAIHRI 假设推理时已知焦距、主点等内参，通过相应调整图像尺寸来统一焦距；论文举出的统一值是1000。训练中的随机裁剪则用于模拟主点偏移。[1]

接下来，作者把预定义交互空间中的每条坐标轴量化为0至999的整数等级，让连续的三维位置能够表示为离散数字序列。模型预测这些数字后，再将它们解码成实际空间坐标。这样，已有的文本生成能力便能用于一种结构化的空间输出。

这里要区分“表示得有多细”和“预测得有多准”。一条坐标轴分成1000档，确定的是编码分辨率；实际定位误差仍取决于图像、深度判断和模型训练。后面会看到，论文的主结果是厘米量级的误差，不能由量化档数直接推导出毫米级精度。

先找二维投影 再预测三维坐标

直接从图片生成三个空间数字并不容易。TAIHRI 把输出过程拆开：先预测关键点在图像上的二维位置，再预测对应的三维坐标。以右腕为例，模型先回答“它落在图中的哪里”，再回答“它在相机前方的什么位置”。二维关键点是显式生成的中间结果，为后续三维定位提供结构。[1]

论文将这一过程称为二维关键点推理。对开发者而言，它的吸引力还在于便于检查：如果二维位置已经偏离手腕，就应先检查图像定位；如果二维点大体正确、三维深度却明显偏移，就要继续检查相机参数和深度估计。这个排查顺序是由方法结构带来的工程启示。

用定位误差继续优化模型

训练分为监督微调和强化微调两个阶段。监督阶段让模型学习按要求输出关键点及坐标；随后，作者使用 GRPO，根据预测点与真实点的距离继续优化模型：同一输入生成多组候选，用组内相对奖励更新模型。奖励同时考虑误差大小，以及有多少关键点落在指定误差阈值以内，并通过 Huber 形式减轻极端误差的影响。[1]

这套设计把训练信号进一步对准了空间任务：输出格式正确只是起点，预测位置还要尽量接近真实位置。它对最终误差贡献多大，要结合消融实验判断。

三 近距离数据为什么同样关键

一套主要看远景全身图像的训练数据，很难覆盖机器人近距离交互时遇到的视角。为此，作者构建了 CloseHRI：先从 AMASS 采样人体动作，用 SMPL-X 和 Blender 渲染几何与法线信息，再利用生成模型合成具有不同服装和背景的人体图像。虚拟相机距离设在0.5至3米，并随机改变高度和朝向。[1]

图3 CloseHRI 的数据生成流程。先获得带几何信息的近距离人体视图，再合成外观并过滤低质量样本。图像的生成与几何标注相配合，为三维定位提供监督。来源：原论文 Fig.3，印刷页199。[1]

生成出来的图片还要经过筛选：作者使用 SAM3 检查人体区域的一致性，并用 VitPose 的二维关键点重投影误差过滤样本。最终 CloseHRI 包含超过100万张合成图像；再混合 BEDLAMv1、BEDLAMv2 和 PDhuman 等数据，得到约120万张训练图像，并排除平均关键点深度超过3米的样本。[1]

这组数字对应的是训练图像规模。真正有价值的做法，是让训练视角尽量贴近目标场景：贴近镜头的手臂、画面外的下半身、互相遮挡的身体部位，都需要在训练中被看见。模型结构之外，数据是否覆盖这些情况，也会决定方法能否适应近距离交互。

四 实验显示了哪些提升

先看测试条件和误差的含义

论文在两套第一视角交互数据上评估：Harmony4D 使用6389帧近距离人际交互画面；EgoBody 则从测试集中抽取5000帧、距离在3米以内的画面。它们用于检验相机视角下的人体定位表现。[1]

核心指标 G-MPJPE 是预测关节与真实关节在相机坐标系中的平均欧氏距离，单位为毫米，数值越小越好。评估不先做根关节对齐或刚体对齐，因此人体整体位置、深度和局部结构的误差都会被计算进去。这与机器人需要知道目标实际在哪里的需求相吻合。

作者分别检查四组部位：双肩与双肘、双髋与双膝、左肩左肘左腕，以及右肩右肘右腕。下面摘录双肩与双肘这一组，便于对照不同方法；这里的 Upper 不包含手腕。

表1　双肩与双肘定位结果（G-MPJPE，毫米，越低越好）

方法	Harmony4D	EgoBody
CameraHMR	167.50	94.92
PromptHMR	158.70	84.45
SAM 3D Body（ViT）	127.72	88.23
SAM 3D Body（DINOv3）	124.91	89.87
TAIHRI 2B	97.15	85.62
TAIHRI 4B	93.83	75.77

来源：原论文 Table 1 的两列 Upper 结果，印刷页203；数值按原表摘录，越低越好。[1]

在 Harmony4D 的双肩与双肘定位中，最强比较方法的误差为124.91毫米，TAIHRI 4B 降至93.83毫米；EgoBody 上则从84.45毫米降至75.77毫米。按原表计算，两项误差分别减少约24.9%和10.3%。完整主表共有两个数据集、四组部位的八个条件，4B 均取得最低误差，2B 的优势随条件变化。

提升与绝对误差应放在一起看：93.83毫米约为9.38厘米，75.77毫米约为7.58厘米。它们说明任务相关定位比表中比较方法更准确，也提醒我们，进入握手等接触任务之后，仍然要结合完整系统检查实际到达位置。

图4 不同方法的定位效果对比。重点看手腕等远离根关节的部位，以及图中标出的关键点坐标与误差；人体形状合理时，实际空间位置仍可能偏移。图内数值是所示样例的误差，整体结果应结合表1阅读。来源：原论文 Fig.5，印刷页205。[1]

哪些设计真正改善了定位

下表在相同测试条件下，检查相机内参、二维推理和强化微调各自的作用。

表2　Harmony4D 双肩与双肘定位消融（G-MPJPE，毫米，越低越好）

实验设置	G-MPJPE
不使用相机内参	425.13
去掉二维关键点推理	126.67
去掉强化微调	101.82
完整模型	93.83

来源：原论文 Table 3 的 Upper 列，印刷页206；仅摘录与本文分析直接相关的设置。[1]

去掉相机内参后误差明显增大，说明在这一设置中，正确处理成像条件非常关键。去掉二维关键点推理，误差从93.83升至126.67毫米，支持显式中间定位的作用；去掉强化微调则升至101.82毫米，表明它在监督训练的基础上带来了进一步收益。

看得懂人体，不等于量得准关节位置。论文在 Harmony4D 中选取50个典型样本，只评估双肩与双肘四个关键点：TAIHRI 的 G-MPJPE 为97.2毫米，VitPose + DepthLM 为282.3毫米，Gemini-2.5 Pro 为436.9毫米，Qwen3-VL-235B-A22B-Instruct 为1298.3毫米；GPT-5.2 在该实验中未给出有效的三维坐标结果。[1，Table 2]

这不是通用大模型综合能力的排名：比较只有50个选定样本，提示方式和部位定位任务也很具体。它支持的判断是：即使具备较强的图像语义理解能力，也不能据此认定模型已经掌握可用于近距离机器人交互的精确公制三维定位。

五 从关键点到机器人动作还有哪些环节

作者把预测结果接入了双臂机器人的简单闭环。机器人安装 Orbbec Femto Bolt 相机，使用720p RGB 画面；相机与机器人完成标定后，图像、指令和内参一起输入 TAIHRI。预测关键点还用于对齐人体网格，系统再结合预定义的人体交互区域，通过逆运动学将机器人末端映射到目标部位，演示握手与肩部按摩。[1]

图5 论文展示的近距离交互应用。不同指令对应不同的人体目标部位；四角实机画面以人形模型为交互对象，中央为交互示意。它帮助读者理解定位输出怎样进入机器人系统。来源：原论文 Fig.1，印刷页196。[1]

这里最值得借鉴的是模块如何衔接：语言确定交互需求，感知给出人体空间目标，标定把目标转换到机器人坐标，逆运动学和控制器继续生成动作。人在交互过程中移动时，后续观察还需要更新目标；一个时刻预测正确，不能代替持续跟踪与执行验证。

论文已经展示了方法接入实机的可行性，但没有报告系统性的任务成功率、端到端时延和接触控制指标。因此，现有证据主要支持“更准确的任务相关定位，以及可接入机器人闭环”，产品级交互能力还需要更完整的验证。这也为阅读结果保留了合适的尺度。

六 对启元机器人开发有什么具体启发

把 TAIHRI 放回启元的开发场景，可以先考虑一个小目标：当用户给出不同交互指令时，让感知模块返回相应部位的空间位置。启元官方资料显示，Q1 探索版开放 SDK、HDK 与 API，可接入自研或开源模型，兼容 ROS/ROS2；官方 SDK 提供了相机图像、视频流和运动状态等开发入口。[3,5]

把任务目标写进感知接口

可以先设计一个“交互部位定位”的感知演示：对同一段画面分别输入“和我握手”“碰一下我的右肘”等指令，观察选中的部位是否正确、位置是否稳定。先把这一步做好，才能清楚地区分后续问题来自指令理解、人体定位，还是动作执行。这个项目也适合在真机到手前，先围绕官方示例整理输入、输出与评估方式。

让图像参数和坐标定义对上

TAIHRI 的官方代码显式提供焦距和主点参数入口。[2] 接入新相机时，需要核对当前分辨率、缩放与裁剪方式对应的内参，确定输出单位，以及相机坐标轴的定义；然后再处理相机到机器人基座或末端控制坐标系的变换。如果这些关系没有对齐，模型输出即使格式完全正确，也可能被控制系统解释成另一个目标位置。

因此，一个有用的调试界面应同时显示原始画面、二维关键点、三维位置和采集时间。这样既能检查“找的是不是右腕”，也能检查“这是不是当前这一帧对应的位置”。这是基于论文方法提出的开发建议，具体接口与变换配置需要结合所用设备核对。

分别验证定位结果和动作到达结果

启元的 PrimeConsole 可查看视频和日志、仿真关节运动、验证 Skill；下载页还提供配套 SDK 与 URDF。[4] 可以利用这些入口，先在录制画面中检查部位选择和三维定位，再在仿真中检查转换后的目标是否处于机器人运动范围内，最后逐步接入交互动作。

一个最小验证示例：先用同一段近距离 RGB 视频，分别给出“握右手”“碰右肘”指令，记录模型返回的部位名称、二维位置和相机坐标；按实际标定关系转换到机器人基座坐标后，结合 Q1 的 URDF 与仿真环境检查目标可达性。结果分开看三项：部位是否选对、三维位置是否稳定、动作目标是否可达。这只是可供后续尝试的验证流程，尚非启元真机实测。

后续记录应当把定位误差与动作结果分开：选错身体部位、遮挡后位置跳变、目标不可达，以及手臂到达时目标已经移动，分别需要不同的改进。把它们都写成一个“握手失败”，反而不容易找到下一步该修哪里。

以上是对启元开发实践的应用构想，本文尚未进行 TAIHRI 在启元机器人上的移植或实测。这篇研究提供的直接启发，是让任务相关的空间目标成为连接语言与动作的一层清晰接口。

结语

TAIHRI 把一个容易被笼统称为“机器人看懂人”的问题拆具体了：面向当前任务，应该关注哪个身体部位，以及这个部位相对于相机实际在哪里。围绕这一问题，近距离数据、相机参数、二维中间定位和三维坐标生成形成了相互配合的设计。

对启元机器人开发者来说，沿着这个问题继续做，比单看模型回答得是否流畅更有收获。从指令里找到交互目标，在画面里找到对应部位，再让机器人到达正确位置，每一步都有可以观察和改进的结果。一次自然的握手，正是这样逐步建立起来的。

参考资料与图片来源

论文数据与配图依据 ECCV 2026 正式章节版本。五幅配图均从论文原图裁切提取，保留图内信息，并补充中文阅读说明；表格为原论文指定列的摘录。官网与代码资料查阅日期为2026年10月18日。

[1] Li A, Ling Y, Lin Y, Wang Y, Deng Y, Tang Y. TAIHRI: Task-Aware 3D Human Keypoints Localization for Close-Range Human-Robot Interaction. ECCV 2026, LNCS 17001, pp.195–211. 背景与方法见第1—3节，主结果见原表1，消融见原表3，机器人应用见第4.5节。

https://doi.org/10.1007/978-3-032-36984-0_11

[2] Tencent. TAIHRI 官方实现、推理与评估示例、权重入口。

https://github.com/Tencent/TAIHRI

[3] 启元机器人. Q1 产品页。本文关于开放开发能力的描述对应Q1探索版。

https://www.primebot.com/q1.html

[4] 启元机器人开发者社区. PrimeConsole 与SDK、URDF资料下载。

https://dev.primebot.com/download

[5] PrimebotTech. Q1 官方SDK。用于核对相机数据、通信与控制开发入口。

https://github.com/PrimebotTech/primebot-q1-sdk

hello，这里是 晓雨的笔记本。如果你喜欢我的文章，欢迎三连给我鼓励和支持：👍点赞 📁关注 💬评论，我会给大家带来更多有用有趣的文章。

原文链接 👉 晓雨的笔记本主页，⚡️更新更及时。

欢迎大家点开下面名片，添加好友交流。