人形机器人中的感知、规划、控制分别做什么?一篇看懂机器人如何从看见到行动
看人形机器人技术岗位时,经常会碰到三个词:感知、规划、控制。
这三个方向看起来都属于机器人算法,但实际解决的是完全不同的问题。也正因为如此,企业招聘时经常出现一种情况:JD都写着“机器人算法工程师”,真正要找的人却完全不是一个人才池。
最简单的理解是:感知解决现在发生了什么,规划解决接下来应该怎么做,控制解决怎么把这个动作真正做出来。如果把一台人形机器人完成“走到桌边,拿起桌上的矿泉水”拆开,整个技术链条就会清晰很多。

| 模块 | 核心问题 | 典型技术 |
|---|---|---|
| 感知 Perception | 我在哪?周围有什么?目标在哪? | 视觉、3D感知、SLAM、目标检测、Pose、多传感器融合 |
| 规划 Planning | 我要怎么过去?怎么伸手?怎么抓? | 路径规划、运动规划、轨迹优化、Task Planning |
| 控制 Control | 每个关节具体怎么动?怎么保持平衡? | PID、MPC、WBC、动力学、力控、强化学习 |
| 执行 Actuation | 如何真正产生运动和力? | 电机、驱动器、减速器、编码器、关节模组 |
真正的人形机器人系统,就是这些模块不断闭环。
一、感知:先让机器人知道“这个世界现在是什么样”
人类拿水之前,会先看桌子在哪里、水瓶在哪里、距离自己有多远。
机器人也一样。摄像头、深度相机、激光雷达、IMU、编码器、力/扭矩传感器、触觉传感器等,本质上都是机器人获取信息的入口。
但传感器≠感知。传感器只是产生原始数据,感知算法需要把这些数据转化成机器人能够使用的信息。
例如相机看到一张RGB图像,机器人真正需要知道的可能是:这是一个水瓶 → 水瓶位于空间中的某个位置 → 当前姿态是多少 → 周围有没有障碍物 → 哪个区域适合抓取。
因此,机器人感知实际上包含很多不同方向。
视觉感知负责目标检测、分割、识别;3D视觉负责点云、深度、6D Pose;SLAM负责定位与建图;状态估计则需要融合IMU、编码器等信息,判断机器人自身的姿态和运动状态。
到了人形机器人阶段,触觉的重要性也在提高。
例如灵巧手抓一个纸杯,视觉可以告诉机器人“杯子在哪里”,但接触之后还需要判断:碰到了没有?用了多大的力?杯子是不是开始滑了?
这时候就需要力觉和触觉。以感知的本质并不是“装几个摄像头”,而是:把真实世界转换成机器人能够理解和计算的状态。

二、规划:机器人知道目标以后,下一步应该怎么办?
感知完成以后,机器人已经知道:“桌子在那里,水瓶在桌子右侧。”但它还是不能直接行动。
因为从当前位置到拿到水瓶,中间存在大量可能的动作。机器人应该从桌子左边走还是右边走?哪条路径不会撞到椅子?走到桌边以后右手应该从什么方向接近?机械臂应该经过哪些姿态?抓住以后怎么把水瓶拿起来?这些问题就属于规划。
规划本身又可以分成不同层级。
例如:任务规划:
去桌边 → 找到水瓶 → 伸手 → 抓取 → 拿起来。
再往下是路径和运动规划:
身体从哪里走?机械臂从哪条轨迹过去?哪些姿态不会发生碰撞?
再往下可能进一步生成连续的轨迹和运动目标。
因此规划解决的不是:“机器人现在在哪里?”
而是:“机器人应该通过什么方式,从现在这个状态到达目标状态?”
这也是为什么机器人规划岗位经常出现A*、RRT/RRT*、轨迹优化、Motion Planning、MoveIt、碰撞检测、运动学和动力学等关键词。
对于机械臂和人形机器人来说,规划难度还会进一步提高。
因为自由度越高,机器人能够选择的动作组合就越多,搜索空间也会迅速变大。
三、控制:规划说抬腿,控制必须保证机器人真的抬得起来
这是最容易和规划混淆的一层。可以用一句很简单的话理解:规划负责“动作应该是什么样”,控制负责“机器人实际动作尽可能变成那个样”。例如规划系统已经生成了一条手臂运动轨迹。
理论上机械臂应该:从A点 → B点 → C点。
但真实机器人存在重量、惯性、摩擦、关节间隙、外部扰动、通信延迟以及电机性能边界。
机器人不会因为计算机告诉它“去B点”,就自动准确到达B点。
这时候就需要控制系统不断计算:目标状态是多少 → 实际状态是多少 → 两者相差多少 → 应该输出多大的控制量。
然后不断调整。这就是典型的闭环控制。在人形机器人中,控制会涉及PID、MPC、WBC、阻抗控制、导纳控制、力控制以及强化学习控制等大量技术。尤其是双足人形机器人。
走路时它不是单独控制一条腿,而是需要同时处理腿、腰、手臂以及身体姿态。
这也是WBC——Whole-Body Control,全身控制——重要的原因。
它需要协调机器人多个自由度,在完成运动任务的同时维持平衡、满足接触约束和动力学约束。
所以运动控制人才在机器人行业一直非常难招。
因为论文里把算法跑出来是一回事,面对真实机器人的IMU噪声、关节摩擦、通信延迟、执行器误差还能把机器人调稳定,是另外一种能力。
四、感知、规划、控制是怎么连起来的?
我们继续用“机器人拿水”这个任务。
第一步:感知
机器人通过摄像头发现:前方2米有桌子,桌上存在一个水瓶。
同时通过自身传感器知道自己的位置和身体姿态。
第二步:规划
系统决定:向前走 → 到桌子右侧 → 抬右手 → 从侧面接近水瓶 → 张开灵巧手 → 抓取。
第三步:控制
WBC、关节控制以及底层电机控制开始执行。机器人需要协调髋、膝、踝保持身体平衡,同时控制肩、肘、腕和手指完成抓取。
第四步:重新感知
机器人发现:手离水瓶还有3cm。重新规划/调整,继续控制。因此真实机器人不是:感知 → 规划 → 控制 → 结束。而是:感知 → 规划 → 控制 → 再感知 → 再规划/调整 → 再控制……整个过程不断循环。这就是机器人非常重要的闭环。
五、VLA出现以后,感知、规划、控制会不会消失?
这是现在具身智能行业特别值得讨论的问题。
传统机器人系统通常模块划分比较明显:Perception → Planning → Control
每个模块由不同算法负责。
但VLA正在尝试另外一种路线:
视觉 + 语言 + 本体状态 → Action
例如机器人看到桌上的苹果,同时收到:
“把红色苹果放进篮子。”
VLA模型可以结合视觉、语言和机器人状态直接预测Action或者Action Chunk。
于是传统系统中“视觉理解—任务规划—动作生成”之间的边界开始变得模糊。
但这里特别容易产生一个误区:
VLA并不等于底层控制消失。
模型即使输出机械臂末端位姿变化、关节目标或者Action Chunk,真实机器人下面通常仍然需要IK、轨迹插值、安全约束、实时控制、电机驱动等系统负责真正执行。
所以更准确的理解应该是:
AI正在重新划分感知和高层规划/策略之间的边界,但真实机器人最终仍然必须面对物理世界。
机器人不是生成一个Token就结束了。
最后一定要让几十个真实关节动起来。
六、从机器人猎头角度看,这三个岗位的人才画像完全不同
这也是HR特别需要注意的一点。
| 招聘方向 | 更关注什么 |
|---|---|
| 感知算法 | CV、3D视觉、点云、Pose、SLAM、传感器融合 |
| 规划算法 | Motion Planning、轨迹优化、搜索算法、运动学/动力学 |
| 运动控制 | WBC、MPC、动力学、状态估计、力控、RL |
| VLA/机器人学习 | VLM、IL/RL、Policy、机器人数据、真机部署 |
| 底层控制 | PMSM、FOC、实时控制、驱动器、关节控制 |
所以企业说:“我们想招一个机器人算法工程师。”这个需求其实基本等于什么都没说。
猎头真正开始寻访之前,至少要继续确认:这个人解决的是机器人怎么看、怎么想,还是怎么动?
即便是“怎么动”,还要继续区分运动规划、WBC、强化学习运控和底层关节控制。
这些人才之间存在交叉,但绝对不能简单混成一个人才池。
从人才市场来看,我反而越来越关注跨层能力
人形机器人真正困难的地方,是它最后必须形成完整系统。
于是一个非常有意思的人才趋势开始出现:单点专家依然重要,但能够理解上下游的人越来越值钱。
做感知的人如果理解机器人操作,会知道自己的Pose误差最终怎样影响抓取;做规划的人如果理解控制,会知道什么样的轨迹在数学上可行、在真实机器人上却根本跑不好;做控制的人如果理解执行器,会知道机器人抖动究竟来自控制参数还是关节本身。
到了VLA和机器人学习阶段,这种交叉更加明显。
所以从机器人猎头的角度,我认为未来真正稀缺的并不只是“感知专家”“规划专家”或者“控制专家”。
而是两种人:一种是在某一层真正做到足够深的人;另一种是能够跨越感知—规划—控制边界,把机器人真正跑起来的人。
这也是理解人形机器人技术岗位非常实用的一条主线:感知让机器人理解世界,规划让机器人决定怎么行动,控制让机器人把计划变成真实运动。而一家机器人公司的真正技术能力,就藏在这三层之间的连接处。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)