引力琥珀:大模型为什么不能直接控制机器人
引言
大模型越来越像“机器人大脑”。它能理解自然语言,能看懂图像,能拆解任务,也已经可以通过 Vision-Language-Action(VLA)模型直接预测机器人动作。OpenVLA 这样的模型把视觉、语言和动作统一到一个模型里;SmolVLA 等工作则进一步降低模型规模和推理成本,试图让这类能力真正进入机器人端侧。
于是一个很自然的问题出现了:既然大模型已经能输出动作,为什么机器人还不能直接让大模型控制?
本文所说的“大模型直接控制机器人”,特指把 LLM / VLM / VLA 等学习模型的输出未经独立安全约束和确定性控制层,直接映射到真实执行机构。它并不否认 VLA 等模型可以输出机器人动作、局部轨迹或策略建议;真正需要限制的是“模型输出直接成为不可撤销的物理执行命令”。
大模型不适合无约束地直接控制真实机器人,主要不是因为它“不会生成动作”,而是因为机器人控制同时要求稳定实时性、物理状态闭环、安全约束和确定性执行。大模型更擅长语义理解与策略生成;电机、制动、刀具等执行机构仍需要独立的运行时安全、控制仲裁和低层控制系统。
一、会生成动作,不等于适合直接控制电机
在文本场景里,大模型输出慢 500 毫秒,通常只是用户多等一会儿。但机器人不一样。一台正在移动的机器人,需要持续处理摄像头画面、激光雷达、深度信息、IMU、轮速、电机状态、障碍物距离、人员突然进入以及机械结构负载变化。
这些数据不是“问一次答一次”。机器人控制更像一个持续闭环:感知、判断、动作、新状态,再回到下一轮感知。很多底层控制环需要稳定、连续并且可预测的响应,控制周期错过以后,不能像聊天一样“下一轮再补回来”。
这也是为什么近年的 VLA 研究越来越重视推理效率和端侧部署。SmolVLA 引入异步推理以减少模型推理对机器人连续动作的阻塞;相关 VLA 效率研究也把 latency、memory footprint 和 real-time performance 列为落地机器人时的核心限制。
| 层级 | 更适合解决的问题 |
|---|---|
| 大模型 / VLM | “这是什么”“任务是什么意思”“应该采用什么策略” |
| 局部策略 | “接下来几步应该往哪里移动” |
| 运动控制器 | “怎样跟踪目标速度和轨迹” |
| MCU / 驱动器 | “电机当前应该输出多少实际控制量” |
让一个大模型同时承担这四层,看似“端到端”,实际是把完全不同的工程问题揉进一个模型。
二、大模型最擅长的是语义,机器人最先撞上的却是物理世界
大模型可以理解“去清理花坛边缘的垃圾”。但真实机器人到现场以后,问题马上变成:这个塑料袋是不是垃圾?旁边那只背包是游客暂时放下的,还是应该清理?花坛边缘在哪里?哪个方向可以接近?前方草坪能不能压?水池边缘是不是存在落差?吸口应该从哪个方向对准?
这些都不是单纯的语言问题。它们涉及视觉、深度、空间位置、地面几何和物理可达性。近年的 language-conditioned robot manipulation 研究一直在处理从 language 到 action 的 bridge:语言可以参与任务规划、状态判断和策略条件,也可以进一步进入统一 VLA 模型,但真实机器人仍然需要解决动作粒度、系统时延、环境交互和安全等问题。
大模型知道“要做什么”,不等于它已经知道“这个电机下一毫秒应该怎么转”。
这中间存在一个很大的 semantic-to-physical gap。
三、幻觉到了机器人身上,就不再只是“回答错了”
大模型出现幻觉,在聊天系统里可能是一段错误信息。进入机器人以后,后果完全不同。如果模型错误理解了前方是否可通行、某个物体是不是障碍物、刀具能不能启动、人员是不是已经离开危险区域,或者水炮应该瞄向哪里,错误最终可能变成一个真实物理动作。
这意味着机器人不能只问“模型置信度高不高”,还要问“这个动作是否满足物理安全约束”。例如一个模型输出“向前移动 0.8 m/s”,安全系统可能发现前方人员距离过近、当前道路湿滑、LiDAR 与视觉结果不一致、机器人负载异常,或当前属于限速区域。最终真正执行的动作可能被限制到更低速度,甚至直接 STOP。
这不是“大模型能力不够”,而是机器人系统必须保留一层模型之外的控制权。
四、所以真实机器人通常需要一条分层控制链
在引力琥珀园林智能运营系统的设计中,一个核心原则就是:AI 模型不绕过安全控制层直接驱动危险执行机构。对引力琥珀而言,大模型更适合承担高层理解与策略生成,而不是绕过安全与控制系统直接成为执行器。项目设计把整个机器人控制过程拆成不同责任层:全域中台负责“干什么、在哪里干、由谁干”;边缘系统负责到达现场后的感知、局部动作和工具策略;安全管理器负责限速、急停、控制权仲裁;传统控制器和 MCU 再把目标转成底层执行信号。
大模型可能说“沿绿篱边缘继续修剪”。边缘策略把它进一步变成局部偏移、末端位姿和短时轨迹;运动控制器再处理目标速度、轨迹误差和连续转向;MCU 最后才把这些目标转换为电机电流、PWM、阀门和继电器控制。
如果全部让“大模型直接控制”,实际上等于要求一个概率模型同时承担语义理解、空间推理、轨迹规划、安全判断、高频闭环控制和硬件执行。工程上没有这个必要。
五、真正关键的问题不是“能不能输出动作”,而是谁拥有最终控制权
现在的 VLA 模型已经证明,大模型和视觉模型可以进一步进入动作空间。所以“大模型不能控制机器人”如果被理解成绝对不可能,其实并不准确。真正的分界线是:模型可以提出动作,但模型不应该天然拥有不可撤销的最终控制权。
在真实机器人里,控制权通常应该有明确优先级。以园林项目设计为例,其控制优先级把硬件急停、安全故障停车和人工接管放在自主策略之前。
硬件急停 > 安全系统 > 人工接管 > AI 策略
这意味着即使 AI 正在正常工作,只要安全系统发现问题,它就可以立即失去控制资格。聊天系统给出一个答案以后,用户可以选择是否采纳;而机器人输出一个动作以后,如果没有中间安全层,动作可能已经执行。
Physical AI 真正难的不是让模型“更敢行动”,而是让整个系统知道:什么时候应该相信模型,什么时候应该修改它的动作,什么时候必须直接撤销它的控制权。
六、未来机器人会不会越来越“端到端”?
会。但“端到端”不等于“所有安全层都消失”。从 OpenVLA、SmolVLA 到越来越多的 VLA 模型,趋势已经很明确:视觉、语言、动作之间的边界正在变得越来越模糊。机器人未来会有更强的通用感知、更强的任务理解,也会减少过去大量手工规则。
但在真实机器人系统里,robustness、safety guardrails、human oversight、explainability 和 auditability 仍然是必须考虑的工程条件。更可能出现的不是“大模型取代所有机器人软件”,而是大模型和 VLA 逐渐覆盖更多感知、理解和策略层能力,同时底层安全、控制权管理和确定性执行继续作为独立系统存在。
模型越来越智能,反而会让“模型能控制到哪里”这个问题越来越重要。
结语
大模型当然可以参与机器人控制,甚至直接预测机器人动作。本文反对的不是“模型输出动作”,而是把模型输出无约束地直连真实执行机构。机器人需要面对实时性、物理约束、人员安全、硬件故障、通信异常和模型未知场景,因此从大模型输出到最终电机动作之间,仍然需要边缘策略、安全管理、传统控制器和 MCU 这样的工程层。
引力琥珀在园林智能运营系统设计中采用的也是这一思路:中台负责全局理解与任务决策,边缘系统负责现场具身执行,安全管理器负责控制权和风险约束,MCU 负责确定性物理控制。相关能力仍将随项目分阶段建设和验证,并不意味着当前所有模型和八类无人终端已经完成全量部署。
真正的问题从来不是“大模型能不能控制机器人”,而是“在一个真正进入物理世界的 AI 系统里,大模型应该控制到哪一层?”
参考资料
[1] Kim et al. OpenVLA: An Open-Source Vision-Language-Action Model. CoRL 2024 / PMLR 2025.
[2] SmolVLA: Efficient Vision-Language-Action Models for Robotics. Hugging Face research release, 2025.
[3] Recent surveys on language-conditioned robot manipulation and VLA systems, focusing on the language-to-action bridge, latency, environment interaction and safety.
[4] Recent work on embodied-agent safety and agentic LLM robotics, focusing on safety guardrails, human oversight, robustness and auditability.
[5] 《园林智能运营项目介绍》:中边一体、边缘具身执行、安全管理器与 MCU 确定性控制的项目架构设计。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)