从“看得见”到“做得到”:视觉决策模型正在改变机器视觉
过去十几年,机器视觉的发展逻辑其实非常清晰:相机负责采集,图像处理负责清洗,算法负责检测、分类、分割和定位,规则系统负责判断,PLC、机器人或其他执行机构负责动作。这套体系在工业制造、物流、安防、交通和质检领域已经非常成熟。它最大的特点不是“聪明”,而是确定性:输入边界清楚,任务定义明确,输出可以验证。
但今天正在发生的变化不太一样。视觉语言模型(VLM)开始让机器理解复杂场景,视觉语言动作模型(VLA)进一步尝试把视觉和语言直接连接到行动,机器人开始不再只是执行固定程序,而是根据环境变化调整策略。于是一个过去很少被认真讨论的问题突然变得重要:机器视觉究竟应该只负责“看”,还是应该开始参与“决定”?
我的判断是,视觉决策模型确实会让机器视觉“变天”,但不是传统CV被大模型替代,而是机器视觉的系统边界正在重新划分。未来真正成熟的体系,很可能不是“大模型取代小模型”,而是形成“确定性感知 + 通用视觉理解 + 任务决策 + 实时控制 + 安全约束”的分层架构。而这场变化中,一个过去经常被忽略的角色——实时视频基础设施——反而会越来越重要。
一、机器视觉真正的瓶颈,不是“看不见”,而是“看见以后不会决定”
传统机器视觉最擅长解决的是边界明确的问题。比如检测一个零件是否存在缺陷,判断一个螺丝有没有安装,测量工件尺寸,识别人脸、车牌或者仪表读数。这类任务可以通过专用算法或者小型视觉模型完成,而且速度快、成本低、结果容易验证。问题出现在现实环境开始变得开放以后:同一个目标在不同角度、不同光照、不同遮挡、不同背景下可能完全不同;更重要的是,“识别出来是什么”与“下一步应该怎么办”已经不是一个问题。

例如机器人看到桌面上有杯子、扳手、零件和一块抹布。传统视觉可以告诉机器人“这里有一个杯子”,但它无法天然回答“现在应该拿哪个”“为什么拿这个”“从哪个方向抓取”“如果抓取失败应该怎么办”。过去工程师只能继续增加规则、状态机、任务规划和异常分支,于是系统逐渐变成一个庞大的人工编排网络。场景越复杂,规则越多;规则越多,维护成本越高;最终真正限制系统扩展的,往往不再是视觉检测精度,而是决策逻辑的复杂度。
视觉决策模型的意义就在这里:它试图把过去大量由工程师显式编写的“如果A,那么B;如果C,那么D”,转化成模型从数据中学习出来的策略。也就是说,机器视觉正在从过去的Perception逐步向Perception + Reasoning + Action演进。
这才是这轮变化真正值得关注的地方。
二、大模型不会吃掉传统机器视觉,未来反而会形成更加明确的分层
如果从工业现场出发,“VLA来了,传统视觉要淘汰”的判断其实并不成立。原因很简单:工业系统大量任务根本不需要所谓的通用智能。
一台高速产线每秒检测几十甚至上百个零件,判断一个尺寸是否超差、一个焊点是否完整、一个字符是否清晰,这些任务更需要的是稳定、低延迟、低成本和可验证性。让一个大型视觉模型承担所有任务,不但没有必要,甚至可能降低整个系统的工程效率。

真正可能发生的是机器视觉架构的重新分层:第一层是确定性感知,负责检测、测量、定位、跟踪、分割等高频任务;第二层是视觉理解,负责理解复杂场景、目标关系、环境语义和异常状态;第三层是决策模型,把视觉、语言、任务目标、历史状态结合起来,决定下一步行为;第四层是实时控制,将高层决策转换成具体动作,并严格遵守速度、位置、力矩和安全边界;第五层是安全系统,对模型输出进行约束,必要时直接打断动作。
所以未来机器视觉最有可能出现的不是“CV消失”,而是CV从决策中心退回到高可靠感知层,大模型则向更高层的语义和任务决策迁移。
这反而可能让传统机器视觉的价值更加明确。
三、VLA真正困难的地方,不是让模型“会看”,而是让它面对连续变化的物理世界
从VLM到VLA,看起来只是把输出从文字变成动作,实际上系统复杂度发生了质变。
语言模型输出错误,通常只是答案错误;机器人输出错误,可能意味着碰撞、夹伤、跌倒或者设备损坏。因此VLA进入物理世界以后,模型必须同时解决四件事情:理解环境、预测结果、选择动作、承担动作后果。
更麻烦的是,物理世界不是静态图片,而是一个持续变化的状态空间。机器人看到的是一系列连续状态:物体位置变化、机械臂运动、人员进入、目标遮挡、环境变化。如果模型只关注某一帧,它看到的是一个瞬间;真正需要理解的却是状态如何变化。

所以视觉决策模型真正需要的输入越来越接近:
Video + Audio + Sensor + Robot State + Task + History
而不是简单的Image。
这会带来一个非常重要的变化:时间开始成为视觉智能的一等公民。
过去机器视觉经常讨论分辨率、精度、FPS;未来还必须讨论时间戳、帧间关系、观测窗口、数据新鲜度、预测时间和动作延迟。一个模型即使准确率很高,如果看到的是500ms之前的世界,在高速运动场景里仍然可能做出错误决策。
因此,“视觉智能”最终可能会和“实时系统”越来越深地融合。
四、从音视频专家角度看,视觉决策模型最大的隐形瓶颈其实是“数据新鲜度”
传统视频系统经常把延迟理解成“画面晚了多少毫秒”;但对于视觉决策系统,真正重要的是:模型进行决策时,输入数据距离真实世界已经过去了多久。
假设摄像头采集延迟20ms,编码30ms,网络40ms,接收缓存50ms,解码20ms,预处理20ms,模型推理80ms,动作规划30ms,那么从现场状态发生到机器人真正执行,整个闭环可能已经超过290ms。对于一个缓慢变化的场景,这可能完全没问题;但对于高速机械臂、移动机器人、无人机或者自动驾驶相关场景,290ms已经可能足以让模型的判断失效。

更麻烦的是,很多系统并不是稳定地延迟200ms,而是在网络抖动、CPU过载、GPU排队之后逐渐变成500ms、1秒甚至更久。此时最危险的状态不是“视频卡住”,而是视频还在流畅播放,但AI正在持续处理越来越旧的数据。
所以未来视觉AI系统需要的并不是单纯的“低延迟视频”,而是可控制的数据时延:缓存必须有边界,排队必须可观测,旧帧需要主动丢弃,关键状态需要优先保留,AI处理不过来时必须有降级策略。
这与传统音视频工程中的很多思想高度一致:有界队列、背压、时间戳、关键帧恢复、弱网重连、多消费者隔离,以及生产者和消费者之间明确的生命周期管理。
从这个角度看,音视频并不是视觉AI的外围组件。
它实际上决定了AI究竟看到的是“现在”,还是“过去”。
五、真正决定视觉决策模型上限的,可能不是模型参数,而是行为数据
过去训练机器视觉模型,需要大量“图片+标签”;而训练视觉决策模型,需要的数据结构发生了变化。
如果让机器人学习“拿杯子”,真正有价值的数据并不是“这是杯子”这么简单,而是:
观察到了什么 → 机器人处于什么状态 → 为什么选择这个目标 → 采取什么动作 → 环境发生了什么变化 → 动作成功还是失败 → 下一步怎么调整。
也就是说,未来视觉智能需要越来越多的时序数据和行为数据。

这也是为什么机器人行业正在从单纯追求模型结构,转向关注真实机器人轨迹、仿真数据、人类操作视频、失败样本和跨场景数据。因为模型真正需要学习的不是“物体长什么样”,而是在什么状态下应该做什么,以及做了以后会发生什么。
这会让视频数据的价值发生一次升级。
以前企业保存视频,是为了回放;后来为了AI,开始保存图片和结构化结果;未来则需要保存:
视频 + 时间 + 空间位置 + 设备状态 + 任务状态 + AI结果 + 动作 + 最终结果。
这实际上是一种“视频事件资产”。
所以未来真正拥有AI竞争力的企业,可能不是模型最大的企业,而是能够持续产生高质量真实行为数据的企业。
六、视频基础设施正在从“播放通道”变成视觉智能的数据通道
如果视觉模型只看一张图片,媒体系统的重要性还没有那么明显;但当模型开始理解连续视频、实时状态和动作反馈以后,媒体链路就变成了整个智能系统的一部分。
一套真正面向视觉决策的媒体基础设施,需要解决的已经不仅是“能不能播放”,而是:能不能稳定接入不同摄像机?能不能同时服务多个AI消费者?能不能保证时间戳?能不能控制缓存?能不能在弱网下快速恢复?能不能把同一时间段的视频交给不同模型?能不能在事件发生时自动保留上下文?
因此未来媒体层更像一个实时视觉数据通道,而不只是传统意义上的播放器。

在实际系统里,设备和业务协议也不会消失,而是会长期共存。传统摄像机和行业设备仍然可以通过RTSP、GB28181等方式接入,既有平台和部分业务链路可以继续使用RTMP、HTTP-FLV,而面向移动设备、机器人、浏览器以及低延迟实时交互的场景,则可以逐渐引入WebRTC体系以及WHIP/WHEP。SmartMediaKit目前已经形成了从RTSP、RTMP、HTTP-FLV、GB28181到WHIP/WHEP的多协议媒体能力,这些协议最终都应该被统一收敛到上层的媒体Source、解码、转发、录像和原始帧输出,而不是让AI应用自己面对复杂的协议差异。
这样,视觉模型看到的就不再是“某个协议的视频”,而是一个稳定、连续、带时间信息的实时视觉输入。
这才是媒体层在视觉智能时代真正应该承担的位置。
七、未来真正可落地的视觉智能,不应该是一个“大模型包打天下”
如果把今天的VLA直接理解成“摄像头输入,大模型输出电机控制”,我认为距离大规模工业应用还有很长距离。
更现实的方案应该是:
实时媒体层 → 基础视觉 → 视觉理解模型 → 决策模型 → 任务规划 → 安全控制 → 执行机构 → 状态反馈。
其中每一层承担不同职责。

基础视觉解决“看清楚、测准确”;视觉模型解决“看懂环境”;决策模型解决“应该做什么”;控制器解决“怎么安全地做”;反馈系统解决“做完以后发生了什么”。
例如一个移动机器人在仓库中发现道路被物体阻挡,基础视觉负责检测障碍物,视觉模型判断障碍物的类别和空间关系,决策模型判断绕行还是等待,路径规划器重新生成路线,底层控制器负责执行,而安全系统持续判断是否存在碰撞风险。
这里真正值得注意的是:模型不是系统,模型只是系统中的一个决策组件。
工业系统最终仍然需要确定性边界、故障隔离、资源管理和安全机制。
因此未来真正有竞争力的企业,不一定是“模型参数最大”的企业,而可能是能够把模型嵌入复杂工程系统、让它长期稳定工作的企业。
八、机器视觉真正的“变天”,其实是从算法竞争进入系统竞争
所以回到最初的问题:视觉决策模型来了,机器视觉真的要变天吗?
答案是肯定的,但真正变天的不是某一种检测算法,而是机器视觉的系统范式。
过去我们评价机器视觉,常常看三个指标:识别准确率、处理速度、误报率。 未来还必须增加:场景泛化能力、任务理解能力、决策质量、数据新鲜度、行为闭环能力和安全可控性。

过去的机器视觉是一条相对固定的流水线:
Camera → CV → Rule → PLC
未来更可能变成:
Camera / Robot / UAV / Wearable
→ Real-time Media
→ Perception
→ VLM / VLA
→ Decision
→ Planning
→ Control
→ Physical World
→ Feedback
而且这两种体系不会互相替代,而会长期共存。固定工业场景依然需要高确定性的传统视觉;复杂开放场景会更多依赖视觉基础模型;涉及机器人行动的任务会进一步引入VLA;实时控制和安全系统则不会因为大模型出现而消失。
真正值得关注的是,视觉正在从一个“识别系统”逐渐变成一个“世界状态接口”。
当机器开始依赖连续视频理解现实世界时,视频本身就不再只是显示内容,而是模型认识世界的时间序列。于是音视频技术中的低延迟、时间戳、缓存、同步、弱网恢复、多路并发、数据分发和录像等能力,会逐渐从“媒体技术问题”变成“AI系统问题”。
从SmartMediaKit的角度看,未来最值得持续做深的也不是去做一个视觉大模型,而是继续把实时媒体底座做得足够稳定,让不同视觉模型能够获得低延迟、连续、可靠、可追溯的现实世界输入。无论是传统CV、VLM、VLA,还是未来更加复杂的视觉智能体,都可以建立在这条媒体数据通道之上。
所以未来真正有竞争力的体系,很可能是:
确定性感知提供可靠性,视觉大模型提供泛化能力,视觉决策模型提供任务能力,控制系统提供安全边界,而实时音视频提供连接现实世界的能力。
最终,机器视觉可能不再只是“机器的眼睛”。
它会逐渐变成连接现实世界 → AI模型 → 决策系统 → 物理执行的入口。
而真正意义上的“视觉智能”,也不会由某一个模型单独完成。
它最终拼的是一整套系统能力:
看得准、看得懂、看得及时、想得明白、做得安全,而且能够从每一次行动中继续学习。
这可能才是“视觉决策模型来了”之后,机器视觉真正要发生的变化。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐


所有评论(0)