👋 Hi，我擅长 AI 大模型应用落地、意识解码与 AI 开发工具链 。 💡 创业路上，用技术换时间，一起把 AI 变成生产力 🚀 >

看得见 ≠ 记得住：视觉基础模型的"空间记忆"及格了吗？

如果你做过机器人导航或具身智能方向的课程项目，大概率踩过这个坑：用当下最强的视觉基础模型提取特征，单帧的语义分割、深度估计都漂亮得能直接放进汇报 PPT，可机器人一转身，模型就像得了健忘症——沙发明明就在背后，它的表征里却再也找不到了。

问题出在哪？我们习以为常的评估方式——冻结特征、训个线性探针、看解码精度——回答的只是"模型此刻看没看清"，而真实世界需要的是另一件事：一个能在视野之外持续存在、随自身运动更新、并能指导行动的空间状态。最近一项针对十种主流视觉表征的系统测评，就把这个问题拆成了四个层级逐个体检，结论相当扎心，也非常有用。

一、30 秒结论

• 核心判断：主流视觉基础模型（DINOv3、SigLIP 2 这类）的单帧表征很强，但作为"空间状态"并不合格——看得见不等于记得住，记得住不等于能用来行动。
• 评估方法要升级：别只报单帧解码精度，至少按四个层级分别测——空间结构、物体持续性、预测性更新、可行动性。强在上一层，不代表强在下一层。
• 适合谁：做具身智能、视觉导航、世界模型、3D 视觉方向的同学，以及正在为项目选 backbone 的人。
• 不适合谁：只做静态图像分类/检索/检测的人（结论对你影响不大）；指望拿冻结特征直接端到端导航的人（请立刻放弃幻想）。

二、关键证据

这项研究的实验设计本身就很值得抄作业：冻结特征 + 探针读出，输入是静态室内环境的第一人称流式观测（模拟机器人边走边看），在十种表征上跑了四个层级的测试。

• 能力剖面是"锯齿状"的：同一个模型，可见场景的读出精度很高，但物体离开视野后的持续性追踪、未来特征的预测检索，表现断崖式下跌。而且不同网络层、不同历史长度（prefix length）下，各层级的强弱关系还会翻转——没有"全能层"。
• 两条清晰的依赖链：物体持续性和可行动性建立在相机位姿读出之上；而未来特征预测建立在可见场景读出之上。换句话说，想知道模型"记不记得住"，先测它"知不知道自己在哪"。
• 预测特征存在分布偏移：模型原生预测的未来特征里确实保留着可恢复的空间结构，但在真实特征上训练好的读取器，原封不动搬到预测特征上直接失效——分布变了，读取头得重训。
• 最反直觉的一条：在可行动性测试里，模型预测的动作确实会随目标变化而变化（说明目标信息进去了），但把正确目标喂给它，并不能可靠地提升向目标推进的效果。候选选择有反应 ≠ 连续行动有效用。

三、展开说明：四层"体检表"与探针方法论

先把四个层级说透，它们是递进的：

1. 空间结构：当前帧里能不能解码出深度、语义、布局——这是"看得清"。
2. 物体持续性：物体转出视野后，表征里还能不能恢复它的位置和属性——这是"记得住"。
3. 预测性更新：给定自身运动（比如前进 0.5 米、左转 30 度），能否推出下一时刻的特征——这是"脑补"。
4. 可行动性：给定一个目标（比如"去沙发"），表征能否支持选出真正朝目标推进的动作——这是"用得上"。

前置知识补一下：所谓"冻结特征探针"（frozen-feature probing），就是 backbone 完全不动、只训练一个轻量读取头，看某种信息能多大程度被线性解出来。它测的是"信息在表征里的可及性"，是表征评估的标准武器。一个最小可复现的例子：

from sklearn.linear_model import Ridge

# feats: [N, D]，冻结 VFM 对每一帧的输出特征（model.eval()，不反传）
# poses: [N, 3]，每帧真实相机位姿 (x, y, yaw)
probe = Ridge(alpha=1.0)
probe.fit(feats_train, poses_train)
print(probe.score(feats_test, poses_test))  # R² 越高，位姿读出越好

为什么"持续性依赖位姿读出"很合理？因为记住看不见的物体，本质上要把它们锚定在一个以自我为中心的参考系里，再随运动做坐标变换。模型连自己怎么动的都读不出来，谈何更新记忆。而"预测特征训不了旧读取头"则是经典的分布偏移问题——预测特征是模型生成的，和真实特征统计特性不同，这正是世界模型落地的隐形门槛。

四、落地建议：今天就能做的 3 件事

1. 给你的选型加一道"转身测试"：用手机拍一段室内视频，转身 180° 再转回，用上面的探针代码测：不可见时段里，背后物体的位置还能否从表征中解码？这段实验本身就是一段能写进作品集的能力——“视觉表征的探针评估”。
2. 把相机位姿读出当体检中间指标：做导航类项目时，先测位姿 R² 再谈下游任务；位姿读不出来，持续性和行动大概率崩。面试被问"怎么诊断表征质量"，这就是你的答案。
3. 用预测特征前，先重训读取头并验证迁移差距：同一个读取器，分别在真实特征和预测特征上训练，对比精度差——这个对比实验小而完整，写进报告很加分。

五、风险与反例

• 探针结论 ≠ 端到端结论：冻结探针测的是"现成信息的可读性"，端到端微调可能把空间能力"逼"出来。本文结论是"开箱即用的表征不够用"，不是"这些模型永远不行"。
• 场景有边界：实验在静态室内环境，动态场景、室外开放世界、多智能体干扰下结论未必平移。
• 信息存在 ≠ 模型在用：探针能解码出信息，不代表模型内部计算真的依赖它——可行动性的失败恰恰卡在这条缝里。
• 模型迭代很快：十种表征不是全部，新一代带视频预训练、自带世界模型目标的表征，剖面可能完全不同。方法论比具体排名更保值——学会这四层体检，比记住谁赢谁输重要得多。