## 摘要 同一段画面、同样多的观测，只把「下一步看哪里」的决定权交给模型，GPT-5.2 在视觉世界里的得分就从 57.1 掉到 46.0。这是 ICLR 2026 论文 **Theory of Space**（下称 ToS）测出来的第一件事。 它把「空间能力」从「答得对不对」重述成「空间信念建得稳不稳」，用文本与视觉两个同布局世界出了 2700 道题。结论有点扎心：当前基础模型最大的短板不是看不清，而是看清楚了又忘掉、又改错。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV17FJm67EEA) 视频章节时间轴（可直接跳到想看的段落）： ``` 00:32 作者介绍 00:56 研究背景与动机 01:38 相关工作 02:03 方法 03:13 实验设计 04:10 实验结果 05:36 信念探针：认知地图质量 07:04 信念修订与 Belief Inertia 07:53 局限与讨论 08:19 要点总结 08:47 参考文献 ``` [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | Theory of Space: Can Foundation Models Construct Spatial Beliefs through Active Exploration? | | 标题（中文） | 空间也需要一种「心智理论」：基础模型能靠主动探索建起空间信念吗？ | | 作者 | Pingyue Zhang、Zihan Huang、Yue Wang、Jieyu Zhang、Letian Xue、Zihan Wang、Qineng Wang、Keshigeyan Chandrasegaran、Ruohan Zhang、Yejin Choi、Ranjay Krishna、Jiajun Wu、Li Fei-Fei、Manling Li | | 机构 | 西北大学（Northwestern）、斯坦福大学（Stanford）、华盛顿大学（UW）、康奈尔大学（Cornell） | | 会议 | ICLR 2026 | | arXiv | [arXiv:2602.07055](https://arxiv.org/abs/2602.07055) | | 项目网站 | [theory-of-space.github.io](https://theory-of-space.github.io/) | ## 背景与动机 「主动走一圈」这件事，值得单独测吗？值得。因为在部分可观测的环境里，智能体拿不到全局地图，只能靠移动、转身、观察，一点点把空间拼出来。认知科学的实验早就指出，同样一份信息，自己走出来的理解明显好于被动接收。 现有的空间基准分两类，但都不测这个过程。一类是被动的，比如 VSI-Bench、3DSRBench，模型拿到固定的图像或视频，只负责推理；另一类是任务驱动的，比如 OpenEQA、Explore-EQA，模型要去找证据回答问题，但目标是答案而不是地图。两类都把「探索得好不好」和「推理得好不好」混进了同一个分数。 混在一起最直接的后果，是失败没法归因。一个模型做错了，你分不清它是没看到、走错了，还是看到了却记错了。ToS 想解决的就是这个归因问题。 这条线上的历史脉络很清楚。2018 年的 EmbodiedQA 与 IQA 第一次要求智能体动起来找证据；2020 年前后的 ALFRED、ALFWorld 把具身任务拉长到多步，但探索仍服务于具体目标；2023 年的 EXCALIBUR 首次做「任务无关」的探索，可惜它靠强化学习训练，地图隐式地编在策略权重里，还存在目标泄漏的风险。ToS 补的正是这一环：零样本、不训练、任务无关，而且要把信念本身读出来。 ## 研究主线：从问题到结论  **图 7：ToS 的研究主线（Mermaid 流程图）。** 从「部分可观测、拿不到全局地图」这个前提出发，指出被动基准测不了主动取信息，于是把评测目标重述成构建、修订、利用三个可测接口，再用双世界、脚本代理与认知地图探针去量，最后落到「主动全线低于被动、瓶颈在状态维护与信念惯性」。 ## 基准/方法设计 ToS 的设计目标，是把「探索」从「推理」里剥出来。所以它不给具体任务，只给一个好奇心驱动的建图目标。 环境是程序化生成的多房间室内布局。主设定是三个相连的 6×6 房间、每房间 4 个物体，一共 12 个物体。文本世界返回符号化观测，比如「椅子在左前方、距离近」；视觉世界返回 ThreeDWorld 加 Objaverse 渲染的 384×384 自我中心图像，物体库有 293 个模型。两个世界共用同一个随机种子，布局逐位一致——跨模态比较能成立，全靠这一点。 动作空间刻意保持高层：走向可见物体、原地转 90° 或 180° 或 270°、看 90° 视野，以及直接索取绝对坐标。观察记 1 分成本、查询记 2 分，本意是逼模型少问坐标。但实测所有模型都极少用查询，于是效率改用步数衡量。 另一半设计是脚本代理，用来做对照。视觉世界用 **Scout**：原地扫一圈，再按固定房间顺序「进入—扫掠—前进」。文本世界用 **Strategist**：用弧一致性维护每个物体的可行位置集合，每轮挑剩余可能性最大的物体去约束。把模型放到代理生成的轨迹上，就能只测推理、不测探索。  **图 1：论文 Fig. 1。** 左边是部分可观测的多房间场景，中间的循环是移动、旋转、观察，右边是两个评测出口——用下游空间任务检验信念能不能用，再用认知地图探针把信念直接读出来。 ## 分类全景  **图 8：ToS 的五个测量维度（Mermaid 分类图）。** 构建效率看信息增益与步数，认知地图看正确性、感知与稳定性，不确定性地图看未观测区域的 $F_1$，信念修订用假信念任务与惯性量化，信念利用则是九类下游空间任务。 ## 方法细节 最重要的一件工具是**认知地图探针**。它要求模型在每一步把内部信念外化成结构化 JSON：既有锚定在初始位姿的全局布局，也有以当前位姿为原点的局部快照。这样既能看它记住了什么，也能看它以为哪里还没看过。 有了这份外化产物，就能把「信念」拆成可打分的量。构建效率用归一化信息增益衡量，$E = 1 - \frac{\sum_i \log_2 \max(1, C_i)}{N \log_2 M}$，其中 $C_i$ 是在弧一致性剪枝后物体 $i$ 仍可行的格子数。这个值从 0 到 1，越接近 1 说明物体被定得越死。 地图质量用三个量：位置准确率定义为 $(K/N) \cdot e^{-\mathrm{RMSE}/L}$，$K/N$ 是覆盖率，$\mathrm{RMSE}$ 是位置均方根误差，$L$ 是场景尺度的归一化长度；方向准确率看两两物体的方位关系；朝向准确率看预测朝向对不对。终局正确性是这三项的等权平均。 除正确性只在终止那一轮算之外，其余诊断量逐轮计算。感知看的是「第一次进入视野的物体认得准不准」，稳定性看的是「已经看对过的物体，后面有没有被改坏」，自我跟踪看的是「模型知不知道自己在哪」。额外还有一张不确定性地图：给一批混了已观测与未观测位置的候选点，用 $F_1$ 衡量模型能否挑出自己没看过的点。 信念修订单独设计了一个**假信念任务**。探索结束后，环境偷偷移动或转向 4 个物体，模型要带着旧记忆重新探索、找出变化。为了量化「嘴上改了、心里没改」，论文定义了位置惯性 $s_i^{pos}$，它等于修订后的残差向量与「旧位置方向」的余弦对齐，再乘一个距离衰减权重；无偏更新时它的期望为零，大于零就说明被旧先验往回拉了。  **图 2：论文 Fig. 5。** 每一步智能体执行动作、接收观测、更新信念，探针要求它输出 JSON 认知地图，并在俯视图的候选点里挑出下一个未探索位置。 ## 实验设计与结果 评测覆盖 100 个场景，每场景每类任务 3 题，共 $3 \times 9 \times 100 = 2700$ 题，文本与视觉各自一份。模型一共 6 个：GPT-5.2、Gemini-3 Pro、Claude-4.5 Sonnet、GLM-4.6V、Qwen3-VL 与 InternVL-3.5（后者只支持 10 张图，因此不参与视觉世界）。主动设定最多 20 步，另外还找了 3 名人类被试做参照。 九类下游任务分两组。路径级五类，考方向、视角代入、视角反推、动作到观测、观测到动作；地图级四类，考全局坐标、心理旋转、定位到观测、观测到定位。所有题目都是开放式回答，避免选择题带来的知识泄漏。  **图 3：论文 Fig. 4。** 下排是路径级任务，围绕自我中心的步进推理；上排是地图级任务，要求全局建图、几何变换与视角转换。两类合起来，才能把「感知看错了」和「推理错位了」分开。 先看主动探索的成绩与代价： | 方法 | 文本 Avg. | 文本步数 | 视觉 Avg. | 视觉步数 | |---|---|---|---|---| | GPT-5.2 | 72.0 | 11.4 | 46.0 | 17.2 | | Gemini-3 Pro | 81.5 | 13.5 | 57.3 | 13.6 | | Claude-4.5 Sonnet | 65.9 | 18.7 | 29.6 | 19.6 | | Qwen3-VL | 36.8 | 14.1 | 21.3 | 16.3 | | Human | 86.7 | 10.8 | 96.4 | 9.8 | Gemini-3 Pro 在两个世界都排第一，平均步数还是最少的之一。人类只要 9.8 步就把视觉世界做到 96.4。差别不在「能不能推理」，而在「会不会取证据」。 再看主动与被动放在一起对比： | 方法 | 文本被动 | 视觉被动 | Δ 文本 | Δ 视觉 | |---|---|---|---|---| | GPT-5.2 | 90.4 | 57.1 | −18.4 | −11.1 | | Gemini-3 Pro | 86.5 | 60.5 | −5.0 | −3.2 | | Claude-4.5 Sonnet | 73.6 | 43.1 | −7.7 | −13.5 | | GLM-4.6V | 23.4 | 16.7 | −6.6 | −2.3 | | Qwen3-VL | 45.6 | 24.9 | −8.8 | −3.6 | 五个模型、两个世界，一共十二个格子，主动全部低于被动，没有例外。GPT-5.2 在文本世界掉了 18.4 分，是最大的一处损失。 效率差距同样明显。视觉世界的 Scout 代理大约 9 步就能到达目标覆盖，而主动探索的模型普遍要 14 步以上，分数还更差。更能说明问题的是这个对照：让 GPT-5.2 与 Gemini-3 Pro 跟随代理那条 9 步轨迹，它们的成绩是 83.9 与 86.7，比它们自己探索的 72.0 与 81.5 还高。 把代价和准确率画在同一张图上，趋势就很直白：  **图 4：论文 Fig. 2。** 淡色图标是被动设定（模型拿到预生成的探索历史，只负责推理），实色是主动设定。箭头方向说明主动探索把成本推高、把准确率压低，论文把它命名为 **Active-Passive Gap**（主动—被动差距）。 累计信息增益的曲线则暴露了策略问题：  **图 5：论文 Fig. 6。** GPT-5.2 起手信息增益最高，因为它很快锁定「找到门就走」的策略；但后期增速明显放缓，累计增益最后低于 Gemini-3 Pro 与 Claude-4.5 Sonnet。 环境变复杂之后，差距会被放大。四房间设定下，GPT-5.2 的文本成绩从被动的 86.5 掉到主动的 66.0，视觉从 52.6 掉到 40.3，步数涨到 23.2；Gemini-3 Pro 退化最小，视觉还有 51.5。作者还额外测了更高分辨率，没有观察到性能增益——这条消融很关键，它说明问题不在「看得清不清」。 ## 结果对比总结  **图 9：结果对比总结（Mermaid 流程图）。** 两侧参照清晰：脚本代理 9 步到达目标覆盖，人类 9.8 步拿到 96.4 分；而同一个 GPT-5.2 在被动阅读时是 57.1 分，决定权交回自己手里就掉到 46.0 分——差距出在取证据，不出在推理。 ## 关键发现 - **主动探索是当前最紧的瓶颈。** 5 个模型 × 2 个世界共 12 个格子里，主动成绩全部低于被动；GPT-5.2 在视觉世界从 57.1 掉到 46.0，Gemini-3 Pro 从 60.5 掉到 57.3。 - **效率差距比分数差距更离谱。** 脚本代理约 9 步到达目标覆盖，基础模型要 14 步以上，覆盖率还更差——多走的步数没有换来更准的信念。 - **感知不是唯一瓶颈，状态维护才是大坑。** 探针显示 GPT-5.2 在视觉世界的位置感知有 72.4%，终局地图正确性却只有 32.2%；Gemini-3 Pro 是 68.5% 对 52.1%。反过来，自我跟踪这一项两个模型都在 93% 以上。 - **信念惯性是可量化的独立缺陷。** 环境偷偷改掉 4 个物体后，视觉世界的朝向惯性高达 68.9% 与 51.1%，文本世界只有 5.5% 与 7.9%。模型直接看见了新朝向，仍然用旧估计。 - **探针本身可信。** 把真实认知地图直接喂给模型，成绩升到约 95%，说明表示格式不是瓶颈；地图正确性与下游成功的皮尔逊相关系数在视觉侧是 0.570 与 0.645，文本侧 0.418 与 0.466，全部在 $p < .001$ 下显著。 - **这套设计为什么被认为有价值。** 它命中了三个顶会写作里的常见模式：把不可解的评测目标重述成可解对象（构建、修订、利用三个可测接口）；设计混淆隔离工具（同种子双世界加脚本代理）；自己制造监督信号（逐步认知地图探针）。三件事的共同点是先造一把新尺子，再当场用它量出结论。  **图 6：论文 Fig. 7。** 累计信息增益与认知地图正确率随步数的变化。两条曲线会分叉：观测还在积累，地图正确率却可能走平甚至回落——多看的证据没有稳定地写进信念，或者写进去又被后来的错误更新挤掉。 ## 局限性 - **动作空间是人定的。** 四个高层算子由作者设计，模型只学「何时用、用在哪」，不涉及低层运动控制与真实机器人的物理约束。 - **场景是程序化合成的。** 树状连通的多房间布局、每房间 4 个物体、384×384 分辨率；真实家居的杂乱度远高于此。 - **只测零样本能力。** 全文没有给任何环境相关的训练信号，所以「主动探索是瓶颈」这个结论限定在当前开箱即用的能力上。 - **人类样本很小。** 只有 3 名被试、各 5 个文本与 5 个视觉场景，工具组（可以用量角器与指南针，拿 99.0 分）更多是上界参考。 - **论文自身的表述也留了几处口子。** 摘要写 GPT-5.2 是 $0.57 \to 0.46$，正文和主表写 $57.1 \rightarrow 46.0$，同一组数据用了两种量纲，读者要对照两处才能确认；引言里还有一处拼写错误（把 reasonably 写成了 reasonablely）。 作者给出的直接延伸是多智能体探索：如何在多个智能体之间协调、对齐与共享空间信念，这是单智能体设定下不存在的难题。 ## 常见问题（FAQ） ### 我想复现这套评测，需要什么资源？ 硬件门槛不高。视觉世界用 ThreeDWorld 渲染 384×384 的图像，主力开销在调用基础模型本身——2700 题 × 2 个世界 × 多个模型。代码、数据与在线分析平台都已开源，`github.com/mll-lab-nu/Theory-of-Space` 是入口，数据集在 HuggingFace 的 `MLL-Lab/tos-data`。 ### 它和 VSI-Bench 这类空间基准有什么区别？ VSI-Bench 是**被动**基准，模型看一段固定视频然后回答空间问题；ToS 把决定权交回模型，让它自己选动作去收集观测。这也是为什么 ToS 能测出 Active-Passive Gap——同一个模型，同一批题目，只是把「先看哪里」的决定权换手，分数就掉了。 ### 它和 OpenEQA、Explore-EQA 那种「具身问答」有何不同？ 那两类的目标是**回答问题**，探索只是达成答案的手段；ToS 的目标是**建一张准确的地图**，不给具体任务。目标不同导致度量不同：ToS 会单独测信息增益、认知地图正确率与不确定性建模，而具身问答只看最终答对没有。 ### 为什么视觉世界比文本世界差这么多？ 一半是感知，一半是状态维护。探针显示视觉世界的朝向识别接近随机水平，视角代入类任务只有约 36%；但更关键的是稳定性——已经看对的物体在后续轮次被改错，正确性因此不是感知误差的累加，而是「已验证事实被覆盖」的累积效应。 ### 什么叫「信念惯性」，为什么它重要？ 惯性指模型修订信念时系统性地被旧先验往回拉。视觉世界的朝向惯性达到 68.9%，意味着它明明看见了新朝向，还是给出旧答案。这很重要，因为它是一个独立的失败维度：文本世界的感知与识别都很强，惯性依然存在，只是轻得多。修感知顺带解决不了它。 ### 这对做机器人的人意味着什么？ 别急着堆感知分辨率。作者报告提高分辨率没有带来性能增益，而探针指向的是「信念更新机制」。对机器人来说，一个可修订、并且知道自己何时可以停下来的信念状态，可能比更高清的相机更值钱。 ## 参考链接 - 论文 arXiv 摘要页：[arXiv:2602.07055](https://arxiv.org/abs/2602.07055)。 - 项目主页（含在线分析平台）：[theory-of-space.github.io](https://theory-of-space.github.io/)。 - 代码仓库：[github.com/mll-lab-nu/Theory-of-Space](https://github.com/mll-lab-nu/Theory-of-Space)。 - 评测数据集：[huggingface.co/datasets/MLL-Lab/tos-data](https://huggingface.co/datasets/MLL-Lab/tos-data)。 最后留一句带走的话：当模型能自己决定下一步看哪里，评测的问题就变了——不是「答得对不对」，而是「这份空间信念建得起、改得动、用得上吗」。下一步值得盯的，是信念修订机制本身：如何让新证据真正覆盖旧信念，以及模型怎么判断「我已经看够了」。 --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）