一、前言：为什么空间智能成为顶会热门赛道？

传统 2D 视觉大模型（VLM）擅长图像识别、OCR、图文问答，但存在一个本质短板：没有真实三维空间认知。一张照片里 “桌子在椅子左边” 只是像素层面的视觉关联，模型无法理解真实尺度、距离、遮挡关系，不能在物理空间中做导航、碰撞预判、空间规划。

空间智能的核心目标：让 AI 像人类一样，看懂三维世界，理解物体几何、空间拓扑、物理约束，完成空间推理、交互与规划。近两年来 CV 顶会大量论文集中在3D 视觉 + 大模型融合，不再是简单 “点云输入 LLM”，而是统一空间表征、场景图构建、几何感知与语言推理的端到端范式，典型代表：3D-VLM、SORT3D、Stream3D-VLM、空间场景图 DSG 等工作。

简单一句话总结：2D 大模型看懂 “图片”；空间智能大模型看懂 “真实三维空间”。

二、核心技术体系：三维视觉 + 大模型融合架构

2.1 三维视觉基础模块

三维视觉负责对物理世界做几何采集与场景表征，主流技术路线：

1. 传统 SLAM：单目 / 双目 / LiDAR SLAM，输出稀疏点云、相机位姿，适合实时定位建图，缺点稠密重建效果弱，语义信息缺失。
2. NeRF / 3DGS（三维高斯泼溅）：当前顶会最火热的隐式重建方案。不需要显式网格，用大量高斯椭球表征场景，支持任意新视角渲染，兼顾重建精度与渲染速度，是空间大模型最常用的场景底层表征。
3. 深度估计 + 多视图重建：单目深度、立体匹配，从 2D 视频 / 图像序列恢复稠密深度、相机外参，低成本获取 3D 几何，适合消费级硬件（手机、普通相机）。
4. 场景图（Dynamic Scene Graph, DSG）：将三维场景拆解为物体实例、几何属性、空间关系（左 / 右 / 上方 / 包含），结构化输出，作为大模型的 “空间记忆”。

三维视觉输出产物：点云、Mesh 网格、深度图、3DGS 场景、场景图、物体 6D 位姿。

2.2 大模型侧能力：空间推理、语义对齐、任务规划

普通 LLM 本身不具备原生空间几何计算能力，直接输入文本描述做空间推理很容易出错（距离、方位、尺度幻觉）。行业主流融合范式分为 3 类：

1. 特征嵌入融合（主流方案） 三维编码器（PointNet/3D Transformer/3DGS 编码器）将点云、隐式场景编码为空间 Token，和图像 Token 一起送入多模态大模型，实现 3D 几何 + 视觉纹理 + 文本跨模态对齐，可直接做 3D Grounding、3D 问答。
2. 工具调用式空间推理（SORT3D 范式） LLM 不直接处理原始三维数据，把几何计算、空间查询封装成工具函数（距离计算、物体方位查询、碰撞检测）。大模型通过 CoT 思维链调用空间工具，完成空间关系推理，降低大模型学习几何的成本，工程落地友好。
3. 端到端空间基础大模型 统一 2D 图像、视频、三维几何、文本的预训练基座，学习通用空间先验，输入任意图像 / 点云即可直接输出重建结果、空间语义、动作规划。代表：如视 Argus、World Labs Atlas、ABot-Earth 等，属于下一代空间基础模型方向，目前仍在快速迭代。

2.3 完整流水线

传感器（相机 / LiDAR）→ 三维重建模块 → 空间表征（3DGS / 点云 / 场景图）→ 空间编码器提取几何特征 → 多模态大模型融合视觉、几何、文本 → 空间问答 / 导航 / 规划 / 控制输出。

核心难点：空间表征轻量化、几何 - 语义对齐、降低 Token 开销、动态场景鲁棒性。三维原始数据 Token 量巨大，直接送入大模型推理延迟高，是工程落地最大卡点。

三、三大核心落地场景解析

3.1 无人机空间智能：空地一体化测绘、巡检、自主导航

业务需求

无人机需要在未知环境自主飞行、避障、对建筑 / 电力杆塔 / 矿山做三维测绘、缺陷检测；支持自然语言指令，例如 “飞到屋顶北侧，查看裂缝”。

技术实现

1. 机载相机实时多视图重建，输出 3DGS / 稠密点云，构建实时局部场景地图；
2. 空间场景图记录杆塔、导线、建筑的三维位置；
3. 3D-VLM 融合几何与图像，识别缺陷；LLM 做指令解析、航路规划、风险推理；
4. 支持跨视角融合（卫星 + 无人机 + 地面图像，如 Cross3R 顶会方案），实现大范围城市 / 矿区三维建模。

价值与痛点

✅ 价值：从人工规划航线 → 自然语言指令自主巡检；自动生成三维数字资产，缺陷定位带真实空间坐标。 ⚠️ 落地瓶颈：机载算力有限，3D 重建 + 大模型推理功耗高；户外光照、动态遮挡、风扰导致重建漂移。

3.2 车载空间智能（自动驾驶 / 城市世界模型）

车载场景是空间智能商业化进展最快的赛道，典型如理想 MindVLA 等 VLA（Vision-Language-Action）架构。

业务需求

车辆不仅识别 2D 图像目标，还需要理解道路三维结构、障碍物尺寸、可行驶区域、物体运动趋势；接收自然语言指令，理解复杂路口博弈，输出轨迹规划。

技术实现

1. 激光雷达 + 相机融合实时三维感知，构建动态三维场景；
2. 3D 空间编码器将道路、车辆、行人几何特征编码；
3. VLA 大模型联合空间几何、图像、文本，完成场景推理、行为预测、决策；
4. 城市级世界模型：预构建城市公里级 3DGS 场景，用于仿真训练、预推演，减少实车采集成本。

✅ 价值：解决 2D 感知的尺度幻觉问题，提升复杂路口、异形障碍物的理解能力，实现语言指令 + 空间感知联合决策。 ⚠️ 落地瓶颈：车端强实时性要求；动态物体（行人、非机动车）空间表征不稳定；海量三维地图存储与更新成本极高。

3.3 智能家居 / 室内机器人：室内空间理解、具身交互

业务需求

扫地机器人、家庭服务机器人需要看懂全屋三维布局，识别家具位置；支持自然语言交互，例如 “把水杯拿到客厅茶几”，理解房间、家具之间空间关系，自主导航避障。

技术实现

1. 单目 / 深度相机室内三维重建，生成 Mesh 或 3DGS 全屋空间；
2. 场景图结构化存储房间、家具实例、空间位置；
3. 空间大模型接收用户自然语言指令，调用空间工具做物体定位、路径规划；
4. 可同步生成户型平面图、CAD，用于家装、VR 看房业务。

✅ 价值：机器人从 “沿墙清扫” 升级为语义级空间交互；一套重建资产可同时服务机器人、VR 看房、智能家居空间管理。 ⚠️ 落地瓶颈：室内反光、透明物体（玻璃）重建失效；家庭场景物体杂乱，动态物品导致场景图频繁更新；端侧算力受限。

四、工程落地共性挑战

1. 三维数据成本高：高质量标注 3D 数据集稀缺，人工标注成本远高于 2D 图像，当前行业方案多用 2D 视频做自监督重建，合成数据辅助训练。
2. Token 与推理延迟：原始点云 / 3DGS 直接编码会产生海量 token，无法在端侧（无人机、机器人、车载）实时推理；需要空间压缩、体素降采样、场景图抽象等轻量化手段。
3. 空间幻觉问题：大模型容易出现距离、方位判断错误，必须依靠几何工具校验，不能只依赖模型原生语言推理。
4. 动态场景漂移：三维重建大多假设静态场景；人、移动物体持续改变环境，容易造成地图漂移、空间表征失效。
5. 多传感器标定与时空对齐：相机、LiDAR 时间同步、外参标定误差会直接破坏几何 - 语义对齐，导致空间大模型推理出错。

五、未来研究方向（顶会前沿趋势）

1. 轻量化空间基础大模型：低参数量、低 token 开销，适配端侧设备；
2. 动态空间世界模型：能够预测物体运动、环境变化，不只是重建静态场景；
3. 空间智能体（Spatial Agent）：LLM + 空间感知 + 工具调用闭环，可自主探索未知三维环境，主动采集数据、修正地图；
4. 多尺度统一表征：从室内房间、街区、城市到卫星遥感的跨尺度空间统一建模；
5. 自监督 3D 预训练：利用互联网海量无标注视频自动学习空间先验，减少 3D 标注依赖。

六、总结

空间智能不是三维视觉和大模型的简单拼接，而是几何感知、空间表征、语言推理、动作规划一体化新范式。2D 多模态大模型解决 “看见什么”，空间智能大模型解决 “在三维空间里这是什么、在哪里、能做什么”。

在无人机、车载、智能家居场景中，技术落地路径已经清晰：先用三维重建构建场景几何，再用场景图 / 轻量化空间编码对接大模型，借助工具调用降低几何推理难度。当前最大矛盾在于大模型能力强，但三维空间表征成本高、推理开销大。未来随着 3DGS 轻量化、空间 Token 压缩、自监督 3D 预训练技术持续突破，空间智能会逐步从顶会论文走向大规模行业落地。

参考顶会方向：CVPR/ICCV/NeurIPS 3D-VLM、Spatial Reasoning、NeRF/3D Gaussian Splatting、Vision-Language-Action、Scene Graph、Visual-Language Navigation