3D 生成与空间智能

1. 3D 生成和图像、视频生成有什么本质不同?
1. 图像是一张二维像素,3D 要的是"可从任意视角看"的三维表示。
2. 这要求生成结果有几何一致性和物理合理性,不是看着像就行。
3. 3D 有多种表示:网格、点云、体素、隐式场(NeRF 类)、3D 高斯。
4. 每种表示对应不同的生成方法和下游用途(渲染/打印/仿真)。
5. 3D 数据的获取和标注成本远高于图像,训练数据是稀缺资源。
6. 评价维度也更多:几何精度、拓扑质量、材质、可渲染性。
7. 面试要点:能说出"一致性、表示多样性、数据稀缺"三个关键词。

2. 主流的 3D 生成技术路线有哪些?
1. 文生 3D 直接路线:扩散模型在 3D 表示上训练,一步到位。
2. 二次生成路线:先生成多视角图像,再从图像重建 3D(重建管线)。
3. 原生 3D 扩散:在点云/隐式场/高斯上做扩散,几何一致性最好。
4. 图生 3D:单张图输入,先补全多视角再重建,是当前最实用路径。
5. 程序化生成:LLM 生成场景描述代码或参数化模型,适合结构化资产。
6. 各路线常组合:多视角生成提供外观,3D 先验补几何。
7. 面试要点:能对比"直接生成"与"先图后 3D"两条主线的取舍。

3. NeRF 和 3D 高斯泼溅(3DGS)是什么?
1. NeRF 用神经网络隐式表示场景:输入坐标和视角,输出颜色与密度。
2. 渲染要沿光线采样神经网络,质量高但渲染慢。
3. 3DGS 用大量带颜色和透明度的椭球"泼"出场景,光栅化渲染极快。
4. 3DGS 训练快、渲染实时,迅速成为主流场景表示。
5. 两者都从多视角图像重建场景,属于"场景重建"而非"凭空生成"。
6. 它们是空间智能的基础设施:数字孪生、VR、影视预演都在用。
7. 面试要点:说清"隐式(NeRF)与显式(3DGS)"的表示差异。

4. 单张图片生成 3D 的难点是什么?
1. 单图信息不足:被遮挡的部分完全是猜测,背面的几何靠先验补全。
2. 多视角一致性:生成的各视角图像拼起来必须能对得上。
3. 材质与光照解耦:原图的光照会"烤"进纹理,重打光就穿帮。
4. 薄结构、毛发、镂空这类复杂几何是公认难题。
5. 实践方案:扩散模型补多视角视图,再用重建算法恢复几何。
6. 评测重点看"转到背面像不像",而不是正面像不像。
7. 面试要点:本质是"欠定问题的先验补全",说破这一点就到位。

5. 3D 生成的质量怎么评测?
1. 几何指标:与真值的倒角距离、法向一致性,需要参考模型。
2. 多视角一致性:新视角渲染与真实视图的对比误差。
3. 拓扑与可用性:面片是否自交、能否用于下游建模或打印。
4. 视觉质量:渲染图的感知指标加人工评审。
5. 任务级评测:生成资产能否直接进引擎(导入成功、物理正确)。
6. 人工评审占大头:3D 的"可用"标准业务差异极大,指标只是参考。
7. 面试要点:强调"下游可用性"才是业务评测的核心。

6. 空间智能是什么概念?
1. 不止理解单张图片,而是理解并推理三维空间的布局、遮挡、物理。
2. 输入可以是视频、多视角图像,输出是空间表示或空间决策。
3. 它是具身智能和 AR/VR 的认知基础:知道"东西在哪、怎么动"。
4. 与纯语言理解互补:空间关系(左右、深浅、支撑)语言模型常出错。
5. 技术构成:深度估计、相机位姿、三维重建、物理属性推断。
6. 大模型接入空间智能的路径:视频预训练、3D 数据预训练、可微渲染。
7. 面试要点:空间智能是"从看懂图到看懂世界"的能力升级。

7. 3D 生成在游戏/影视行业的落地路径?
1. 游戏资产:道具、场景草模生成,进管线后再人工精修。
2. 影视预演:快速生成场景预览,替代昂贵的临时建模。
3. 落地形态多是"AI 出草稿、人工出成品",而非全自动交付。
4. 生成资产要符合引擎规范:面数、拓扑、UV、材质贴图都有硬标准。
5. 程序化生成(代码生成参数化模型)在规则化资产上已经很实用。
6. 行业采纳的瓶颈是"可用率":生成十个能用一个,人工修复成本仍高。
7. 面试要点:把落地说成"提效工具进管线",不要吹"替代建模师"。

8. 3D 数据稀缺问题怎么破?
1. 公开 3D 资产库规模远小于图像数据,且质量参差。
2. 合成数据:引擎里程序化生成场景加自动标注,量可以无限大。
3. 从视频学习:互联网视频隐含大量多视角信息,可提取 3D 监督信号。
4. 游戏引擎自产数据:现成 3D 场景任意渲染出配对数据。
5. 表示学习:先在图像视频上学 2D 先验,再迁移到 3D 任务。
6. 数据工程在这个领域比模型架构更决定上限。
7. 面试要点:能说出"合成数据加视频监督"两大补数据路径。

9. 3D 生成怎么控制可编辑性?
1. 业务要的不是"一个模型文件",而是"可以改的模型"。
2. 分层表示:几何、材质、光照分开表示,才能分开编辑。
3. 语义分割嵌入生成过程:生成时就带部件标签(门、窗、轮子)。
4. 参数化生成:LLM 生成结构化描述,部件级参数可调。
5. 纹理与几何解耦:改贴图不动模型,改模型保留贴图。
6. 编辑能力现在是选型的重要指标,甚至比生成质量更关键。
7. 面试要点:可编辑性 = 可控生成加结构化表示,缺一不可。

10. 3D 生成的算力和延迟现状?
1. 生成一个精细 3D 资产通常是分钟级,远慢于图像的秒级。
2. 优化方向:多阶段蒸馏、前馈式重建网络、表示简化。
3. 实时 3D 生成(如对话中即时出模型)目前只在受限场景可行。
4. 训练侧数据加载和 3D 算子也是工程瓶颈。
5. 业务上通常接受"离线生成加在线渲染"的分工。
6. 随着前馈式模型成熟,秒级生成是明确趋势。
7. 面试要点:给业务方案时要按"分钟级离线"做现实预期。

11. 落地 3D 生成最常踩的坑?
1. 拿论文 demo 的效果当线上效果,真实可用率差一个量级。
2. 忽视下游规范,生成资产导不进引擎,白生成。
3. 只看正面渲染质量,转到背面和底部全是崩的。
4. 光照烤死在纹理里,进引擎后和场景格格不入。
5. 没有可编辑性,美术想改一处只能整个重新生成。
6. 评测没建"业务可用"标准,团队自嗨指标与生产脱节。
7. 把 3D 生成当独立产品卖,忽略了它必须嵌进现有制作管线。

包含的内容比较多,这里只做了简单的截图介绍,需要拿来学习的小伙伴查看下方图片!

📚 大模型面试题系列 · 持续更新

INTRO_REMOVED

长按识别二维码,添加微信好友

获取完整版面试题合集,注明 「面试」 通过好友申请

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐