腾讯混元3D世界模型2.0开源:一句话生成可编辑的3D世界,直接导入Unity和UE

来源:腾讯混元官方、AITOP100、每经网、 chinaz
标签:#3D生成 #开源 #腾讯混元 #游戏开发 #世界模型


一、事件概述

2026年4月16日,腾讯混元团队正式发布并开源了混元3D世界模型2.0(HY-World 2.0)

如果说上一代3D生成模型还停留在"捏物体"的阶段(输入文字生成一把椅子、一辆车),那么HY-World 2.0则实现了从**"捏物体"到"造世界"的质变——输入一段文字描述,就能生成包含人、物、景的完整3D空间,而且这个空间是可漫游、可编辑、可直接导入Unity和UE**的。

开源地址:https://github.com/Tencent-Hunyuan/HY-World-2.0


二、核心能力展示

输入方式:多模态

HY-World 2.0支持三种输入方式:

输入类型 示例 生成结果
文字 “一个阳光明媚的城市街道,两旁是咖啡馆” 完整可探索的3D城市街区
图片 一张真实街道的照片 基于照片重建3D空间
视频 一段手机拍摄的视频 高精度数字孪生空间

输出物:不只是"好看的3D"

与传统3D生成模型最大的区别在于,HY-World 2.0的输出不是装饰品,而是生产资料

传统3D生成:                    HY-World 2.0:

输入文字 → 生成3D图片/视频      输入文字 → 生成可交互3D空间
                                    ↓
                              支持角色自由漫游
                              具备物理碰撞属性
                              可继续编辑修改
                              可导出Mesh/3DGS/点云
                              可直接导入游戏引擎

实际意义:游戏关卡设计师可以用一段文字快速生成关卡原型,3D环境艺术家可以用一张照片创建数字孪生空间,具身智能研究者可以在生成的3D环境中训练机器人导航算法。


三、四大技术创新

创新1:HY-PANO-2.0 —— 全景映射

解决了什么问题:传统全景生成需要预先定义相机参数,对普通用户门槛太高。

怎么做:采用端到端隐式学习方案,无需任何相机参数即可完成360度全景映射。

效果:普通用户输入一段自然语言描述,就能生成高质量的360度全景3D内容。

用户输入:"一个中国古典园林,有假山流水和石拱桥"

HY-PANO-2.0自动完成:
1. 理解场景语义(园林、假山、流水、石拱桥)
2. 生成360度全景布局
3. 自动确定物体位置和视角关系
4. 输出可漫游的3D空间

创新2:空间AGENT —— 智能漫游轨迹规划

解决了什么问题:生成3D空间后,用户不知道"从哪走、怎么走"。

怎么做:结合视觉语言模型(VLM)和navmesh导航网格技术,让模型理解空间结构,自动规划合理的漫游路径。

效果:生成的3D场景不是静态的"橱窗模型",而是有"路"的——角色可以在里面行走,路径合理且不穿模。

创新3:WORLDSTEREO —— 跨区域一致性

解决了什么问题:向已有场景添加新区域时,经常出现"新房间和走廊尺寸对不上"、"光照方向不一致"等问题。

怎么做:通过跨区域一致性算法,确保新增区域与已有区域在几何尺寸、视觉风格、光照方向上保持连贯。

效果:可以像搭积木一样不断扩展3D世界,每次扩展都能自然衔接。

创新4:WORLDMIRROR 2.0 —— 真实场景复刻

解决了什么问题:从真实世界的视频/图片中重建高精度3D空间。

怎么做:一次性预测密集点云和相机参数,实现高精度数字孪生。

效果:用手机拍一段视频,就能生成真实场景的高精度3D复制品,可用于:

  • 房地产虚拟看房
  • 工业现场数字孪生
  • 具身智能仿真训练

四、游戏工作流对接

这是HY-World 2.0最实用的亮点。生成的3D资产支持三种主流格式导出:

导出格式 特性 适用引擎
Mesh(网格模型) 传统多边形模型,支持碰撞体和材质 Unity、UE
3DGS(3D高斯溅射) 新型渲染表示,支持实时渲染和编辑 Unity、UE
点云 精确的3D点数据,适合扫描和测量 Unity、UE

实际工作流示例

游戏关卡设计工作流(传统 vs HY-World 2.0):

【传统流程】(需要数天到数周)
概念设计 → 场景建模 → 材质贴图 → 灯光设置 → 碰撞体配置 → 导入引擎 → 反复调整

【HY-World 2.0流程】(需要数分钟到数小时)
输入文字描述 → 一键生成3D世界 → 导出Mesh → 导入Unity/UE → 微调细节

腾讯混元团队强调,生成的3DGS与Mesh的混合表征支持用户开启角色模式,在生成的场景中有真实物体碰撞和路径规划——这意味着生成的场景可以直接作为游戏关卡使用。


五、与竞品对比

对比项 腾讯混元2.0 Google Genie 3 Meta Habitat
生成物 完整3D世界 2D游戏环境 3D室内场景
物理属性 ✅ 真实物理碰撞 ❌ 无物理 ❌ 有限物理
可探索性 ✅ 角色自由漫游 ⚠️ 有限 ✅ 支持导航
可编辑性 ✅ 可继续编辑 ❌ 不可编辑 ⚠️ 有限编辑
引擎对接 ✅ Unity/UE ❌ 不支持 ⚠️ 仅Habitat
真实场景重建 ✅ 视频转3D ❌ 不支持 ❌ 不支持
开源 ✅ 完全开源 ❌ 闭源 ⚠️ 部分开源

混元2.0的核心差异化优势在于**“不只是看起来像3D,而是真正能用的3D”**。其他模型生成的更多是"视觉展示型"3D内容,而混元2.0生成的是具备物理属性和碰撞检测的"生产型"3D资产。


六、三大应用场景

场景一:游戏开发

  • 快速原型:游戏策划可以用文字快速生成关卡原型,验证玩法概念
  • 环境创作:3D美术师可以基于文字或图片快速创建游戏场景基础
  • 独立开发者:小团队不再需要大量3D美术人力,AI生成+人工微调即可

场景二:具身智能训练

真实世界 ──拍摄视频──→ HY-World 2.0 ──生成数字孪生──→ 机器人仿真训练
                                                          ↓
                                                    真实环境部署验证

在数字孪生环境中训练机器人,然后部署到真实环境验证——这比直接在真实环境中试错成本低得多、速度快得多。

场景三:数字孪生与元宇宙

  • 建筑/地产:一键生成室内外3D空间,支持虚拟看房
  • 文旅:根据照片生成景区3D复刻,支持在线漫游
  • 工业:工厂环境的数字化重建,用于仿真和培训

七、对开发者的影响

游戏开发者

  • 关卡设计效率可能提升10倍以上
  • 3D美术门槛大幅降低,非专业人员也能参与场景创作
  • "AI生成原型 + 人工精修"将成为新工作流

3D技术从业者

  • 需要学习如何与AI协作进行3D内容创作
  • 传统建模技能的价值从"从零创建"转向"理解、修改、优化AI生成的内容"
  • 了解3DGS、神经辐射场(NeRF)等新技术变得必要

嵌入式/机器人开发者

  • 数字孪生环境的生成成本大幅降低,有利于机器人仿真训练的普及
  • 可以更方便地创建各种场景来测试机器人的导航、抓取等能力

八、总结

腾讯混元3D世界模型2.0的开源,是3D生成领域的一个重要里程碑。

它解决的不只是"能不能生成3D"的问题,更是"生成的3D能不能用"的问题。通过支持多模态输入、物理碰撞属性、可编辑输出和游戏引擎直接对接,HY-World 2.0将3D生成从"实验室技术"推向了"生产工具"。

对于技术从业者来说,这件事的启示是:AI的价值不在于"替代人类创造力",而在于"让创造力不再被技术门槛阻挡"。 一个有想法但不会3D建模的游戏策划,现在可以用一句话把想法变成可玩的关卡。一个研究机器人导航的工程师,现在可以用一段视频创建逼真的训练环境。

这正是AI工具应该有的样子——降低创造的门槛,释放更多人的创造力。


参考来源:腾讯混元官方、GitHub、AITOP100、每日经济新闻、chinaz

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐