谷歌发布世界模型 Genie 4：打一行字，视频里就下雪；再打一行字，人物开口说话
昨天深夜（美国时间 10 月 27 日），Google DeepMind 发布了 Genie 4。
看完官方页面和演示，我的判断是：世界模型这次从“能走进去看”，变成了“能边走边导演”。画面、环境声和角色对白一起实时生成，你打一行字，世界就跟着变。
官方的说法是：“我们新的世界模型，带来前所未有的真实感，并改进了实时交互模拟。”
世界模型和视频模型不一样。视频模型生成一段视频，你只能看。
世界模型生成一个能走进去的场景。你按键盘走动、转镜头，画面实时跟着变。
【待手动上传图片：02-西瓜物理.gif】
▲ 图：一句话，石像落下砸开西瓜
官方认为，人物是这次“最大的飞跃”。角色动作自然，会对环境做出反应，也能被实时引导。
官方放在这一组的还有一段 80 年代日本乡下车站。站台上挤满了人，一列红色的列车停在最近的轨道上。
用户输入“站务员提醒乘客”。站务员转向镜头说：“请注意站台边缘，下一班车两分钟后发车。”
声音：角色会接你的剧情
官方说，Genie 4 是他们第一个原生生成音频的实时世界模型。每个世界都带自己的环境声，从树林里的风声到海滩的浪声。
官方认为，真正的前沿是人说话。Genie 4 加入了实时对话，角色会对你的输入、对世界里发生的事做出反应。
两个年轻人骑摩托车过桥。用户输入“他回头看。她问他觉得他们能不能挺过去”。
后座的女孩随后开口：“你真觉得我们能挺过去吗？”
用户又先后输入了爆炸和“巨大的外星触手”。远处的城市冒起浓烟，巨大的触手从楼群里伸出来。
多步骤事件：Gemini 在旁边盯着
这一块用到的是 Gemini 3.8 Flash，Gemini 系列里偏快的一个型号。
官方说，它在循环里当“引导代理”。Genie 4 实时生成世界时，Gemini 持续观察画面，把目标拆成一串步骤，再看新进来的画面，确认每一步有没有成功。
世界变了，或者用户插手了，它就当场调整计划。
下面这段能看到这个过程。右上角的“推理步骤”框，就是 Gemini 写给 Genie 4 的指令。
【待手动上传图片：03-魔法多步骤.gif】
▲ 图：右上角是 Gemini 的推理步骤
玩家拿着魔杖，盒子里站着一只孔雀。用户输入“一道闪光把孔雀变成猫”。
右上角的框随即写出：玩家把雕花木魔杖向前一挥，一道魔法闪光，把木盒里的孔雀变成一只三花猫。画面跟着变了。
官方还拿它做了机器人实验。这次负责拆步骤的换成了 Gemini 4 Argon。它和 Genie 4 一起，模拟 Apptronik 的 Apollo 人形机器人下跳棋。
Argon 把用户布置的任务拆成步骤，以文字的形式穿插着交给 Genie 4。Genie 4 一边接收，一边渲染。
注意，这是在模拟里下棋，不是真机器人在下。官方说，这为在想象出来的世界里模拟各种场景开了一条路。
受信任测试者拿它做什么
官方说，Genie 4 还是一个早期、实验性的模型。他们和创意行业、新闻、教育、游戏、工程领域的测试者合作，看它能用在哪、还差在哪。
官方列了四类用法：
第 1 类 · 共 4 类
创意预演
电影人可以走进一个实时模拟的场景，拍好几条，现场调镜头、灯光、台词和动作。
第 2 类 · 共 4 类
历史场景
摄影记者在试，一张历史老照片能不能在几秒内变成走得进去的场景。团队也在试用它看山洪、山火这类短时事件怎么发生。
第 3 类 · 共 4 类
交互体验原型
游戏开发者在写引擎代码之前，用自然语言测视觉风格、材质和玩法，几秒钟从想法到可以探索的原型。
第 4 类 · 共 4 类
模拟
企业伙伴在评估用它快速生成“从零到一”的场景。
上面四类用法，都是官方转述测试者的说法，没有具体案例和效果数据。
拿到的人怎么说
能用的人不多。下面几位，要么拿到了早期访问，要么就在 Genie 团队里。
沃顿商学院的 Ethan Mollick 说，Genie 4 是“相当疯狂的体验”，边玩边生成游戏一样的环境。
“它不是完美的，但我输入‘住着机器人和马的新哥特粗野主义城市’，一分钟就造出来了。然后我让它加龙，再加一只友好的水獭 NPC，全是实时的。”
【待手动上传图片：04-Mollick造城市.gif】
▲ 图：机器人和马，再加龙，再加水獭
他的录屏里能看到 Project Genie 的界面。右上角有一个帧率读数：每秒 24 帧左右，最低 21、最高 25，每帧约 41.7 毫秒。官方没公布帧率，这是目前能看到的唯一数字，只来自他这一次录屏。
他还造了一间到处在跑 DOOM 的办公室：每台电脑在跑 DOOM，墙上也在跑 DOOM。接着他输入“我那个是恶魔的同事出现了”“他拿着链枪”“他给了我一笔奖金”。
【待手动上传图片：05-DOOM办公室.gif】
▲ 图：恶魔同事出现，拿着链枪
Justine Moore（@venturetwins）说，从一个起始提示就生成了带环境和角色的可交互世界，能用提示改，带原生音频，是“一大步”。
Genie 4 的核心作者之一 Aleksander Hołyński，发了一个更私人的用法：走进老照片。
“它代替不了真正的记忆，但走进老照片会让人释怀，尤其是照片里有已经不在的家人。”他走回的是和妈妈在波多黎各海边夜里散步的一张老照片。
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
2
0- 0
已为社区贡献1条内容
所有评论(0)