Google DeepMind正式发布最新“世界模型”Genie 4的研究预览版。该模型能生成迄今最逼真且具高度交互性的虚拟世界,允许用户通过提示词实时改变场景,并同步生成匹配的音乐、环境音及对话等实时音频。

Genie 4的问世正值全球“世界模型”赛道加速整合之际。此前不久,AI视频初创公司Runway发布了具备动态响应和音频生成功能的第二代模型GWM Worlds 2。与此同时,行业并购活跃:李飞飞创立的World Labs正被AMD收购,亚马逊正在洽谈收购Decart,Rivian则刚完成对Third Dimension的收购,以强化自动驾驶内部仿真能力。

技术突破:更长一致性与时空编辑

相较于一年多前发布的Genie 3,Genie 4在照片级真实感基础上,新增了自由形式编辑功能。用户可实时调整天气、摄像机角度,或添加新的人物与物体。其场景一致性维持时间长达两分钟,是前代产品的两倍,同时物理效果更真实,角色行为更具人性化。

此外,Genie 4与Google AI模型Gemini实现了深度集成。Gemini充当“导演”,负责任务规划与帧数检查,Genie 4则负责视觉创建。在与Gemini Robotics相关的实验中,Gemini 4 Argon模型将任务分解,由Genie 4进行实时模拟,展示了在现实部署前通过仿真测试机器人场景的路径。

Google研究总监Tejas Kulkarni表示,未来将出现更多混合世界模型:Gemini负责代码和文本生成,Genie实时吸收信息并在不同抽象层级模拟现实。

应用场景与局限

除游戏、互动学习和机器人技术外,“受信任测试者”发现了电影原型制作的新用途。Google DeepMind工程师Diego Rivas指出,实时性对于创意构思和分镜脚本阶段保持创作心流极具价值。结合Google另一款AI视频生成模型Veo,用户未来或可依赖多模态模型Gemini Omni将这些原型转化为最终创意资产,但Rivas强调这尚需时日。

Rivas同时也承认,Genie 4仍处于早期阶段,端到端产品体验尚未明确。目前模型存在缺陷:随着模拟时长增加,细节和物体可能出现漂移;音频准确性及场景中文字的可读性问题也未完全解决。

目前,Genie 4已向受信任测试者开放。未来几周,Project Genie将面向Google AI Ultra订阅用户、Gemini API及Google AI Studio的早期访问合作伙伴推出,支持基于文本或图像提示生成互动世界。