新 AI 模型将照片变成可探索的 3D 世界,但需注意其局限... 笔记
RSS Slashdot

新 AI 模型将照片变成可探索的 3D 世界,但需注意其局限性

腾讯发布了 HunyuanWorld-Voyager,这是一款开源的 AI 模型,能够从单个图像生成 3D 一致的视频。这使得用户可以通过控制摄像机路径来导航虚拟场景。该模型同时生成 RGB 视频和深度信息,无需传统建模即可进行直接的 3D 重建。虽然它不生成真正的 3D 模型,但它能生成具有空间一致性的 2D 视频帧,模拟摄像机在 3D 空间中的移动。每次生成大约两秒钟的视频,可以通过串联片段来延长。当虚拟摄像机移动时,物体会保持其相对位置和准确的视角变化。深度图信息可以转换为 3D 点云以进行重建。然而,该工具存在一些局限性,包括在 360 度旋转等复杂摄像机运动中会累积误差。其泛化能力也受限于其对训练数据模式的依赖。有效运行该模型需要强大的 GPU 算力,特别是 60-80GB 的内存。此外,许可限制了其在欧盟、英国和韩国的使用。大规模部署需要特殊协议。腾讯已在 Hugging Face 上提供了模型权重。