Neues KI-Modell verwandelt Fot... Notiz
RSS Slashdot

Neues KI-Modell verwandelt Fotos in begehbare 3D-Welten, mit Einschränkungen

Tencent hat HunyuanWorld-Voyager veröffentlicht, ein KI-Modell mit offenen Gewichten, das in der Lage ist, aus einem einzigen Bild ein konsistentes 3D-Video zu generieren. Dies ermöglicht es Benutzern, virtuelle Szenen durch die Steuerung einer Kamerafahrt zu navigieren. Das Modell erzeugt sowohl RGB-Video als auch Tiefeninformationen, was eine direkte 3D-Rekonstruktion ohne traditionelle Modellierung ermöglicht. Obwohl es keine echten 3D-Modelle generiert, erstellt es 2D-Videobilder mit räumlicher Konsistenz, wodurch die Kamerabewegung im 3D-Raum nachgeahmt wird. Jede Generierung liefert etwa zwei Sekunden Video, die durch Aneinanderreihung von Clips erweitert werden können. Objekte behalten ihre relativen Positionen und Perspektivverschiebungen genau bei, wenn sich die virtuelle Kamera bewegt. Die Tiefenkarteninformationen können in 3D-Punktwolken für die Rekonstruktion umgewandelt werden. Allerdings hat das Tool Einschränkungen, darunter sich häufende Fehler bei komplexen Kamerabewegungen wie 360-Grad-Drehungen. Seine Generalisierungsfähigkeit ist auch durch seine Abhängigkeit von Trainingsdatenmustern eingeschränkt. Ein effektiver Betrieb des Modells erfordert erhebliche GPU-Leistung, insbesondere 60-80 GB Speicher. Darüber hinaus schränkt die Lizenz seine Nutzung in der EU, im Vereinigten Königreich und in Südkorea ein. Großeinsätze erfordern Sondervereinbarungen. Tencent hat die Modellgewichte auf Hugging Face zur Verfügung gestellt.