Flux RSS Slashdot
Suivre
Un nouveau modèle d'IA transforme des photos en mondes 3D explorables, avec des réserves
Tencent a lancé HunyuanWorld-Voyager, un modèle d'IA en open-source capable de générer des vidéos 3D cohérentes à partir d'une seule image. Cela permet aux utilisateurs de naviguer dans des scènes virtuelles en pilotant un chemin de caméra. Le modèle produit à la fois une vidéo RVB et des informations de profondeur, facilitant une reconstruction 3D directe sans modélisation traditionnelle. Bien qu'il ne génère pas de véritables modèles 3D, il crée des images vidéo 2D avec une cohérence spatiale, imitant le mouvement de la caméra dans un espace 3D. Chaque génération produit environ deux secondes de vidéo, qui peuvent être prolongées en enchaînant des clips. Les objets conservent leurs positions relatives et leurs changements de perspective avec précision lorsque la caméra virtuelle se déplace. Les informations de la carte de profondeur peuvent être converties en nuages de points 3D pour la reconstruction. Cependant, l'outil présente des limites, notamment l'accumulation d'erreurs lors de mouvements de caméra complexes comme les rotations à 360 degrés. Sa capacité de généralisation est également limitée par sa dépendance aux schémas des données d'entraînement. L'exécution efficace du modèle nécessite une puissance GPU importante, spécifiquement entre 60 et 80 Go de mémoire. De plus, la licence restreint son utilisation dans l'UE, au Royaume-Uni et en Corée du Sud. Les déploiements à grande échelle nécessitent des accords spéciaux. Tencent a rendu les poids du modèle disponibles sur Hugging Face.