RSS Slashdot
Seguir
Nuevo modelo de IA convierte fotos en mundos 3D explorables, con salvedades
Tencent ha lanzado HunyuanWorld-Voyager, un modelo de IA de pesos abiertos capaz de generar video 3D consistente a partir de una sola imagen. Esto permite a los usuarios navegar por escenas virtuales pilotando una trayectoria de cámara. El modelo produce tanto video RGB como información de profundidad, lo que facilita la reconstrucción 3D directa sin modelado tradicional. Aunque no genera verdaderos modelos 3D, crea fotogramas de video 2D con consistencia espacial, imitando el movimiento de la cámara en un espacio 3D. Cada generación produce aproximadamente dos segundos de video, que pueden extenderse encadenando clips. Los objetos mantienen con precisión sus posiciones relativas y los cambios de perspectiva a medida que la cámara virtual se mueve. La información del mapa de profundidad se puede convertir en nubes de puntos 3D para la reconstrucción. Sin embargo, la herramienta tiene limitaciones, incluyendo errores compuestos en movimientos de cámara complejos como rotaciones de 360 grados. Su capacidad de generalización también está restringida por su dependencia de los patrones de datos de entrenamiento. Ejecutar el modelo de manera efectiva requiere una potencia de GPU sustancial, específicamente entre 60 y 80 GB de memoria. Además, la licencia restringe su uso en la UE, el Reino Unido y Corea del Sur. Los despliegues a gran escala requieren acuerdos especiales. Tencent ha puesto los pesos del modelo a disposición en Hugging Face.