새 AI 모델, 사진을 탐험 가능한 3D 세계로 전환 ... 노트
RSS 슬래시닷

새 AI 모델, 사진을 탐험 가능한 3D 세계로 전환 (단, 주의사항 있음)

텐센트는 단일 이미지에서 3D 일관성 비디오를 생성할 수 있는 오픈 가중치 AI 모델인 HunyuanWorld-Voyager를 출시했습니다. 이는 사용자가 카메라 경로를 조종하여 가상 장면을 탐색할 수 있도록 합니다. 이 모델은 RGB 비디오와 깊이 정보를 모두 생성하여 전통적인 모델링 없이 직접 3D 재구성을 가능하게 합니다. 진정한 3D 모델을 생성하지는 않지만, 3D 공간에서 카메라 이동을 모방하는 공간 일관성을 갖춘 2D 비디오 프레임을 생성합니다. 각 생성은 약 2초의 비디오를 생성하며, 클립을 연결하여 확장할 수 있습니다. 가상 카메라가 이동할 때 객체는 상대적 위치와 관점 이동을 정확하게 유지합니다. 깊이 맵 정보는 3D 재구성을 위해 3D 점군으로 변환될 수 있습니다. 그러나 이 도구는 360도 회전과 같은 복잡한 카메라 동작에서 오류가 누적되는 것과 같은 제한이 있습니다. 또한 훈련 데이터 패턴에 대한 의존도로 인해 일반화 능력이 제한됩니다. 모델을 효과적으로 실행하려면 60-80GB의 메모리가 있는 상당한 GPU 파워가 필요합니다. 또한 라이선스 제한으로 인해 EU, 영국, 한국에서 사용이 제한됩니다. 대규모 배포에는 특별한 협약이 필요합니다. 텐센트는 모델 가중치를 Hugging Face에 공개했습니다.