Новая модель ИИ превращает фот... Заметка
RSS Slashdot

Новая модель ИИ превращает фотографии в трехмерные миры для исследования, но с оговорками

Tencent выпустила HunyuanWorld-Voyager, модель ИИ с открытыми весами, способную генерировать 3D-согласованное видео из одного изображения. Это позволяет пользователям перемещаться по виртуальным сценам, управляя траекторией камеры. Модель создает как RGB-видео, так и информацию о глубине, что облегчает прямую 3D-реконструкцию без традиционного моделирования. Хотя она не генерирует истинные 3D-модели, она создает 2D-кадры видео с пространственной согласованностью, имитируя движение камеры в 3D-пространстве. Каждая генерация дает примерно две секунды видео, которые можно продлить, соединяя клипы. Объекты сохраняют свои относительные положения и точно отражают изменения перспективы при движении виртуальной камеры. Информация карты глубины может быть преобразована в 3D-облака точек для реконструкции. Однако у инструмента есть ограничения, включая накопление ошибок при сложном движении камеры, таком как вращение на 360 градусов. Его способность к обобщению также ограничена зависимостью от паттернов обучающих данных. Для эффективной работы модели требуется значительная мощность GPU, в частности, 60-80 ГБ памяти. Кроме того, лицензирование ограничивает ее использование в ЕС, Великобритании и Южной Корее. Масштабное развертывание требует специальных соглашений. Tencent сделала веса модели доступными на Hugging Face.