Представьте, что вы хотите переснять фотографию с немного другого ракурса. Новая функция Google Photos Auto frame решает эту проблему с помощью расширенного редактирования изображений. Она использует машинное обучение, чтобы понимать фотографию как 3D-сцену, учитывая пространственную компоновку. Система, по сути, перемещает виртуальную камеру внутри 3D-пространства изображения. Это создает новую, аутентичную перспективу, генерируя ранее невидимый контент. Это отличается от традиционного редактирования, которое ограничено исходной фиксированной точкой обзора. Процесс включает в себя два основных этапа: оценка 3D-сцены и генеративное заполнение. Создаются 3D-карты точек, после чего используется генеративная модель для заполнения недостающих областей. Машинное обучение автоматически обнаруживает лица и ориентацию объектов, чтобы определить идеальную компоновку кадра. Это также корректирует искажения перспективы на широкоугольных фотографиях. Эта технология теперь доступна в Google Photos, улучшая портреты с помощью функции Auto frame. Пользователи могут легко получить доступ к перекомпонованным изображениям в качестве альтернативной версии фотографии. Разработка велась совместными усилиями команд Google DeepMind и Google Platforms & Devices.