Netflix разработала автоматизированную систему многократного кадрирования видео для эффективного создания вертикальных видеоматериалов для своего мобильного приложения и маркетинга. Эта система заменяет ручной процесс перекадрирования, который не масштабировался по мере роста видеоконтента. Подход рассматривает изменение размера видео как задачу отслеживания и временной оптимизации, обрабатывая материалы в три этапа. Сначала видео сегментируются на сцены, а затем дополнительно разбиваются на под-сцены с использованием обнаружения активного говорящего для лучшего отслеживания диалогов.Затем система определяет область фокусировки в каждом кадре, комбинируя обнаружение лиц с картами визуальной значимости. Она приоритизирует лица на основе таких факторов, как статус активного говорящего и относительный размер, чтобы определить основной объект. Наконец, применяется временное перекадрирование для обеспечения плавного движения камеры. Небольшие смещения области фокусировки приводят к статичным кадрам, в то время как значительное движение запускает сглаженное, динамичное окно отслеживания.Этот алгоритм изменения размера интегрирован во внутренний инструмент Netflix Clips, позволяя редакторам генерировать и настраивать несколько соотношений сторон. Для внешнего использования параметры изменения размера могут быть экспортированы в формате XML для интеграции в редакторы, такие как Adobe Premiere. Эта автоматизированная система превосходит инструменты, такие как Auto Reframe в Premiere, в тестах. Конвейер значительно сокращает время производства и ручные усилия, сохраняя при этом творческий контроль. Это достижение является частью постоянных усилий Netflix по масштабированию создания контента без ущерба для творческого замысла. Цель состоит в том, чтобы освободить время творческих работников и улучшить качество просмотра.