Netflix는 모바일 앱 및 마케팅을 위한 세로 동영상 에셋을 효율적으로 제작하기 위해 자동화된 다중 비율 동영상 크롭핑 시스템을 개발했습니다. 이 시스템은 동영상 콘텐츠가 증가함에 따라 확장 가능하지 않았던 수동 리프레이밍 프로세스를 대체합니다. 이 접근 방식은 동영상 크기 조정을 추적 및 시간 최적화 문제로 취급하며, 세 단계로 에셋을 처리합니다. 초기에는 동영상을 샷으로 분할하고, 대화를 더 잘 따라가기 위해 활성 화자 감지를 사용하여 하위 샷으로 추가 분할합니다.그런 다음 시스템은 얼굴 감지와 시각적 주목도 맵을 결합하여 각 프레임 내에서 초점 영역을 식별합니다. 활성 화자 상태 및 상대적 크기와 같은 요소를 기반으로 얼굴의 우선순위를 정하여 주요 대상을 결정합니다. 마지막으로 부드러운 카메라 움직임을 보장하기 위해 시간 리프레이밍이 적용됩니다. 작은 초점 영역 변위는 정적 크롭을 초래하는 반면, 상당한 움직임은 부드럽고 동적인 추적 창을 트리거합니다.이 크기 조정 알고리즘은 Netflix의 내부 Clips 도구에 통합되어 편집자가 여러 종횡비를 생성하고 조정할 수 있습니다. 외부 사용을 위해 크기 조정 매개변수는 XML로 내보내 Adobe Premiere와 같은 편집기에 통합할 수 있습니다. 이 자동화 시스템은 테스트에서 Premiere의 Auto Reframe과 같은 도구보다 뛰어난 성능을 발휘합니다. 이 파이프라인은 창의적인 의도를 희생하지 않으면서 제작 시간과 수동 노력을 크게 줄입니다. 이 발전은 창의적인 의도를 희생하지 않고 콘텐츠 제작을 확장하려는 Netflix의 지속적인 노력의 일환입니다. 목표는 크리에이터의 시간을 확보하고 시청 경험을 향상시키는 것입니다.