Netflixは、モバイルアプリおよびマーケティング用の縦型ビデオアセットを効率的に作成するために、自動化されたマルチアスペクト比ビデオクロッピングシステムを開発しました。このシステムは、ビデオコンテンツの増加に伴いスケーラブルでなかった手動のリフレームプロセスに取って代わるものです。このアプローチでは、ビデオのリサイズをトラッキングおよび時間的最適化の問題として扱い、3つのステージでアセットを処理します。最初に、ビデオはショットにセグメント化され、次にアクティブスピーカー検出を使用してさらにサブショットに分割され、会話をより良く追跡します。次に、システムは顔検出と視覚的顕著性マップを組み合わせて、各フレーム内のフォーカス領域を特定します。アクティブスピーカーの状態や相対的なサイズなどの要因に基づいて顔を優先し、主要な被写体を決定します。最後に、スムーズなカメラの動きを確保するために、時間的リフレームが適用されます。フォーカス領域の小さなずれは静的なクロップにつながり、大きな動きはスムーズでダイナミックなトラッキングウィンドウをトリガーします。このリサイズアルゴリズムは、Netflixの内部Clipsツールに統合されており、エディターは複数のアスペクト比を生成および調整できます。外部使用のために、リサイズパラメータはXMLとしてエクスポートでき、Adobe Premiereなどのエディターに統合できます。この自動化システムは、テストにおいてPremiereのAuto Reframeなどのツールを上回ります。このパイプラインは、制作時間と手作業を大幅に削減しながら、クリエイティブなコントロールを維持します。この進歩は、クリエイティブな意図を犠牲にすることなくコンテンツ制作をスケーリングするというNetflixの継続的な取り組みの一部です。目標は、クリエイティブの時間を解放し、視聴体験を向上させることです。