Netflixにおけるより制御可能なAIビデオ編集に向けた初... ノート

Netflixにおけるより制御可能なAIビデオ編集に向けた初期の研究探求

Netflixの研究者は、ビデオ編集者がプロモーションアセットを作成するのを支援するために、2つのAIツールを開発しました。最初のツールであるVeraは、コンテンツを維持した編集のために設計されたレイヤードビデオ拡散モデルです。Veraは編集を個別のレイヤーとして生成し、元の映像の変更されていない部分をそのままにして、アイデンティティと詳細を維持します。Veraをトレーニングするために、彼らは特殊なデータセットを作成し、効率的な出力生成のためにMixture-of-Transformersアーキテクチャを採用しました。評価により、Veraはコンテンツ維持において既存の方法を大幅に上回り、同等のビデオ品質であることが示されました。2番目のツールであるVOIDは、ビデオオブジェクトとインタラクションの削除フレームワークです。VOIDは、大きなインタラクションを持つオブジェクトを削除する際に、物理的にありえない結果が生じるという課題に対処します。これは2パス推論パイプラインを使用しており、最初のパスで物理的にありえる反事実的なビデオを生成します。2番目のパスで出力を洗練し、オブジェクトの変形のようなアーティファクトを防ぎます。VOIDは、シミュレーションから生成された合成データと実際のモーションキャプチャデータを使用してトレーニングされました。実験によると、VOIDは以前のアプローチと比較して、一貫したシーンダイナミクスをより良く維持することが示されています。これらの研究は、アーティストに力を与えながら、AIビデオ編集を責任を持って進歩させることを目指しています。VeraとVOIDの両方は、公開された研究論文で詳細に説明されています。
CdXz5zHNQW_YZ3adN1Eip.gif