Netflixは、膨大なコンテンツライブラリのスニペット選択プロセスを改善することを目指しています。何千ものタイトルがユーザーの選択を複雑にし、スニペットが意思決定において重要になります。質の高いスニペットはユーザーエンゲージメントを高めますが、質の低いスニペットはフラストレーションと離脱につながります。課題は、数十万ものスニペットにわたる品質検証をスケーリングすることにあります。Netflixは、4つの主要な次元でスニペットの品質を評価するために、LLMベースのアプローチを開発しました。このシステムは、クリエイティブライターとの間で85%以上の合意を達成し、専門家主導の品質基準を保証します。スニペットの品質は、ライターによって定義されるクリエイティブ品質と、ストリーミング指標を介したメンバーの暗黙のフィードバックの両方を通じて評価されます。LLM-as-a-Judgeシステムは、精度を最適化するために、階層的な理由付け、コンセンサススコアリング、事実性エージェントなどの技術を採用しています。これらのLLMから派生した品質スコアは、テイクフラクションや離脱率などの主要なストリーミング指標と相関しています。これにより、Netflixはスニペットの問題を積極的に特定して修正し、メンバーエクスペリエンスとコンテンツ発見を改善することができます。