シノプシスは番組の概要を簡潔に示し、視聴者が何を見るかを決めるのに役立ちます。シノプシスは事実に基づいている必要があり、情報提供と興味をそそるというバランスを取る必要があります。Netflixの規模でこれらの事実確認を行うには、自動化された事実確認サービスが必要です。既存のサービスは推論モデルを使用していますが、長文コンテキストのモデル呼び出しによる高コストと、整合性の取れていない推論のために限界に直面しています。新しいアプローチは、シノプシスあたりのコストを52.4%削減し、品質を向上させ、Recall-Failを0.77から0.86に引き上げます。また、人間の推論との重複率を69%から82%に向上させます。事実確認には、文字通りの真実だけでなく、誤解を招く印象を避けることも含まれます。これは、ニュアンスのあるBridgertonの例で見られるように、そのようになります。元のパイプラインは、複数の高価なホリスティックLLM呼び出しと長文コンテキストを伴い、しばしば信頼性の低い推論を生成していました。現在のパイプラインを分析した結果、すべてのシノプシスが複数のチェックを必要とするわけではなく、自信スコアを通じて簡単なケースを特定できることが明らかになりました。これにより、「自信ゲート」アプローチが導入され、難しいケースのみが追加の精査を受けるようになりました。同一のホリスティックジャッジの代わりに、特定の種類の誤りを対象とするために、専門の「Literal」および「Implicature」ジャッジが導入されました。さらに、モデルの推論は、しばしば仮定や疑念のような「不安定な箇所」を含んでいますが、現在活用されています。ルーターモデルはこれらを検証可能な「アトミッククレーム」に言い換え、二次的なステージ2ジャッジに送信します。このカスケード事実確認サービスは、専門のジャッジ、自信ゲートによるエスカレーション、およびターゲットを絞った再チェックを組み合わせて、精度と効率を向上させます。新しい階層システムは、両方のジャッジを通じてシノプシスを処理します。高信頼度の判定は最終的なものですが、低信頼度のケースはルーターとステージ2ジャッジにエスカレートします。ステージ2は、二次的なチェックが譲歩を支持したり、仮定に矛盾したりする場合、最初の判定を覆すことができます。この包括的な評価は、主にRecall-FAILの品質と、LLM呼び出しおよびエンドツーエンドの判定生成コストを含むコスト削減に焦点を当てています。