Netflixは毎日数百万ものワークロードを処理しており、その多くが失敗するため、エンジニアにとってデバッグの負担が大きくなっています。当初のソリューションであるPensiveは、定義済みのルールを使用して約半分の失敗を自動診断し、修復策を提供していました。しかし、このルールベースのシステムは未知の障害モードに対処するのが難しく、継続的な手動更新が必要でした。これらの限界に対処するため、NetflixはPensive AIを開発し、人工知能を統合してエラー抽出と診断を強化しました。目標は、既存の開発ライフサイクル内で、より広範なカバレッジ、低レイテンシ、および管理されたAIコストを提供することでした。Pensive AIは、決定論的なプロセスを中心にAI機能をラップし、メンテナンスを改善し、カバレッジを拡大します。初期の結果によると、Pensive AIは、以前は未知だったものを含む、すべての障害をカバーしています。Pensive AIを使用すると、手動のデバッグアクションが大幅に減少しました。このシステムは、2つの補完的なパスを備えています。迅速な初期評価のための常時オンのエラー抽出と、最初の確認が不十分な場合にトリガーされるLLMを使用した詳細分析のためのオンデマンドデバッグです。エラー抽出は、完全なテキストではなく行番号を返すことで、ログ内の重要なエラー範囲を特定し、効率を向上させ、ハルシネーションを減らします。この自動化されたプロセスは、タイムリーな応答のための厳密なタイムアウト内で、既存のルールベースのエラー検出を補完します。このシステムはデータ契約も慎重に管理し、新しいモデルを古いモデルと並行して導入することで、段階的な採用を可能にします。Pensive AI Debuggingは、APIとユーザーインターフェースを介してアクセス可能な、失敗したステップ試行に対する根本原因分析と修復の提案を提供します。より高いコストがかかるこのオンデマンドデバッグは、費用を効果的に管理するために必要な場合にのみ開始されます。デバッグ応答は、冗長な計算を回避し、レイテンシを削減するために、ステップ試行ごとにキャッシュされます。このシステムは、生成された応答をストリーミングし、接続が中断された場合でもライブのような体験をユーザーに提供します。要求したクライアントが切断されても生成された応答は永続するため、作業が失われることはありません。この設計は、それを開始した接続とは独立しており、堅牢で継続的なデバッグを可能にします。Netflixはまた、Pensive AIのエラー抽出とデバッグガイダンスの信頼性を確保するために、個別の評価フレームワークを開発しました。抽出については、既存の手書きルールが、広範な手動再ラベリングを必要とせずに比較のベンチマークとして機能します。これらのフレームワークは、レガシーPensiveシステムがすでに処理していた障害に対するパフォーマンスを維持するのに役立ちます。