Netflix TechBlog | Medium 日本語 フォロー オントロジー駆動オブザーバビリティ:Netflix規模のエンドツーエンド知識グラフの構築 同社は、特に6500万ストリームを記録したジェイク・ポール対マイク・タイソン戦のようなライブイベント中に、その巨大で複雑なインフラストラクチャを理解する上で課題に直面しています。ホーム画面の表示が遅いといったデバッグの問題は、情報が異なるシステムにサイロ化されているため、数時間かかることがあります。これらのシステムは、メトリクス、イベント、ログ、トレース(MELT)を通じてデータを収集しますが、このデータを効果的に相関させることは困難です。根本的な問題は、運用エンティティの共有可能で機械可読な理解が欠如していることです。この問題に対処するため、同社は運用世界内のタイプ、プロパティ、および関係性を形式的に仕様化した「オブザーバビリティ・オントロジー」を開発しました。このオントロジーは、RDF、OWL、SHACL、SPARQLなどの標準を使用し、データをナレッジグラフとして保存します。重要な設計上の決定は、一般的な「Service」タイプを避け、代わりにops:Applicationのような具体的で検証済みのタイプを使用することでした。また、インシデント議論からの推論とコンテキストをモデル化し、非構造化チャットを構造化されたトリプルに変換することを選択しました。このオントロジーは、パイプライン処理アプローチを通じて、本質的に確率的なプロセス(LLMやファジーマッチングなど)から決定論を生み出します。このパイプラインは、「エンリッチャー」を使用し、ノイズの多い入力を厳格な契約に従って型付きトリプルに変換することでエントロピーを削減します。これらのエンリッチャーは、すべてのエンティティにタイプがあり、URIが命名規則に従い、アプリケーションがカタログに対して検証されることを保証します。パイプラインは、競合状態を回避するために順次実行され、外部呼び出しはブロックを防ぐためにベストエフォートで行われます。その後、「相関エンジン」がさまざまなソースからのシグナルを同化し、イベントの因果的または相関的な連鎖を特定します。これは13種類のシグナルタイプを分析し、証拠と信頼度スコアとともに仮説を提案し、それを裏付けるグラフレコードを保存します。観測、エンリッチメント、相関、保存の各サイクルは「ナレッジフライホイール」を形成し、ナレッジグラフを継続的に豊かにし、システムコンテキストを改善します。このフライホイールは、システム運用の統一された相互接続されたビューを提供することで、デバッグ時間を削減することを目指しています。 Ontology-Driven Observability: Building an End-to-End Knowledge Graph at Netflix Scale netflixtechblog.com Netflix TechBlog | Medium 日本語 RSS thenote.app
ops:Applicationのような具体的で検証済みのタイプを使用することでした。また、インシデント議論からの推論とコンテキストをモデル化し、非構造化チャットを構造化されたトリプルに変換することを選択しました。このオントロジーは、パイプライン処理アプローチを通じて、本質的に確率的なプロセス(LLMやファジーマッチングなど)から決定論を生み出します。このパイプラインは、「エンリッチャー」を使用し、ノイズの多い入力を厳格な契約に従って型付きトリプルに変換することでエントロピーを削減します。これらのエンリッチャーは、すべてのエンティティにタイプがあり、URIが命名規則に従い、アプリケーションがカタログに対して検証されることを保証します。パイプラインは、競合状態を回避するために順次実行され、外部呼び出しはブロックを防ぐためにベストエフォートで行われます。その後、「相関エンジン」がさまざまなソースからのシグナルを同化し、イベントの因果的または相関的な連鎖を特定します。これは13種類のシグナルタイプを分析し、証拠と信頼度スコアとともに仮説を提案し、それを裏付けるグラフレコードを保存します。観測、エンリッチメント、相関、保存の各サイクルは「ナレッジフライホイール」を形成し、ナレッジグラフを継続的に豊かにし、システムコンテキストを改善します。このフライホイールは、システム運用の統一された相互接続されたビューを提供することで、デバッグ時間を削減することを目指しています。