スケーラブルなテキストからSQLへの統合コンテキスト意図埋め込み
Pinterestは膨大なデータウェアハウス向けのテキストからSQLへの機能向上のためにAnalytics Agentを開発しました。彼らはデータの規模と複雑さ、多数のテーブルと多様な分析ニーズという課題に直面しました。エージェントは統一されたコンテキスト意図埋め込みを活用し、クエリの意味を捉え、意味的理解を保証します。同時に、構造的・統計的なパターンを抽出し、ガバナンスのメタデータを取り入れて結果をランク付けします。データウェアハウスは当初、クリーンアップと標準化が必要であり、それが段階的な分類を含むテーブルガバナンスプログラムにつながりました。分析的知識はクエリ履歴から符号化され、単純なキーワードマッチングを超えています。SQLクエリは自然言語の記述に翻訳され、3段階のプロセスを経て元の分析意図を捉えます。一般化可能な記述や分析的な質問が再利用可能な知識ベースを作り出します。この自然言語記述は、意図ベースの検索のためにベクトル表現に埋め込まれます。構造的および統計的パターンも抽出され、結合パターンや集約パターンも含まれます。これらのパターンはガバナンスのメタデータと組み合わさり、ガバナンス意識の高いランキングシステムに情報を提供します。エージェントはこれら二つの次元を活用し、分析の質問に対する回答を生成し検証するために必要な情報を提供します。