LLM(大規模言語モデル)で Etsy の膨大な在庫を理解する
Etsyのマーケットプレイスは、様々なセラーが出品する何百万ものユニークで手作りのアイテムを特徴としていますが、その非構造化データの整理に課題を抱えています。従来の製品属性抽出方法は、多様な在庫と限られた構造化データへの対応に苦労していました。大規模言語モデル(LLM)は、非構造化製品情報を構造化データに変換する新たな機会を提供しました。Etsyは、属性抽出の精度を向上させるためにコンテキストエンジニアリングに焦点を当て、LLMを活用したスケーラブルなパイプラインを開発しました。このパイプラインは、セラーが提供するデータ、専門家の例、そしてEtsyの分類法を利用しています。LLMの出力評価には、「シルバーラベル」の生成と、品質保証のための専門家の活用が含まれます。推論プロセスでは、属性を抽出し、地域ルーティングにLiteLLMを使用し、データ検証にPydanticを採用しています。堅牢なモニタリングシステムは、パイプラインの健全性とモデルのパフォーマンス指標を追跡します。LLMで生成された属性を検索フィルターに適用することで、購入者のエンゲージメントとコンバージョン率が向上しました。Etsyは、LLMの利用を拡大し、ショッピングと販売の体験をさらに向上させることを目指しています。最終的な目標は、購入者と販売者のニーズを最大限の効率で満たすことです。