画像分類からマルチタスク・モデリングまで：Etsyの画像検索機能の構築

Etsyの画像検索機能は、ユーザーがアップロードする写真と似ているアイテムを検索することを可能にします。この機能は、画像を数値表現である埋め込みに変換する機械学習モデルを使用し、類似検索に使用します。 このモデルは、事前学習された畳み込みニューラルネットワーク（CNN）に基づいており、画像埋め込みの学習タスクに特化して微調整されています。このモデルは、多タスク学習アプローチを使用し、同時に複数の分類タスク（アイテムのカテゴリ、色、属性など）を学びます。 高品質の製品画像に対するバイアスを減らすために、モデルはユーザーが提出するレビューフォトのデータセットでも学びます。 推論パイプラインでは、検索性能を最適化するために、反転ファイル（IVF）アルゴリズムを使用して近似最近傍（ANN）インデックスを構築します。 クエリーフォトは、GPU推論技術を使用してリアルタイムで推論されるため、レスポンス時間が速くなります。 画像検索機能は、EtsyのCodeMosaicハッカソンで初めて開発され、現在はプロダクション機能として実装されています。 この機能は、Etsy上でユニークで特別なアイテムを発見するのを助けるために、購入者が製品を検索する新しい直感的な方法を提供します。 モデルのアーキテクチャーと学習目的は、視覚的に一貫した結果を生成しながらカテゴリ的正確さを維持するように最適化されています。 レビューフォトをトレーニングデータセットに追加することで、モデルがユーザーが提出するフォトから関連する結果を生成する能力が大幅に向上しました。 この機能は、ユーザーから好評を受け、Etsy上での購入者のエンゲージメントと満足度の向上に貢献しています。