EtsyのMLプラットフォームでの深層学習サポートの改善

深層学習ランキングモデルの大規模での提供は、遅延時間が高く計算コストがかかるという課題があります。この問題に対処するために、EtsyのSearch RankingチームはCaliperというツールを開発しました。このツールは、モデル開発中の早期の遅延フィードバックを提供し、バッチサイズのようなパラメーターの効率的なチューニングを可能にします。分布型トレースとEnvoyアクセスログを通じての高観察性も、特徴の伝送におけるボトルネックを特定することを可能にしました。圧縮技術を適用することで、ペイロードサイズが大幅に削減され、エラーレートが68%減少し、p99遅延が50ms減少しました。将来の複雑さに対応するために、チームはさらなるペイロードサイズの最適化とCaliperの自動パフォーマンスチューニングの改善を探検しています。これらの進化は、Search Rankingチームが大規模で深層学習モデルを効果的に提供できるようにし、Etsyのユーザーが高速かつ正確な検索結果を得ることができます。