De la classification d'images au modèle multitâche : Construction de la fonction de recherche par image d'Etsy

La fonction de recherche par image d'Etsy permet aux utilisateurs de rechercher des articles similaires à des photos qu'ils téléchargent. Cette fonctionnalité utilise un modèle d'apprentissage automatique pour convertir les images en représentations numériques appelées embeddings, qui sont ensuite utilisées pour les recherches de similarité. Le modèle est basé sur un réseau de neurones convolutionnel (CNN) pré-entraîné qui a été affiné pour la tâche d'apprentissage des embeddings d'images. Le modèle est entraîné en utilisant une approche d'apprentissage multitâche, où il apprend à effectuer plusieurs tâches de classification simultanément, y compris la catégorie d'articles, la couleur et les attributs. Pour réduire les biais en faveur des images de produits de haute qualité, le modèle est également entraîné sur un ensemble de données de photos de révisions soumises par les utilisateurs. Le pipeline d'inférence implique la construction d'un index de voisins les plus proches approximatifs (ANN) en utilisant un algorithme de fichier inversé (IVF) pour optimiser les performances de recherche. Les photos de requête sont inférées en temps réel en utilisant la technologie d'inférence GPU pour garantir des temps de réponse rapides. La fonction de recherche par image a été initialement développée pendant le hackathon CodeMosaic d'Etsy et a depuis été mise en œuvre comme fonctionnalité de production. La fonctionnalité aide les acheteurs à découvrir des articles uniques et spéciaux sur Etsy en leur offrant une nouvelle manière intuitive de rechercher des produits similaires. L'architecture du modèle et l'objectif d'apprentissage ont été optimisés pour produire des résultats visuellement cohérents tout en maintenant l'exactitude catégorielle. L'ajout de photos de révisions à l'ensemble de données d'entraînement a significativement amélioré la capacité du modèle à mettre en surface des résultats pertinents à partir de photos soumises par les utilisateurs. La fonctionnalité a été bien accueillie par les utilisateurs et a contribué à une augmentation de l'engagement et de la satisfaction des acheteurs sur Etsy.