Amélioration du soutien à l'apprentissage en profondeur sur la plateforme d'apprentissage automatique d'Etsy

Le service de modèles de classement d'apprentissage automatique à grande échelle pose des défis en raison de la haute latence et des coûts computationnels élevés. Pour répondre à cela, l'équipe de classement de recherche d'Etsy a créé Caliper, un outil pour le retour d'expérience de latence précoce pendant le développement du modèle. En isolant la composante d'inférence, Caliper permet d'ajuster efficacement les paramètres comme la taille du lot. De plus, une visibilité accrue grâce au traçage distribué et aux journaux d'accès Envoy a permis à l'équipe d'identifier un goulot d'étranglement dans la transmission de caractéristiques. En utilisant des techniques de compression, la taille de la charge utile a été significativement réduite, entraînant une diminution de 68% des taux d'erreur et une baisse de 50 ms de la latence p99. Pour se préparer à de futures complexités, l'équipe explore d'autres optimisations de la taille de la charge utile et améliore Caliper pour un réglage automatique des performances. Ces avancées ont permis à l'équipe de classement de recherche d'Etsy de servir efficacement les modèles d'apprentissage automatique à grande échelle, garantissant des résultats de recherche rapides et précis pour les utilisateurs d'Etsy.