Barista : Permettre une plus grande flexibilité dans le déploiement des modèles d'apprentissage automatique

La mise en production de modèles d'apprentissage automatique (AA) implique une transition de l'expérimentation à des contraintes d'ingénierie rigoureuses, présentant des défis pour trouver un équilibre entre la flexibilité et la stabilité. L'équipe de la plateforme d'AA d'Etsy utilise Kubernetes pour la mise à l'échelle et l'orchestration des modèles, avec Barista gérant les déploiements de modèles. Initialement, les configurations de modèles étaient gérées comme du code, offrant un contrôle strict mais entraînant des retards et des goulots d'étranglement. Pour résoudre ces problèmes, les configurations ont été dissociées et stockées dans une base de données, permettant des changements instantanés via une CLI. Cependant, la CLI nécessitait une expertise technique, ce qui a conduit au développement d'une interface web conviviale pour la gestion des modèles. L'interface web de Barista offre un contrôle exhaustif sur les déploiements, s'intègre à diverses API et simplifie le processus de déploiement. L'augmentation des taux de déploiement des modèles a suscité des inquiétudes quant aux coûts et aux mauvaises configurations, menant à la mise en œuvre de Kube Downscaler pour réduire automatiquement les déploiements inutilisés. L'accent est passé de la satisfaction des besoins techniques de base à la construction d'un produit complet qui permet aux utilisateurs d'AA de travailler efficacement. Les efforts actuels visent à améliorer la cohésion des services et l'automatisation pour optimiser les paramètres d'infrastructure et réduire encore les coûts de cloud. Alors que la pratique d'AA se développe, la plateforme doit continuer à évoluer pour répondre aux besoins croissants de l'équipe.