Amélioration des performances du modèle de génération de code Salesforce Einstein avec Amazon SageMaker

Salesforce, une entreprise de logiciels basée sur le cloud, travaille vers l'intelligence artificielle générale (IAG) pour les affaires. Ils ont un ensemble de technologies d'IA appelé Salesforce Einstein, qui s'intègre avec leur Plateforme de Réussite Client pour améliorer la productivité et l'engagement client. Einstein compte plus de 60 fonctionnalités, notamment l'apprentissage automatique, le traitement du langage naturel, la vision par ordinateur et la reconnaissance automatique de la parole. L'équipe de la plateforme Salesforce Einstein AI se concentre sur l'amélioration des performances et des capacités des modèles d'IA, en particulier les grands modèles de langage (GML) pour utilisation avec les offres de produits Einstein. L'équipe a rencontré des défis pour héberger les GML, notamment la sécurité de l'hébergement de leur modèle, la gestion d'un grand volume de requêtes d'inférence et la satisfaction des exigences de débit et de latence. Ils ont évalué divers outils et services, y compris des options open-source et des solutions payantes, et ont choisi Amazon SageMaker en raison de son accès aux GPU, de sa scalabilité, de sa flexibilité et de ses optimisations de performance. SageMaker offrait des fonctionnalités telles que des moteurs de service multiples, des stratégies de batch avancées, une stratégie de routage efficace, l'accès à des GPU de haute gamme et une itération et un déploiement rapides. L'équipe Einstein a utilisé SageMaker pour optimiser les performances de leurs GML, réduisant la latence et améliorant le débit. Ils ont observé des améliorations significatives dans le débit et la latence après utilisation de l'optimisation SageMaker. L'équipe a également identifié une opportunité d'améliorer l'efficacité des ressources en hébergeant plusieurs GML sur une instance GPU unique. Leurs commentaires ont aidé à développer la fonctionnalité de composant d'inférence, qui permet maintenant à Salesforce et à d'autres utilisateurs de SageMaker d'utiliser les ressources GPU de manière plus efficace.