Mejorar el rendimiento del modelo de generación de código de Salesforce Einstein con Amazon SageMaker

Salesforce, una empresa de software basada en la nube, está trabajando hacia la inteligencia artificial general (AGI) para los negocios. Tienen un conjunto de tecnologías de IA llamadas Salesforce Einstein, que se integra con su Plataforma de Éxito del Cliente para mejorar la productividad y la participación del cliente. Einstein cuenta con más de 60 características, incluyendo aprendizaje automático, procesamiento de lenguaje natural, visión por computadora y reconocimiento automático de voz. El equipo de la plataforma de IA Salesforce Einstein se centra en mejorar el rendimiento y las capacidades de los modelos de IA, particularmente los modelos de lenguaje grande (LLMs) para su uso con ofertas de productos de Einstein. El equipo enfrentó desafíos al alojar LLMs, incluyendo la seguridad al alojar su modelo, manejar un gran volumen de solicitudes de inferencia y cumplir con los requisitos de rendimiento y latencia. Evaluaron varias herramientas y servicios, incluyendo opciones de código abierto y soluciones pagas, y eligieron Amazon SageMaker debido a su acceso a GPUs, escalabilidad, flexibilidad y optimizaciones de rendimiento. SageMaker ofreció características como múltiples motores de servicio, estrategias de batching avanzadas, estrategia de enrutamiento eficiente, acceso a GPUs de alta gama y rápida iteración y despliegue. El equipo de Einstein utilizó SageMaker para optimizar el rendimiento de sus LLMs, reduciendo la latencia y mejorando el rendimiento. Observaron mejoras significativas tanto en el rendimiento como en la latencia después de utilizar la optimización de SageMaker. El equipo también identificó una oportunidad para mejorar la eficiencia de los recursos al alojar múltiples LLMs en una instancia de GPU única. Su retroalimentación ayudó a desarrollar la característica de componente de inferencia, que ahora permite a Salesforce y a otros usuarios de SageMaker utilizar los recursos de GPU de manera más efectiva.