Улучшение производительности модели генерации кода Salesforce Einstein с помощью Amazon SageMaker

Salesforce, компания по разработке облачного программного обеспечения, работает над общим искусственным интеллектом (AGI) для бизнеса. У них есть набор технологий ИИ под названием Salesforce Einstein, который интегрируется с Платформой Успеха Клиентов, чтобы улучшать производительность и клиентскую вовлеченность. Einstein имеет более 60 функций, включая машинное обучение, обработку естественного языка, компьютерное зрение и автоматическое распознавание речи. Команда Salesforce Einstein AI Platform фокусируется на улучшении производительности и возможностей моделей ИИ, особенно крупных языковых моделей (КЯМ), для использования с предложениями продукта Einstein. Команда столкнулась с проблемами при размещении КЯМ, включая безопасное размещение модели, обработку большого объема запросов на вывод и выполнение требований к пропускной способности и задержке. Они оценили разные инструменты и сервисы, включая открытые источники и платные решения, и выбрали Amazon SageMaker из-за доступа к GPU, масштабируемости, гибкости и оптимизаций производительности. SageMaker предлагал функции, такие как множество серверов обслуживания, продвинутые стратегии пакетирования, эффективная стратегия маршрутизации, доступ к высококачественным GPU и быстрое итерирование и развертывание. Команда Einstein использовала SageMaker для оптимизации производительности своих КЯМ, сокращая задержку и улучшая пропускную способность. Они наблюдали значительные улучшения в пропускной способности и задержке после использования оптимизации SageMaker. Команда также определила возможность улучшения ресурсной эффективности, разместив несколько КЯМ на одном экземпляре GPU. Их обратная связь помогла разработать компонент вывода, что теперь позволяет Salesforce и другим пользователям SageMaker использовать ресурсы GPU более эффективно.