使用 Amazon SageMaker 提高 Salesforce Einstein 代码生成模型性能

Salesforce是一家基于云的软件公司，正在为业务开发通用人工智能（AGI）。他们拥有一个名为Salesforce Einstein的AI技术集，旨在与Customer Success Platform集成，以提高生产力和客户参与度。Einstein拥有超过60个功能，包括机器学习、自然语言处理、计算机视觉和自动语音识别。Salesforce Einstein AI Platform团队专注于提高AI模型的性能和能力，特别是大型语言模型（LLM）以供Einstein产品使用。 该团队在托管LLM时面临挑战，包括安全地托管模型、处理大量推理请求和满足吞吐量和延迟要求。他们评估了多种工具和服务，包括开源选项和付费解决方案，并选择了Amazon SageMaker，因为它提供了GPU访问、可扩展性、灵活性和性能优化。SageMaker提供了多个服务引擎、高级批处理策略、有效路由策略、高性能GPU访问和快速迭代与部署等功能。 Einstein团队使用SageMaker来优化LLM的性能，减少延迟并提高吞吐量。他们在使用SageMaker优化后观察到了吞吐量和延迟的显著改善。该团队还发现了提高资源效率的机会，即在单个GPU实例上托管多个LLM。他们的反馈帮助开发了推理组件功能，现在Salesforce和其他SageMaker用户可以更好地利用GPU资源。