Förbättra Salesforce Einsteins kodgenereringsmodells prestanda med Amazon SageMaker

Salesforce, ett molnbaserat programvaruföretag, arbetar mot artificiell generell intelligens (AGI) för affärer. De har en uppsättning AI-teknologier kallade Salesforce Einstein, som integreras med deras Customer Success Platform för att förbättra produktiviteten och klientengagemanget. Einstein har över 60 funktioner, inklusive maskininlärning, naturligt språkbehandling, datorseende och automatisk taligenkänning. Salesforce Einstein AI-plattformsteamet är fokuserat på att förbättra prestanda och kapaciteten hos AI-modeller, särskilt stora språkmodeller (LLM) för användning med Einstein-produktutbud. Teamet stötte på utmaningar med att vara värd för LLM, inklusive att säkert vara värd för sin modell, hantera en stor volym av inferensbegäranden och uppfylla genomströmnings- och latenskrav. De utvärderade olika verktyg och tjänster, inklusive öppen källkodsalternativ och betalda lösningar, och valde Amazon SageMaker på grund av tillgången till GPUs, skalbarhet, flexibilitet och prestandaoptimeringar. SageMaker erbjöd funktioner som flera serving-motorer, avancerade batch-strategier, effektiv routningsstrategi, tillgång till högpresterande GPUs och snabb iteration och distribution. Einstein-teamet använde SageMaker för att optimera prestandan hos sina LLM, vilket minskade latensen och förbättrade genomströmningshastigheten. De observerade betydande förbättringar i både genomströmningshastighet och latens efter att ha använt SageMaker-optimering. Teamet identifierade också en möjlighet att förbättra resurseffektiviteten genom att vara värd för flera LLM på en enda GPU-instans. Deras feedback hjälpte till att utveckla funktionen inference-komponent, som nu tillåter Salesforce och andra SageMaker-användare att utnyttja GPU-resurser mer effektivt.