Forbedring af Salesforce Einstein's kodegenereringsmodelpræstation med Amazon SageMaker

Salesforce, et skybaseret softwarevirksomhed, arbejder mod kunstig generel intelligens (AGI) til forretningsbrug. De har en række AI-teknologier kaldet Salesforce Einstein, som integrerer med deres Customer Success Platform for at forbedre produktiviteten og klientengagementet. Einstein har over 60 funktioner, herunder maskinlæring, naturlig sprogbehandling, computer vision og automatisk talegenkendelse. Salesforce Einstein AI Platform-teamet er fokuseret på at forbedre ydeevnen og kapaciteten af AI-modeller, især store sprogmodeller (LLM'er) til brug med Einstein-produkttilbud. Teamet stødte på udfordringer med at hoste LLM'er, herunder sikker hosting af deres model, håndtering af et stort volumen af inferensanmodninger og opfyldelse af gennemstrømnings- og latenskrav. De evaluerede forskellige værktøjer og tjenester, herunder open-source- muligheder og betalte løsninger, og valgte Amazon SageMaker på grund af adgangen til GPUs, skalerbarhed, fleksibilitet og ydeevneoptimeringer. SageMaker tilbød funktioner som flere serving-motorer, avancerede batch-strategier, effektiv ruteringsstrategi, adgang til high-end GPUs og hurtig iteration og udvikling. Einstein-teamet brugte SageMaker til at optimere ydeevnen af deres LLM'er, hvilket reducerede latency og forbedrede gennemstrømning. De observerede betydelige forbedringer i både gennemstrømning og latency efter at have brugt SageMaker-optimering. Teamet identificerede også en mulighed for at forbedre ressourceffektiviteten ved at hoste flere LLM'er på en enkelt GPU-instans. Deres feedback hjalp med at udvikle inference-komponent-funktionen, som nu tillader Salesforce og andre SageMaker-brugere at udnytte GPU-resourcerne mere effektivt.