Verbeteren van de prestaties van Salesforce Einstein's code genererende model met Amazon SageMaker

Salesforce, een cloud-gebaseerde softwarebedrijf, werkt aan kunstmatige algemene intelligentie (AGI) voor bedrijven. Zij hebben een set van AI-technologieën genaamd Salesforce Einstein, die geïntegreerd is met hun Customer Success Platform om productiviteit en klantbetrokkenheid te verbeteren. Einstein heeft meer dan 60 functies, waaronder machine learning, natuurlijke taalverwerking, computer vision en automatische spraakherkenning. Het Salesforce Einstein AI Platform-team richt zich op het verbeteren van de prestaties en capaciteiten van AI-modellen, met name grote taalmodellen (LLMs) voor gebruik met Einstein-productaanbiedingen. Het team had problemen met het hosten van LLMs, waaronder het veilig hosten van hun model, het omgaan met een grote hoeveelheid inferentieaanvragen en het voldoen aan de doorvoer- en latentievereisten. Zij hebben verschillende tools en diensten geëvalueerd, waaronder open-source-opties en betaalde oplossingen, en kozen voor Amazon SageMaker vanwege de toegang tot GPUs, schaalbaarheid, flexibiliteit en prestatieoptimalisaties. SageMaker bood functies zoals meerdere serving-engines, geavanceerde batching-strategieën, een efficiënte routing-strategie, toegang tot high-end GPUs en snelle iteratie en implementatie. Het Einstein-team gebruikte SageMaker om de prestaties van hun LLMs te optimaliseren, waardoor de latentie werd verminderd en de doorvoer werd verbeterd. Zij zagen significante verbeteringen in zowel doorvoer als latentie na het gebruik van SageMaker-optimalisatie. Het team identificeerde ook een kans om de resource-efficiëntie te verbeteren door meerdere LLMs op een enkele GPU-instantie te hosten. Hun feedback heeft geholpen bij de ontwikkeling van de inference-componentfunctie, die nu Salesforce en andere SageMaker-gebruikers in staat stelt om GPU-resources meer effectief te gebruiken.