Migliorare le prestazioni del modello di generazione di codice Salesforce Einstein con Amazon SageMaker

Salesforce, un'azienda di software basata su cloud, sta lavorando verso l'intelligenza artificiale generale (AGI) per le imprese. Hanno un set di tecnologie di intelligenza artificiale chiamate Salesforce Einstein, che si integra con la loro Piattaforma di Successo del Cliente per migliorare la produttività e l'engagement con i clienti. Einstein ha oltre 60 funzionalità, tra cui apprendimento automatico, elaborazione del linguaggio naturale, visione computerizzata e riconoscimento vocale automatico. Il team di piattaforma AI Salesforce Einstein si concentra sull'aumento delle prestazioni e delle capacità dei modelli di IA, in particolare grandi modelli di linguaggio (LLM) per l'utilizzo con le offerte di prodotti Einstein. Il team ha affrontato sfide nell'hosting di LLM, tra cui l'hosting sicuro del modello, la gestione di un volume elevato di richieste di inferenza e il soddisfacimento dei requisiti di throughput e latenza. Hanno valutato varie strumenti e servizi, comprese opzioni open-source e soluzioni a pagamento, e hanno scelto Amazon SageMaker a causa dell'accesso a GPU, scalabilità, flessibilità e ottimizzazioni delle prestazioni. SageMaker offriva funzionalità come motori di servizio multipli, strategie di batching avanzate, strategia di routing efficiente, accesso a GPU di alta gamma e rapida iterazione e distribuzione. Il team Einstein ha utilizzato SageMaker per ottimizzare le prestazioni dei loro LLM, riducendo la latenza e migliorando il throughput. Hanno osservato miglioramenti significativi sia nel throughput che nella latenza dopo aver utilizzato l'ottimizzazione di SageMaker. Il team ha anche identificato un'opportunità per migliorare l'efficienza delle risorse ospitando più LLM su una singola istanza GPU. Il loro feedback ha contribuito a sviluppare la funzionalità del componente di inferenza, che ora consente a Salesforce e ad altri utenti di SageMaker di utilizzare le risorse GPU in modo più efficace.