Amazon SageMaker avvia un lancio più veloce per l'auto-scaling di modelli di intelligenza artificiale generativa

1. Amazon SageMaker ha introdotto una nuova funzionalità che può aiutare a ridurre il tempo necessario per scalare automaticamente i modelli di intelligenza artificiale generativa. 2. La nuova funzionalità utilizza metriche subminuto per ridurre significativamente la latenza di scalatura per i modelli di intelligenza artificiale generativa. 3. Questo miglioramento può aumentare la reattività delle applicazioni di intelligenza artificiale generativa mentre la domanda varia. 4. SageMaker offre capacità leader di settore per affrontare le sfide dell'inferenza, compresi endpoint per l'inferenza di intelligenza artificiale generativa che riducono i costi di distribuzione e la latenza. 5. Il toolkit di ottimizzazione dell'inferenza di SageMaker può offrire un throughput fino a due volte superiore, riducendo i costi di circa il 50% per le prestazioni di intelligenza artificiale generativa. 6. L'inferenza di SageMaker offre anche supporto per lo streaming per LLM, abilitando i token di streaming in tempo reale anziché aspettare l'intera risposta. 7. L'inferenza di SageMaker offre la capacità di distribuire un singolo modello o più modelli utilizzando componenti di inferenza di SageMaker sullo stesso endpoint. 8. Sono state introdotte metriche di scalatura automatica più rapide, tra cui ConcurrentRequestsPerModel e ConcurrentRequestsPerCopy, che forniscono una rappresentazione più diretta e precisa del carico sul sistema. 9. Queste metriche consentono una scalatura automatica significativamente più rapida, riducendo il tempo di rilevamento e migliorando il tempo di scalatura complessivo dei modelli di intelligenza artificiale generativa. 10. Utilizzando queste nuove metriche, è possibile scalare le distribuzioni LLM in modo più efficace, offrendo prestazioni ottimali e costi efficienti mentre la domanda varia.