Amazon SageMaker ile Salesforce Einstein'ın Kod Oluşturan Model Performansını Artırmak

Salesforce, bir bulut tabanlı yazılım şirketi, işletmeler için genel yapay zeka (AGI) üzerine çalışmaktadır. Müşteri Başarı Platformu ile entegre olan AI teknolojileri setine sahip olan Salesforce Einstein, üretkenliği ve müşteri katılımını iyileştirir. Einstein, makine öğrenimi, doğal dil işleme, bilgisayar görüşü ve otomatik konuşma tanıma dahil olmak üzere toplamda 60'tan fazla özelliğe sahip. Salesforce Einstein AI Platform ekibi, özellikle Einstein ürün teklifleri için büyük dil modellerini (LLM) iyileştirerek AI modellerinin performansını ve yeteneklerini artırma üzerine yoğunlaşıyor. Takım, LLM'leri barındırmayle ilgili çeşitli zorluklarla karşılaştı, bu da modelini güvenli bir şekilde barındırma, büyük hacimli çıkarım isteklerini yönetme ve geçiş süresi ve gecikme gereksinimlerini karşılıklı olarak içeriyordu. Takım, açık kaynaklı seçenekleri ve ücretli çözümleri değerlendirdi ve GPU'lara erişim, ölçeklenebilirlik, esneklik ve performans iyileştirmeleri nedeniyle Amazon SageMaker'ı seçti. SageMaker, birden fazla hizmet motoru, gelişmiş batching stratejileri, verimli yönlendirme stratejisi, üst seviye GPU'lara erişim ve hızlı iterasyon ve dağıtım gibi özelliklerle sunuluyor. Einstein ekibi, SageMaker'ı kullanarak LLM'lerinin performansını iyileştirerek gecikmeyi azalttı ve geçiş süresini iyileştirerek önemli iyileştirmeler elde etti. Takım, tek bir GPU örneğinde birden fazla LLM barındırma fırsatını da belirledi. Bu geri bildirimin, SageMaker'ın geliştirilmesine yardımcı olan çıkarım bileşeni özelliği oluşturulmasını sağladığını ve Salesforce ve diğer SageMaker kullanıcılarının GPU kaynaklarını daha etkili bir şekilde kullanarak kaynak verimliliği iyileştirerek katkıda bulunduğunu belirtti.