Parantamassa Salesforce Einsteinin koodigeneraattorimallin suorituskykyä Amazon Sagemakerin avulla

Salesforce, pilvipohjainen ohjelmistoyhtiö, työskentelee kohti tekoälyä liiketoimintaan. Heillä on joukko tekoälyteknologioita nimeltä Salesforce Einstein, joka integroituu heidän Asiakasmenestystä-alustansa kanssa parantaakseen tuottavuutta ja asiakasviipymättä. Einsteinissa on yli 60 ominaisuutta, mukaan lukien koneoppiminen, luonnollinen kieliprosessointi, tietokoneenäkö ja automaattinen puheentunnistus. Salesforce Einstein AI -alustan tiimi keskittyy parantamaan suurten kielimallien (LLM) suorituskykyä ja kyvykkyyksiä, erityisesti Einstein-tuotevalikoimissa käytettäväksi. Tiimi kohtasi haasteita LLMien isännöimisessä, mukaan lukien mallin turvallinen isännöinti, suuren kysynnän käsittely ja läpäisyajan ja viiveajan vaatimusten täyttäminen. He arvioivat eri työkaluja ja palveluita, mukaan lukien avoimen lähdekoodin vaihtoehdot ja maksulliset ratkaisut, ja valitsivat Amazon Sagemakerin sen GPU-yhteyden, skaalautuvuuden, joustavuuden ja suorituskyvyn optimointien vuoksi. Sagemaker tarjosi ominaisuuksia, kuten useita palvelumoottoreita, edistyneitä erästrategioita, tehokkaan reititysstrategian, pääsyn korkealuokkaisiin GPUihin ja nopean iteroinnin ja käyttöönoton. Einstein-tiimi käytti Sagemakeria optimoimaan LLMien suorituskykyä, mikä vähensi viipymättä ja paransi läpäisykykyä. He havaitsevat merkittäviä parannuksia sekä läpäisykyvyssä että viiveajassa käyttämällä Sagemakerin optimointia. Tiimi myös havaittiin mahdollisuuden parantaa resurssitehokkuutta isännöimällä useita LLM:itä yhdellä GPU-instanssilla. Heidän palautteensa auttoi kehittämään dedikaation komponentin ominaisuutta, joka sallii nyt Salesforce ja muut Sagemaker-käyttäjät hyödyntää GPU-resursseja tehokkaammin.