Ajaa AI-inferenssiohjelmasi Cloud Runilla NVIDIA GPU:illa

Google Cloud on esittänyt NVIDIA L4 GPU -tuen Cloud Runille, joka on nyt esikatselussa, mahdollistaen kehittäjille reaaliaikaisen AI-päätelösuorituksen helposti. Tämä päivitys on erityisen hyödyllinen sovelluksille, joita käytetään avoimien generatiivisten AI-mallien, kuten Googlen Gemma ja Metan Llama, kanssa. Tärkeimmät ominaisuudet sisältävät nopean automaattisen skaalautumisen, skaalautumisen nollaan ja käytön perusteella laskutettavan hinnan, mikä tekee Cloud Runista ihanteellisen vaihtelevan käyttäjäliikenteen käsittelyyn ja kustannusten optimointiin. Tässä uudessa kapasiteetissa kehittäjät voivat käyttää kevyitä malleja tehtäviin, kuten mukautettuihin chatboteihin ja asiakirjojen tiivistämiseen, tai enemmän laskentatehoa vaativia sovelluksia, kuten kuvatunnistukseen ja 3D-renderointiin. NVIDIA GPUs parantavat suorituskykyä nopeuttamalla AI-päätelösuorituksen prosesseja, tarjoten matalan viiveajan ja tehokkaan skaalautumisen, kun Cloud Runin infrastruktuuri hoitaa alustavan kompleksisuuden. Aikaiset käyttäjät, kuten L’Oreal ja Chaptr, ovat kehuneet GPU-integraatiota sen nopeiden käynnistysaikojen, skaalautuvuuden ja käytettävyyden vuoksi. GPU-tuki on tällä hetkellä käytettävissä US-central1 -alueella, ja suunnitelmana on laajentaa tuki Eurooppaan ja Aasiaan vuoden loppuun mennessä. Asentamalla palvelun NVIDIA GPU:illa Cloud Runille kehittäjät voivat määrittää GPU-vaatimukset komentorivillä tai Google Cloud -konsolilla. Lisäksi Cloud Run tukee nyt funktioita GPU-liitännöillä, yksinkertaisten tapahtumapohjaiset AI-päätelösuorituksen tehtävät.