AI og ML nyheter på norsk

Forbedre LLM-kvalitet og tolkbarhet med Vertex Gen AI-vurderingstjenesten

Utviklere som utnytter store språkmodeller (LLM) står overfor to hovedutfordringer: å håndtere tilfeldigheten i LLM-utganger og å redusere deres tendens til å produsere feil informasjon. Den uforutsigbarheten i LLM kan være både en kreativ ressurs og en hindring, spesielt når konsistens og faktisk nøyaktighet er avgjørende. Denne tilfeldigheten, som er nyttig for å generere kreativt innhold, kan føre til "hallusinasjoner" hvor modellen er sikker på å produsere feil informasjon, og dermed redusere tilliten til dens pålitelighet. Mange oppgaver, som å summerere informasjon eller skape markedsføringsinnhold, har ikke et enkelt korrekt svar, noe som gjør variasjonen i LLM både en utfordring og en mulighet. Et finansinstitutt, for eksempel, trengte å sikre at summeringer av kundesamtaler var nøyaktige, konsise og godt skrevet. De løste dette ved å generere flere LLM-respons og bruke Vertex Gen AI Evaluation Service til å velge den beste. Ved å generere flere versjoner av en summering med kontrollert tilfeldighet, økte de sannsynligheten for å finne en optimal respons. Disse responsene ble deretter sammenlignet ved hjelp av parvis evaluering for å identifisere den mest nøyaktige og relevante. Til slutt ble den beste responsen vurdert ved hjelp av punktvis evaluering for å sikre at den møtte kvalitetsstandardene, med poeng og forklaringer for å sikre transparens. Dette arbeidsflyten, som kan tilpasses for forskjellige brukssituasjoner og modaliteter, transformerer LLM-variasjonen til en styrke ved å systematisk evaluere og velge den beste utgaven, og dermed forbedre kvaliteten, påliteligheten og tilliten til LLM-generert innhold.
cloud.google.com
Enhancing LLM quality and interpretability with the Vertex Gen AI Evaluation Service
Create attached notes ...