Verbetering van de LLM-kwaliteit en interpretabiliteit met de Vertex Gen AI Evaluation Service

Ontwikkelaars die grote taalmodellen (LLMs) gebruiken, worden geconfronteerd met twee belangrijke uitdagingen: het beheren van de willekeurigheid van LLM-uitvoer en het compenseren van hun neiging om onjuiste informatie te produceren. De onvoorspelbaarheid van LLMs kan zowel een creatieve asset als een hindernis zijn, vooral wanneer consistentie en feitelijke nauwkeurigheid essentieel zijn. Deze willekeurigheid, die nuttig is voor het genereren van creatieve inhoud, kan leiden tot "hallucinaties" waarbij het model met vertrouwen onjuiste informatie produceert, waardoor het vertrouwen in zijn betrouwbaarheid afneemt. Veel taken, zoals het samenvatten van informatie of het creëren van marketinginhoud, hebben geen enkel juist antwoord, waardoor de variabiliteit van LLMs zowel een uitdaging als een kans is. Een financiële instelling, bijvoorbeeld, moest ervoor zorgen dat samenvattingen van klantengesprekken accuraat, beknopt en goed geschreven waren. Zij hebben dit aangepakt door meerdere LLM-responsen te genereren en de Vertex Gen AI Evaluation Service te gebruiken om de beste te selecteren. Door meerdere versies van een samenvatting te genereren met gecontroleerde willekeurigheid, verhoogden zij de kans op het vinden van een optimale respons. Deze responsen werden vervolgens vergeleken door middel van paarwijs evaluatie om de meest accurate en relevante te identificeren. Ten slotte werd de toprespons geëvalueerd door middel van puntsgewijze evaluatie om ervoor te zorgen dat deze aan de kwaliteitsnormen voldeed, met scores en uitleg voor transparantie. Deze workflow, die kan worden aangepast voor verschillende use cases en modaliteiten, transformeert LLM-variabiliteit in een kracht door systematisch te evalueren en te selecteren van de beste output, waardoor de kwaliteit, betrouwbaarheid en vertrouwen in LLM-gegenereerde inhoud worden verbeterd.