Krysset mellom minne og grunning i AI-systemer

Hukommelse i språkmodeller refererer til evnen hos AI-systemer til å beholde og gjenkalle relevant informasjon, noe som bidrar til evnen til å resonnere og kontinuerlig lære av erfaringene. Det finnes fire kategorier av hukommelse: korttidsminne, mellomlangtidsminne, langtidsminne og arbeidsminne. Korttidsminne beholder informasjon i en meget kort periode, ofte sekunder til minutter, og brukes til å referere til nylige meldinger og generere relevante svar. Mellomlangtidsminne beholder informasjon i en moderat periode, som minutter til timer, og brukes til å håndtere sesjoner og holde samtalehistorikken aktuell. Langtidsminne beholder informasjon i en uendelig lang periode og brukes til å forstå emner en student utfører godt i og hvor de sliter. Arbeidsminne er en komponent av språkmodellen selv, og muliggjør at modellen kan holde informasjon, manipulere den og forbedre den, noe som forbedrer modellens evne til å resonnere. Grunnlegging måler evnen til en model å produsere et utgang som er kontekstuell relevant og meningsfullt. Prosessen med å grunnlegge en språkmodel kan være en kombinasjon av språkmodel-trening, finjustering og eksterne prosesser, inkludert hukommelse.