A Interseção da Memória e do Aterramento nos Sistemas de IA

A memória em modelos de linguagem refere-se à capacidade dos sistemas de IA de reter e recordar informações pertinentes, contribuindo para sua capacidade de raciocinar e aprender continuamente com suas experiências. Existem quatro categorias de memória: memória de curto prazo, memória de longo prazo curto, memória de longo prazo e memória de trabalho. A memória de curto prazo retém informações por um período muito breve, geralmente segundos a minutos, e é usada para referenciar mensagens recentes e gerar respostas relevantes. A memória de longo prazo curto retém informações por um período moderado, como minutos a horas, e é usada para gerenciar sessões e manter a história de conversa atualizada. A memória de longo prazo retém informações por um período indefinidamente longo e é usada para entender os assuntos em que um estudante se sai bem e onde ele luta. A memória de trabalho é um componente do próprio modelo de linguagem, permitindo que o modelo segure informações, as manipule e as refine, melhorando a capacidade do modelo de raciocinar. A fundação mede a capacidade de um modelo de produzir uma saída que seja contextualmente relevante e significativa. O processo de fundação de um modelo de linguagem pode ser uma combinação de treinamento de modelo de linguagem, ajuste fino e processos externos, incluindo memória.