DeepMind tekee suuren hyppäämän LLM:ien tulkintaan hajautettujen autoenkoodereiden avulla

Uusi Google DeepMindin tutkimus osoittaa, miten harvat autoenkooderit (SAEs) erityisellä JumpReLU-aktivaatiolla voivat auttaa tulkemaan suurten kielimallien (LLMs) toimintaa.