DeepMind tar ett stort steg mot att tolka LLMs med sparse autoencoders

En ny studie av Google DeepMind visar hur sällsynta autoencoders (SAEs) med special JumpReLU-aktivering kan hjälpa till att tolka stora språkmodeller (LLMs).