DeepMind erzielt großen Fortschritt bei der Interpretation von LLMs mit sparßen Autoencodern

Eine neue Forschung von Google DeepMind zeigt, wie sparse Autoencoder (SAEs) mit spezieller JumpReLU-Aktivierung dabei helfen, LLMs zu interpretieren.