DeepMind's Gemma Scope kijkt onder de motorkap van grote taalmodellen

Google DeepMind heeft Gemma Scope vrijgegeven, een reeks van sparse autoencoders (SAEs) die helpen bij het interpreteren van Gemma 2-modellen.