DeepMind делает большой шаг вперед в интерпретации LLM с помощью разреженных автоэнкодеров

Новое исследование от Google DeepMind демонстрирует, как разреженные автоэнкодеры (SAE) со специальной активацией JumpReLU могут помочь в интерпретации больших языковых моделей (LLM).