Узнайте, что делает каждый нейрон в модели ламы

Transluce, новый некоммерческий исследовательский лабораторный центр, выпустил инструмент, который позволяет получить представление о поведении нейронов в больших языковых моделях (БЯМ). Инструмент позволяет вводить запросы, получать ответы и видеть, какие нейроны активируются. Пользователи могут исследовать активированные нейроны и их вклад в выход модели. Инструмент имеет два ключевых функционала: Активация, которая измеряет нормализованное значение активации нейрона, и Приписывание, которое измеряет, как сильно нейрон влияет на выход модели. Пользователи также могут управлять нейронами, чтобы исправлять проблемы, усиливая или подавляя связанные с понятием нейроны. Инструмент является открытым и имеет потенциал для улучшения прозрачности и ответственности ИИ.