Entdecken Sie, was jedes Neuron im Llama-Modell tut

Transluce, ein neues gemeinnütziges Forschungslabor, hat ein Werkzeug veröffentlicht, das Einblicke in das Verhalten von Neuronen in großen Sprachmodellen (LLMs) bietet. Das Werkzeug ermöglicht es Benutzern, Anfragen einzugeben, Antworten zu erhalten und zu sehen, welche Neuronen aktiviert werden. Benutzer können die aktivierten Neuronen und ihren Beitrag zum Modellausgang erkunden. Das Werkzeug hat zwei wichtige Funktionen: Aktivierung, die den normalisierten Aktivierungswert des Neurons misst, und Attribution, die misst, wie sehr das Neuron den Modellausgang beeinflusst. Benutzer können auch Neuronen steuern, um Probleme zu beheben, indem sie konzeptbezogene Neuronen stärken oder unterdrücken. Das Werkzeug ist Open-Source und hat das Potenzial, die Transparenz und Verantwortung von KI zu verbessern.