LLaMAモデル内のすべてのニューロンの役割を発見する

「Transluce」という新しい非営利研究ラボは、大規模言語モデル（LLM）におけるニューロンの挙動に関する洞察を提供するツールをリリースしました。このツールを使用すると、ユーザーはプロンプトを入力し、応答を受け取り、どのニューロンが活性化しているかを確認できます。ユーザーは活性化したニューロンとそのモデル出力への寄与を調査できます。このツールには、2つの主な機能があります。活性化（Activation）は、ニューロンの正規化された活性化値を測定し、帰属（Attribution）は、ニューロンがモデル出力にどれだけ影響を与えるかを測定します。ユーザーはまた、概念関連のニューロンを強化または抑制することで、問題を修正するためにニューロンを操作できます。このツールはオープンソースであり、AIの透明性と責任の向上に役立つ可能性があります。