라마 모델의 모든 뉴런이 하는 일을 찾아보세요

Transluce, 새로운 비영리 연구실,는 대규모 언어 모델(LLM)에서 뉴런의 행동에 대한 통찰을 제공하는 도구를 출시했습니다. 이 도구를 사용하여 사용자는 프롬프트를 입력할 수 있고, 응답을 받을 수 있으며, 어떤 뉴런이 활성화되는지 확인할 수 있습니다. 사용자는 활성화된 뉴런과 모델의 출력에 대한 그들의 기여도를 탐색할 수 있습니다. 이 도구에는 두 가지 주요 기능이 있습니다. 첫 번째는 Activation으로, 뉴런의 정규화된 활성화 값을 측정합니다. 두 번째는 Attribution으로, 뉴런이 모델의 출력에 얼마나 영향을 미치는지 측정합니다. 사용자는 또한 문제를 해결하기 위해 개념 관련 뉴런을 강화하거나 억제하는 뉴런을 조정할 수도 있습니다. 이 도구는 오픈 소스이고, AI 투명성 및 책임성을 개선하는 데 잠재력이 있습니다.