자체 압축 신경망

이 연구는 신경망 실행 시간, 전력 소비, 대역폭, 메모리 사용량의 주요 요인인 신경망 크기를 줄이는 데 초점을 맞추고 있습니다. 핵심 과제는 특수 하드웨어 없이도 효율적인 훈련과 추론에 쉽게 활용할 수 있는 방식으로 크기를 줄이는 것입니다. 저희는 두 가지 목표를 동시에 달성할 수 있는 간단하고 일반적인 방법인 자체 압축을 제안합니다: (1) 중복 가중치 제거, (2) 나머지 가중치를 표현하는 데 필요한 비트 수 감소. 이는 전체 네트워크 크기를 최소화하기 위해 일반화된 손실 함수를 사용하여 달성할 수 있습니다. 실험에서는 네트워크에 남아있는 비트의 3%, 가중치의 18%에 불과한 부동 소수점 정확도를 보여줍니다.