Самосжимающиеся нейронные сети

Работа фокусируется на уменьшении размера нейронной сети, что является основным фактором времени выполнения нейронной сети, потребления мощности, пропускной способности и памяти. Основной задачей является уменьшение размера таким образом, чтобы это могло быть эффективно использовано для обучения и вывода без необходимости в специализированном оборудовании. Мы предлагаем Самосжатие: простой, общий метод, который одновременно достигает двух целей: (1) удаление избыточных весов и (2) уменьшение количества бит, необходимых для представления оставшихся весов. Это достигается с помощью обобщенной функции потерь для минимизации общего размера сети. В наших экспериментах мы демонстрируем точность с плавающей запятой с оставшимися всего 3% бит и 18% весов в сети.