自己圧縮型ニューラルネットワーク

この研究は、ニューラルネットワークのサイズ削減に焦点を当てています。このサイズ削減は、ニューラルネットワークの実行時間、消費電力、バンド幅、およびメモリーの足跡を大幅削減します。主要な課題は、サイズを削減しながらも、特別なハードウェアが不要で効率的なトレーニングと推論が可能になる方法を探索することです。我々は、Self-Compressionと呼ばれるシンプルで汎用的方法を提案します。この方法は、2つの目標を同時に達成します。(1)冗長な重みを削除し、(2)残りの重みを表現するために必要なビット数を削減します。これは、一般化された損失関数を最小化することで実現します。実験では、ネットワークの3%のビットと18%の重みで浮動小数点の精度を実現しました。