自压缩神经网络

这项工作集中于减少神经网络的大小，这是神经网络执行时间、功耗、带宽和内存占用量的主要驱动因素。一个关键挑战是以一种可以轻松用于高效训练和推理的方式减少大小，而不需要专门的硬件。我们提出了自压缩：一种简单、通用的方法，它同时实现了两个目标：（1）删除冗余权重和（2）减少表示剩余权重所需的位数。这是通过使用一种泛化损失函数来最小化总体网络大小来实现的。在我们的实验中，我们展示了使用仅3%的位数和18%的权重保持网络浮点精度。