Diese Arbeit konzentriert sich auf die Reduzierung der Größe von neuronalen Netzwerken, was ein wichtiger Faktor für die Ausführungszeit, den Stromverbrauch, die Bandbreite und den Speicherbedarf von neuronalen Netzwerken ist. Eine zentrale Herausforderung besteht darin, die Größe auf eine Weise zu reduzieren, die für effizientes Training und Inferenz genutzt werden kann, ohne dass spezielle Hardware benötigt wird. Wir schlagen die Selbst-Komprimierung vor: eine einfache, allgemeine Methode, die gleichzeitig zwei Ziele erreicht: (1) die Entfernung redundanter Gewichte und (2) die Reduzierung der Anzahl von Bits, die für die Darstellung der verbleibenden Gewichte benötigt werden. Dies wird erreicht, indem eine generalisierte Verlustfunktion minimiert, um die Gesamtgröße des Netzwerks zu minimieren. In unseren Experimenten zeigen wir, dass eine Genauigkeit von Gleitkommazahlen mit nur 3% der Bits und 18% der Gewichte im Netzwerk erreicht werden kann.
arxiv.org
Self-Compressing Neural Networks
Create attached notes ...