Questo lavoro si concentra sulla riduzione delle dimensioni delle reti neurali, che è un fattore importante per il tempo di esecuzione delle reti neurali, il consumo di potenza, la larghezza di banda e l'impronta di memoria. Una sfida chiave è ridurre le dimensioni in modo che possa essere sfruttato prontamente per l'addestramento e l'inferenza efficienti senza la necessità di hardware specializzati. Proponiamo l'Auto-Compressione: un metodo semplice e generale che raggiunge due obiettivi contemporaneamente: (1) rimuove i pesi ridondanti e (2) riduce il numero di bit necessari per rappresentare i pesi rimanenti. Ciò viene ottenuto utilizzando una funzione di perdita generalizzata per minimizzare le dimensioni complessive della rete. Nei nostri esperimenti dimostriamo l'accuratezza a virgola mobile con solo il 3% dei bit e il 18% dei pesi rimanenti nella rete.
arxiv.org
Self-Compressing Neural Networks
Create attached notes ...