Redes Neuronales Auto-Comprimidas

Esta obra se centra en reducir el tamaño de las redes neuronales, que es un factor clave en el tiempo de ejecución, consumo de energía, ancho de banda y huella de memoria de las redes neuronales. Un desafío clave es reducir el tamaño de manera que se pueda aprovechar fácilmente para el entrenamiento y la inferencia eficientes sin la necesidad de hardware especializado. Proponemos la Auto-Compresión: un método simple y general que logra dos objetivos al mismo tiempo: (1) eliminar pesos redundantes y (2) reducir el número de bits necesarios para representar los pesos restantes. Esto se logra utilizando una función de pérdida generalizada para minimizar el tamaño total de la red. En nuestros experimentos, demostramos precisión de punto flotante con tan solo el 3% de los bits y el 18% de los pesos restantes en la red.