Tämä työ keskittyy neuroverkkojen koon pienentämiseen, joka on tärkeä ajurina neuroverkkojen suoritusaikana, virrankulutuksessa, kaistalla ja muistijäljessä. Tärkeä haaste on pienentää kokoa tavalla, jota voidaan hyödyntää tehokkaaseen koulutukseen ja deduktiiviseen suoritukseen ilman erikoistuneen laitteiston tarvetta. Esittelemässäni Self-Compression-menetelmässä käytetään yleistettyä tappiofunktiota, jotta voidaan yhtä aikaa saavuttaa kaksi tavoitetta: (1) poistetaan yliedustetut painot, ja (2) vähennetään jäljellä olevien painojen esittämiseen tarvittavien bittejä. Kokeissani osoitan, että voidaan saavuttaa kelluvapisteetarkkuus vain 3%:lla bittejä ja 18%:lla painoista verkon sisällä.
arxiv.org
Self-Compressing Neural Networks
TheNote.app (macOS, iOS and Android apps)
2024-08-06
Create attached notes ...