Harjoittele/viilaa Segment Anything 2:ta (SAM 2) 60 kood rivillä

Meta:n SAM2 (Segment Anything 2) on monipuolinen kuvasegmentointimalli, joka on koulutettu laajassa 11 miljoonan kuvan ja 11 miljardin maskin datajoukossa, mikä tekee siitä erittäin tehokkaan moniin segmentointitehtäviin. Vaikka SAM2 voi segmentoida yleisiä objekteja hyvin, sen suorituskyky voi olla heikompi harvinaisissa tai alakohtaisissa tehtävissä, jolloin tarvitaan hienosäätöä suorituskyvyn parantamiseksi tietyissä datajoukoissa. Tässä opetusohjelmassa kerrotaan, kuinka SAM2 hienosäädetään mukautettuihin tehtäviin vain 60 kood rivillä. Prosessiin kuuluu SAM2:n lataaminen, datajoukon valmistelu ja yksinkertaisen komentosarjan käyttäminen kuvien lataamiseen, maskien segmentointiin ja satunnaisten pisteiden valitsemiseen näistä maskeista. Hienosäätö keskittyy maskin dekooderin ja halutessaan myös kehotteen kooderin kouluttamiseen kuvakooderin ollessa lukittuna. Opetusohjelma käsittelee myös optimoijan määrittämistä, sekoitetun tarkkuuden koulutuksen käyttämistä ja koulutusluupin suorittamista mukautetuilla häviöfunktiolla mallin hienosäätämiseksi. Viimeinen vaihe sisältää hienosäädetyn mallin tallentamisen ja sen käyttämisen päättelyyn uusissa kuvissa, mikä osoittaa SAM2:n käytännön soveltuvuuden erikoistuneissa segmentointitehtävissä.