Træn/Finjuster Segment Anything 2 (SAM 2) i 60 linjer kode

SAM2 (Segment Anything 2) fra Meta er en alsidig billedsegmenteringsmodel, som er trænet på et omfattende datasæt på 11 millioner billeder og 11 milliarder masker, hvilket gør den meget effektiv til en lang række segmenteringsopgaver. Selvom SAM2 kan segmentere almindelige objekter godt, kan den underpræstere på sjældne eller domænespecifikke opgaver, hvilket gør finjustering nødvendig for at forbedre ydeevnen på specifikke datasæt. Denne vejledning skitserer, hvordan man finjusterer SAM2 til brugerdefinerede opgaver i kun 60 linjer kode. Processen omfatter download af SAM2, forberedelse af et datasæt og brug af et simpelt script til at indlæse billeder, segmentere masker og vælge tilfældige punkter inden for disse masker. Finjusteringen fokuserer på at træne maskedekoderen og valgfrit også promptenkoderen, mens billedkoderen fryses. Vejledningen dækker også opsætning af optimeringsværktøjet, anvendelse af blandet præcisionstræning og kørsel af en træningsløkke med brugerdefinerede tabfunktioner for at finjustere modellen. Det sidste trin omfatter at gemme den finjusterede model og bruge den til at udlede nye billeder, hvilket demonstrerer den praktiske anvendelse af SAM2 i specialiserede segmenteringsopgaver.