Metas nye AI-modell merker og sporer hvert objekt i dine videoer

Metas nye AI-modell, Segment Anything Model 2 (SAM 2), kan merke og spore objekter i en video mens de beveger seg, og forbedrer dermed video-redigering og -analysekapasiteter. I motsetning til sin forgjenger, som var begrenset til bilder, representerer SAM 2s reelle tidssegmentering en betydelig teknisk fremgang. Dette muligheten tillater AI å prosessere bevegelige bilder og skille mellom elementer, selv om de beveger seg ut av og tilbake i rammen. Segmentering er prosessen med å bestemme hvilke piksler som tilhør hvilke objekter, noe som forenkler redigeringen av komplekse bilder. Den originale SAM muliggjorde flere applikasjoner, som å analysere korallrev, bistå med katastrofehjelp med satellittbilder og detektere hudkreft i cellebilder. SAM 2 utvider disse kapasitetene til video, noe som nylig ble mulig på grunn av fremgang i AI. Meta har sluppet ut en database med 50 000 videoer for å trene SAM 2, i tillegg til 100 000 tidligere brukte videoer. Selv om SAM 2 for tiden er åpen og gratis, krever dens reelle tidssegmentering av video betydelig beregningskraft, noe som indikerer at den kanskje ikke forblir gratis i all evighet. SAM 2 kan revolusjonere video-redigeringen ved å tillate enklere manipulering av objekter innen scener og interaktive videoer. Meta forestiller seg bruk av det i opplæring av datavisjonsystemer for selvstyrte kjøretøy, hvor nøyaktig objektsporing er avgjørende. Tross alt bråket om AI-genererte videoer, kan SAM 2s redigeringsfunksjoner være mer innflytelsesrike i integrering av AI i video-skaping. Andre selskaper, som Google og Adobe, utvikler også AI-verktøy for video-summering og -redigering, noe som viser et konkurrerende landskap i AI-video-teknologi.