Metas nya AI-modell taggar och spårar varje objekt i dina videor

Metas nya AI-modell, Segment Anything Model 2 (SAM 2), kan märka och spåra objekt i en video när de rör sig, vilket förbättrar videoeditning och analysförmåga. Till skillnad från sin föregångare, som var begränsad till bilder, representerar SAM 2:s realtidssegmentering en betydande teknisk framsteg. Denna förmåga tillåter AI att bearbeta rörliga bilder och skilja mellan element, även om de rör sig ut ur och tillbaka in i ramen. Segmentering är processen att fastställa vilka pixlar som tillhör vilka objekt, vilket förenklar redigeringen av komplexa bilder. Den ursprungliga SAM underlättade olika tillämpningar, såsom att analysera korallrev, bistå vid katastrofhjälp med satellitbilder och upptäcka hudcancer i cellbilder. SAM 2 utökar dessa möjligheter till video, vilket nyligen blev möjligt tack vare framsteg inom AI. Meta har släppt en databas med 50 000 videor för att träna SAM 2, utöver 100 000 tidigare använda videor. Även om SAM 2 för närvarande är öppen och gratis, kräver realtidssegmentering av video betydande beräkningskraft, vilket indikerar att det kanske inte förblir gratis i framtiden. SAM 2 kan revolutionera videoeditning genom att möjliggöra enklare manipulation av objekt inom scener och interaktiva videor. Meta ser fram emot att använda det i utbildning av datorseende system för självkörande fordon, där exakt objektföljning är avgörande. Trots all hype kring AI-genererade videor, kan SAM 2:s redigeringsfunktioner vara mer inflytelserika i att integrera AI i videoproduktion. Andra företag, som Google och Adobe, utvecklar också AI-verktyg för videokompilering och redigering, vilket visar en konkurrensutsatt landskap inom AI-video-teknik.