Meta's nieuw AI-model labelt en volgt elk object in je video's

Meta's nieuwe AI-model, Segment Anything Model 2 (SAM 2), kan objecten in een video labelen en volgen terwijl ze bewegen, waardoor video-editing en -analyse mogelijkheden worden verbeterd. In tegenstelling tot zijn voorganger, die beperkt was tot afbeeldingen, vertegenwoordigt SAM 2's real-time segmentatie een significante technische vooruitgang. Deze mogelijkheid stelt AI in staat om bewegende beelden te verwerken en onderscheid te maken tussen elementen, zelfs als ze uit en terug in het kader bewegen. Segmentatie is het proces van het bepalen welke pixels bij welke objecten horen, waardoor het bewerken van complexe beelden wordt vereenvoudigd. Het originele SAM heeft diverse toepassingen mogelijk gemaakt, zoals het analyseren van koraalriffen, het helpen bij rampenverlichting met satellietbeelden en het detecteren van huidkanker in cellulaire beelden. SAM 2 breidt deze mogelijkheden uit naar video, wat onlangs mogelijk werd gemaakt door vooruitgang in AI. Meta heeft een database van 50.000 video's vrijgegeven voor het trainen van SAM 2, bovenop de 100.000 eerder gebruikte video's. Hoewel SAM 2 momenteel open en gratis is, vereist de real-time video-segmentatie aanzienlijke rekenkracht, wat suggereert dat het mogelijk niet eeuwig gratis blijft. SAM 2 kan video-editing revolutioneren door het makkelijker manipuleren van objecten binnen scènes en interactieve video's mogelijk te maken. Meta ziet het gebruik ervan in de training van computer vision-systemen voor autonome voertuigen, waar nauwkeurige objectvolging cruciaal is. Ondanks de hype rond AI-genererende video's, kunnen SAM 2's editing-capaciteiten meer invloed hebben op het integreren van AI in video-creatie. Andere bedrijven, zoals Google en Adobe, ontwikkelen ook AI-tools voor video-samenvatting en -bewerking, wat een competitieve landschapskaart in AI-video-technologie aantoont.