O novo modelo de IA da Meta etiqueta e rastrea todos os objetos em seus vídeos

O novo modelo de IA da Meta, Segment Anything Model 2 (SAM 2), pode rotular e rastrear objetos em um vídeo à medida que se movem, melhorando as capacidades de edição e análise de vídeo. Ao contrário de seu predecessor, que estava limitado a imagens, a segmentação em tempo real do SAM 2 representa um avanço técnico significativo. Essa capacidade permite que a IA processe imagens em movimento e distinga entre elementos, mesmo se eles saem e voltam ao quadro. A segmentação é o processo de determinar quais pixels pertencem a quais objetos, simplificando a edição de imagens complexas. O SAM original facilitou várias aplicações, como análise de recifes de coral, ajuda em casos de desastre com imagens de satélite e detecção de câncer de pele em imagens celulares. O SAM 2 expande essas capacidades para vídeo, o que foi recentemente tornado possível devido a avanços na IA. A Meta lançou um banco de dados de 50.000 vídeos para treinar o SAM 2, além dos 100.000 vídeos anteriormente utilizados. Embora o SAM 2 esteja atualmente aberto e gratuito, sua segmentação de vídeo em tempo real requer poder computacional significativo, indicando que talvez não permaneça gratuito indefinidamente. O SAM 2 pode revolucionar a edição de vídeo, permitindo a manipulação mais fácil de objetos dentro de cenas e vídeos interativos. A Meta imagina seu uso no treinamento de sistemas de visão computacional para veículos autônomos, onde o rastreamento preciso de objetos é crucial. Apesar do hype em torno de vídeos gerados por IA, as capacidades de edição do SAM 2 podem ser mais influentes na integração da IA na criação de vídeo. Outras empresas, como o Google e a Adobe, também estão desenvolvendo ferramentas de IA para resumir e editar vídeos, mostrando um panorama competitivo na tecnologia de vídeo IA.