Le nouveau modèle d'IA de Meta étiquette et suit chaque objet dans vos vidéos

Le nouveau modèle d'IA de Meta, Segment Anything Model 2 (SAM 2), peut étiqueter et suivre les objets dans une vidéo alors qu'ils se déplacent, améliorant ainsi les capacités d'édition et d'analyse vidéo. Contrairement à son prédécesseur, qui était limité aux images, la segmentation en temps réel de SAM 2 représente une avancée technique significative. Cette capacité permet à l'IA de traiter les images en mouvement et de distinguer entre les éléments, même si ceux-ci sortent et reviennent dans le cadre. La segmentation est le processus consistant à déterminer quels pixels appartiennent à quels objets, ce qui simplifie l'édition d'images complexes. Le modèle SAM original a facilité diverses applications, telles que l'analyse des récifs de corail, l'aide aux secours en cas de catastrophe avec des images satellites et la détection du cancer de la peau dans les images cellulaires. SAM 2 étend ces capacités aux vidéos, ce qui a été rendu possible récemment en raison des avancées de l'IA. Meta a publié une base de données de 50 000 vidéos pour entraîner SAM 2, en plus des 100 000 vidéos utilisées précédemment. Bien que SAM 2 soit actuellement ouvert et gratuit, sa segmentation vidéo en temps réel nécessite une puissance de calcul significative, ce qui indique qu'elle pourrait ne pas rester gratuite indéfiniment. SAM 2 pourrait révolutionner l'édition vidéo en permettant une manipulation plus facile des objets au sein des scènes et des vidéos interactives. Meta imagine son utilisation pour entraîner les systèmes de vision par ordinateur pour les véhicules autonomes, où la poursuite d'objets précise est cruciale. Malgré l'intérêt suscité par les vidéos générées par IA, les capacités d'édition de SAM 2 pourraient être plus influentes dans l'intégration de l'IA dans la création de vidéos. D'autres entreprises, comme Google et Adobe, développent également des outils d'IA pour la résumé et l'édition de vidéos, montrant un paysage compétitif dans la technologie vidéo IA.