Новая модель ИИ от Meta тегирует и отслеживает каждый объект в ваших видео

Новая модель ИИ от Meta, Segment Anything Model 2 (SAM 2), может меткировать и отслеживать объекты в видео по мере их движения, что расширяет возможности видеомонтажа и анализа. В отличие от ее предшественника, ограниченного изображениями, реальное разделение SAM 2 по времени представляет собой значительный технический прогресс. Эта способность позволяет ИИ обрабатывать движущиеся изображения и отличать элементы, даже если они выходят из кадра и возвращаются обратно. Разделение - это процесс определения, какие пиксели принадлежат каким объектам, что упрощает редактирование сложных изображений. Оригинальный SAM способствовал разнообразным приложениям, таким как анализ коралловых рифов, помощь в ликвидации последствий стихийных бедствий с помощью спутниковых изображений и обнаружение рака кожи в клеточных изображениях. SAM 2 расширяет эти возможности до видео, что стало возможным благодаря недавним достижениям в области ИИ. Meta выпустила базу данных из 50 000 видео для обучения SAM 2, помимо 100 000 видео, использованных ранее. Хотя SAM 2 в настоящее время открыт и бесплатен, его реальное разделение видео требует значительной вычислительной мощности, что указывает на то, что он может не оставаться бесплатным навсегда. SAM 2 может революционизировать видеомонтаж, позволяя легче манипулировать объектами в сценах и интерактивных видео. Meta видит его использование в обучении систем компьютерного зрения для автономных транспортных средств, где точное отслеживание объектов является критически важным. Несмотря на ажиотаж вокруг видео, сгенерированных ИИ, редакционные возможности SAM 2 могут быть более влиятельными в интеграции ИИ в создание видео. Другие компании, такие как Google и Adobe, также разрабатывают инструменты ИИ для суммирования и редактирования видео, демонстрируя конкурентную среду в технологии видео ИИ.