Meta 的新型人工智能模型标记并跟踪您视频中的每个对象

Meta的新型AI模型，Segment Anything Model 2（SAM 2），可以在视频中标记和跟踪移动对象，从而提高视频编辑和分析能力。与其前身相比，SAM 2在实时分割方面的技术进步非常显著。这种能力使AI能够处理移动图像，并在元素离开和返回框架时区分它们。分割是确定哪些像素属于哪些对象的过程，这简化了复杂图像的编辑。原始SAM促进了各种应用，如分析珊瑚礁、援助灾难救援通过卫星图像、检测细胞图像中的皮肤癌。SAM 2将这些功能扩展到视频中，这最近由于AI技术的进步而变得可能。Meta已经发布了一个包含50,000个视频的数据库来训练SAM 2，此外还有100,000个之前使用的视频。虽然SAM 2目前是开放和免费的，但它的实时视频分割需要很高的计算能力，这表明它可能不会永远免费。SAM 2可以革新视频编辑，使对象在场景中的操作变得更容易，并且可以生成交互式视频。Meta设想其在训练计算机视觉系统用于自动驾驶汽车中的应用，其中准确的对象跟踪非常重要。尽管AI生成视频引起了很大的关注，但SAM 2的编辑功能可能在将AI集成到视频创作中更加有影响力。其他公司，如Google和Adobe，也在开发AI工具用于视频摘要和编辑，表明AI视频技术领域的竞争格局。