Mettre en œuvre une recherche de vidéos sémantique en utilisant des modèles de vision de grande taille open source sur Amazon SageMaker et Amazon OpenSearch Serverless

Dans cet article, nous démontrons comment utiliser de grands modèles de vision (LVM) pour la recherche de vidéos sémantique à l'aide de requêtes en langage naturel et d'images. Nous présentons des méthodes spécifiques à chaque cas d'utilisation, telles que le lissage de trames temporelles et le regroupement, pour améliorer la recherche de vidéos. De plus, nous démontrons la fonctionnalité de bout en bout de cette approche en utilisant à la fois des options d'hébergement et en temps réel sur Amazon SageMaker AI pour traiter les vidéos, les images et le texte en utilisant des LVM publics sur le hub de modèles Hugging Face. Enfin, nous utilisons Amazon OpenSearch Serverless avec son moteur de vecteur pour la recherche de vidéos sémantique à faible latence.