Intégrer des vecteurs clairsemés et denses pour améliorer la récupération des connaissances dans RAG en utilisant le service Amazon OpenSearch

Dans ce billet, au lieu d'utiliser l'algorithme BM25, nous présentons la récupération de vecteurs creux. Cette approche offre une amélioration de l'expansion des termes tout en maintenant l'interprétabilité. Nous passons en revue les étapes d'intégration des vecteurs creux et denses pour la récupération de connaissances en utilisant le service Amazon OpenSearch et nous menons des expériences sur certains ensembles de données publics pour montrer ses avantages.