InfoQ на русском
Подписаться
Презентация: Развертывание мультимодальных RAG-систем с помощью vLLM
Стивен Батифоль обсуждает создание и оптимизацию самостоятельных, мультимодальных RAG-систем. Он разбирает векторный поиск, индексы ближайших соседей (FLAT, IVF, HNSW) и критическую роль выбора правильной модели встраивания. Затем он объясняет оптимизацию инференса vLLM (страничный внимания, квантование) и использует Mistral's Pixtral для детализации архитектуры мультимодальных больших языковых моделей. Стивен Батифоль