Презентация: Развертывание мул... Заметка
InfoQ на русском

Презентация: Развертывание мультимодальных RAG-систем с помощью vLLM

Стивен Батифоль обсуждает создание и оптимизацию самостоятельных, мультимодальных RAG-систем. Он разбирает векторный поиск, индексы ближайших соседей (FLAT, IVF, HNSW) и критическую роль выбора правильной модели встраивания. Затем он объясняет оптимизацию инференса vLLM (страничный внимания, квантование) и использует Mistral's Pixtral для детализации архитектуры мультимодальных больших языковых моделей. Стивен Батифоль
CdXz5zHNQW_0ymDaihHg4.jpeg