Instructed Retriever от Databricks превосходит традиционный поиск данных RAG на 70% — корпоративные метаданные были недостающим звеном

Традиционные системы RAG испытывают трудности со сложным поиском корпоративных данных из-за неспособности эффективно использовать метаданные. Новая архитектура Instructed Retriever от Databricks решает эту проблему, распространяя системные спецификации на протяжении всего процесса поиска и генерации. Этот новый подход обещает до 70% улучшения сложных заданий с ответами на вопросы. В отличие от традиционного RAG, где запросы рассматриваются как изолированные упражнения по сопоставлению текста, Instructed Retriever разбирает сложные запросы. Затем он переводит инструкции на естественном языке в специальные фильтры базы данных для рассуждения метаданных. Система также использует полный контекст пользовательских инструкций для более точного реранжирования. Этот редизайн позволяет агентам ИИ автономно выполнять многогранные инструкции по поиску. В то время как контекстная память обрабатывает информацию, специфичную для сессии, Instructed Retriever обращается и обрабатывает более широкий корпоративный корпус данных. Эта архитектура теперь доступна как часть Databricks Agent Bricks, изначально принадлежащих корпоративным продуктам. Это обещает значительные преимущества для доменов с богатыми, структурированными данными, улучшая способность ИИ эффективно запрашиваться и использовать корпоративную информацию.