Системы Retrieval Augmented Generation (RAG) используются для улучшения больших языковых моделей (LLM), предоставляя им релевантную внешнюю информацию. В идеале, LLM выдает правильный ответ или отвечает "Я не знаю", когда отсутствует определенная ключевая информация. Основная проблема систем RAG заключается в том, что они могут вводить пользователя в заблуждение галлюцинированной (и, следовательно, неверной) информацией. Авторы считают, что только релевантность контекста измерять неправильно – они действительно хотят знать, предоставляет ли он достаточно информации для ответа LLM на вопрос или нет. Авторы определяют контекст как "достаточный", если он содержит всю необходимую информацию для предоставления окончательного ответа на запрос, и "недостаточный", если в нем отсутствует необходимая информация. Авторы разрабатывают способ количественной оценки достаточности контекста для LLM и запускают LLM Re-Ranker в Vertex AI RAG Engine. Авторы показывают, что можно узнать, когда LLM имеет достаточно информации для предоставления правильного ответа на вопрос. Авторы используют эти идеи для анализа факторов, влияющих на производительность систем RAG, и для анализа того, когда и почему они добиваются успеха или терпят неудачу. Авторы разрабатывают автооценщик достаточного контекста, который оценивает пары "запрос-контекст", и показывают, что они могут классифицировать достаточный контекст с очень высокой точностью. Авторы используют свой автооценщик достаточного контекста для анализа производительности различных LLM и наборов данных, что приводит к нескольким ключевым выводам.