Токено-эффективный RAG: использование намерения запроса для снижения затрат без потери точности

В этой статье мы рассмотрим метод оптимизации RAG для уменьшения количества токенов, необходимых для генерации ответа, при сохранении точности ответа. Прежде чем углубиться в RAG, давайте рассмотрим несколько основных терминов. Что такое LLM (большая языковая модель)? Большие языковые модели (LLM) — это очень большие модели глубокого обучения, предварительно обученные на огромных объемах данных. Они способны выполнять задачи от простых до сложных, такие как генерация контента, классификация текста, интеллектуальный анализ текста и создание сводок.