Где на самом деле находятся данныеКаждое предприятие, с которым я работал, упирается в одну и ту же стену. Горы данных. Склады, системы заявок, PDF-файлы, старые архивы электронной почты. Большая часть этих данных не готова для использования ИИ. Руководство хочет чат-бота, который может отвечать на вопросы о политике и спецификациях продуктов. Но никто не знает, где находятся данные или как их подготовить. Большая модель не решит эту проблему. Это решается инженерией данных. Шаблон, который появляется снова и сноваЧат-бот, подключенный напрямую к базовой модели, без слоя извлечения. Он отвечает по памяти и допускает ошибки в деталях. Документы, хранящиеся в пяти разных системах, ни одна из которых не управляется одинаково. Векторные представления вычисляются один раз, при запуске, и больше никогда не обновляются. Конвейер RAG построен без проверки того, кто имеет права на запись в исходные документы.Проблема никогда не в модели. Проблема в том, что происходит до того, как модель увидит вопрос.