Проект начался как эксперимент с локально развернутыми большими языковыми моделями с целью обеспечения конфиденциальности данных и независимости от облачных поставщиков моделей. Автор приобрел LazyCat AI Pod и развернул дистиллированную версию модели Qwen 32B, но вскоре понял, что возможности модели ограничены, а ее ответы медленны и устарели. Автор попытался создать универсальный чат-бот, но им было неудобно пользоваться, и он не мог конкурировать с облачными моделями. Сужение области применения до чат-бота для спортивных результатов казалось более осуществимым, но модели все еще не хватало знаний о текущих результатах и спортивных правилах. Автор собрал правила и документацию и интегрировал их в рабочий процесс ответов на вопросы с использованием векторного поиска, но этот подход имел ограничения, такие как ограничения размера контекста и перегрузка информацией. Автор также экспериментировал с маршрутизацией нескольких моделей, но это не решило фундаментальных архитектурных проблем. Был добавлен узел потока принятия решений для выбора соответствующих API результатов на основе намерения пользователя, но реализация полагалась на сопоставление ключевых слов, которое оказалось неадекватным для обработки различных типов вопросов и разговорных контекстов. Проект подчеркнул трудности создания практичной и эффективной системы ответов на вопросы, включая необходимость надежного распознавания намерений, планирования API и инженерии контекста. Опыт автора продемонстрировал, что простое локальное развертывание модели не гарантирует практической ценности, и что для создания полезного и надежного приложения необходимо более глубокое понимание архитектуры и ограничений системы. В конечном итоге проект привел к большему пониманию сложностей создания успешной системы ответов на вопросы и важности тщательного проектирования и реализации.