В этом посте исследуется инженерия запросов с помощью крупных языковых моделей (КЯМ) для ассистирования на борде в Etsy. Основное внимание уделяется правдивости и надежности ответов, сгенерированных КЯМ, особенно в отношении вопросов, специфических для Etsy. Исследование рассмотрело два случая использования: внутренние вопросы политики путешествий и развлечений (T&E) и внешние вопросы форума сообщества продавцов Etsy. Для политики T&E КЯМ правильно ответили на примерно 86% вопросов, но оставшиеся 14% содержали фактические ошибки или вводящие в заблуждение заявления, называемые «галлюцинациями». Техники, такие как инструктаж КЯМ признавать неопределенность или объяснять свое рассуждение, были найдены для уменьшения этих галлюцинаций. В форуме сообщества Etsy, с более гетерогенными данными, точность КЯМ снизилась до примерно 72%. КЯМ работал лучше, когда запросы тесно соответствовали формулировкам в справочных документах. Исследование также подчеркнуло ограничения, где даже предоставление дополнительного контекста не решало определенные типы сложных вопросов. Запрос на получение фрагментов источника был идентифицирован как метод для флагирования потенциальных галлюцинаций КЯМ. В целом, инженерия запросов показывает перспективы, но требует тщательной разработки для обеспечения надежной помощи ИИ при на борде и извлечении информации.