Ce poste explore l'ingénierie de prompts avec des modèles de langage grand public (LLM) pour l'onboarding assisté par l'IA chez Etsy. L'objectif principal est de vérifier la véracité et la fiabilité des réponses générées par les LLM, en particulier concernant les questions spécifiques à Etsy. L'étude a examiné deux cas d'utilisation : les questions de politique de voyage et de divertissement (T&E) internes et les questions du forum de la communauté des vendeurs Etsy externes. Pour la politique T&E, les LLM ont répondu correctement à environ 86% des questions, mais les 14% restants contenaient des erreurs factuelles ou des déclarations trompeuses, appelées "hallucinations". Des techniques telles que demander au LLM d'admettre son incertitude ou d'expliquer son raisonnement ont été trouvées pour atténuer ces hallucinations. Dans les forums de la communauté Etsy, avec des données plus hétérogènes, la précision des LLM a chuté à environ 72%. Le LLM a mieux performé lorsque les requêtes correspondaient étroitement au libellé des documents de référence. L'étude a également mis en évidence les limitations où même la fourniture de contexte supplémentaire ne résolvait pas certaines questions complexes. Demander des extraits de source a été identifié comme méthode pour signaler les hallucinations potentielles des LLM. Dans l'ensemble, l'ingénierie de prompts montre du potentiel, mais nécessite une élaboration soignée pour garantir une assistance fiable de l'IA dans l'onboarding et la récupération d'informations.