"Este post explora la ingeniería de prompts con modelos de lenguaje grande (LLMs) para la incorporación asistida por IA en Etsy. El enfoque principal es la veracidad y confiabilidad de las respuestas generadas por LLMs, especialmente en cuanto a preguntas específicas de Etsy. El estudio examinó dos casos de uso: preguntas de política de viajes y entretenimiento (T&E) internas y preguntas de la comunidad de vendedores de Etsy externa. Para la política de T&E, los LLMs respondieron correctamente alrededor del 86% de las preguntas, pero el 14% restante contenía errores factuales o declaraciones engañosas, denominadas "alucinaciones". Se encontró que técnicas como instruir al LLM para admitir la incertidumbre o explicar su razonamiento mitigaban estas alucinaciones. En los foros de la comunidad de Etsy, con datos más heterogéneos, la precisión del LLM disminuyó a alrededor del 72%. El LLM se desempeñó mejor cuando las consultas coincidían estrechamente con la redacción de los documentos de referencia. El estudio también destacó las limitaciones en las que incluso proporcionar contexto adicional no resolvía ciertos tipos de preguntas complejas. Se identificó que pedir fragmentos de código fuente era un método para marcar posibles alucinaciones del LLM. En general, la ingeniería de prompts muestra promesa, pero requiere una cuidadosa elaboración para asegurar una asistencia confiable de la IA en la incorporación y recuperación de información."