이 게시물은 Etsy의 AI 지원 온보딩을 위한 대규모 언어 모델(LLM)을 사용한 프롬프트 엔지니어링을 탐구합니다. 주요 초점은 LLM이 생성한 답변, 특히 Etsy 관련 질문에 대한 진실성과 신뢰성에 있습니다. 이 연구는 내부 여행 및 엔터테인먼트(T&E) 정책 질문과 외부 Etsy 판매자 커뮤니티 포럼 질문의 두 가지 사용 사례를 조사했습니다. T&E 정책의 경우 LLM은 약 86%의 질문에 올바르게 답변했지만, 나머지 14%는 사실 오류 또는 오해의 소지가 있는 진술("환각")을 포함하고 있었습니다. LLM에게 불확실성을 인정하거나 이유를 설명하도록 지시하는 것과 같은 기술은 이러한 환각을 완화하는 데 효과적이었습니다. Etsy 커뮤니티 포럼에서는 이질적인 데이터가 더 많아 LLM 정확도가 약 72%로 떨어졌습니다. LLM은 쿼리가 참조 문서의 문구와 밀접하게 일치할 때 더 나은 성능을 보였습니다. 또한 이 연구는 추가 맥락을 제공하더라도 특정 유형의 복잡한 질문을 해결하지 못하는 한계점도 강조했습니다. 소스 스니펫을 요청하는 것은 잠재적인 LLM 환각을 표시하는 방법으로 확인되었습니다. 전반적으로 프롬프트 엔지니어링은 유망하지만 온보딩 및 정보 검색에서 신뢰할 수 있는 AI 지원을 보장하기 위해서는 신중한 작성이 필요합니다.