この投稿では、EtsyにおけるAI支援オンボーディングのための大規模言語モデル（LLM）のプロンプトエンジニアリングについて探求します。主な焦点は、LLMによって生成された回答の真実性と信頼性、特にEtsy固有の質問に関するものです。この研究では、内部の旅行・エンターテイメント（T&E）ポリシーに関する質問と、外部のEtsyセラーコミュニティフォーラムでの質問という2つのユースケースを調査しました。T&Eポリシーに関しては、LLMは約86％の質問に正しく回答しましたが、残りの14％には「ハルシネーション」と呼ばれる事実誤認や誤解を招く記述が含まれていました。LLMに不確実性を認めさせる、あるいは推論を説明させるよう指示するなどのテクニックは、これらのハルシネーションを軽減することがわかりました。Etsyコミュニティフォーラムでは、より異質なデータのため、LLMの精度は約72％に低下しました。LLMは、クエリが参照ドキュメントの単語と密接に一致する場合により良好に機能しました。この研究では、追加のコンテキストを提供しても特定の種類の複雑な質問が解決されない場合などの制限も強調されました。ソーススニペットを要求することは、潜在的なLLMハルシネーションをフラグ付けする方法として特定されました。全体として、プロンプトエンジニアリングは有望ですが、オンボーディングおよび情報検索における信頼性の高いAI支援を確保するためには、慎重な作成が必要です。