"진지한 RAG 배포를 몇 달 진행하다 보면 대부분의 엔지니어링 팀은 같은 벽에 부딪히게 됩니다. 저희의 AI 기반 결제 도우미 데모는 훌륭하게 작동했습니다. 20명의 내부 사용자와의 파일럿 테스트도 훌륭하게 작동했습니다. 그러다 실제 서비스에 적용되고, 누군가가 의료 혜택이나 실패한 송금에 대해 질문하면, 모델은 자신 있게 무언가를 지어내고, 갑자기 "챗봇"은 사후 검토 회의에서 팀원 누구도 듣고 싶어 하지 않는 단어가 됩니다.해결책은 더 똑똑한 프롬프트가 아닙니다. 모델이 가끔 틀릴 수 있고, 가끔 답하면 안 되는 질문을 받을 수 있으며, 가끔은 완전히 물러나서 사람을 인간에게 넘겨줘야 한다는 것을 가정하는 아키텍처입니다. 오늘 제가 이 시스템을 구축한다면 이렇게 구성할 것입니다."