Intuit는 에이전트 기반 AI 개발에 있어 상당한 어려움에 직면했으며, 단기간에 두 차례의 주요 아키텍처 개편을 단행해야 했습니다. 처음에는 고객 상호작용을 단순화하기 위해 독립적인 전문 에이전트에서 중앙 오케스트레이션 계층으로 전환했습니다. 그러나 이 오케스트레이터는 에이전트 간의 자연어 인계가 복합적인 오류와 맥락 손실로 이어지면서 복잡성으로 인해 실패했습니다. 각 에이전트가 이전 단계를 추론해야 했기 때문에 시스템이 무너졌고, 체인에 더 많은 에이전트가 포함될수록 정확도가 저하되었습니다.결과적으로 Intuit는 60일 만에 재구축을 완료하며 기술 및 도구 기반 아키텍처로 복귀했습니다. 리더십을 설득하는 과정에는 실제 고객 문의에 대한 새로운 시스템의 우수한 성능을 입증하는 것이 포함되었습니다. 엔지니어링의 동의를 얻는 것은 고립된 에이전트보다 공유 기술 및 도구의 확장성 이점에 초점을 맞췄습니다. 이러한 전환은 팀의 책임을 에이전트 생성보다는 평가 쪽으로 재정의하기도 했습니다.재구축 결과, AI 대화 내에서 인간 지원의 원활한 통합과 같이 전문가와 직접 연결할 수 있는 고객 대면 기능이 제공되었습니다. Intuit의 시스템은 금융 데이터 작업에 대한 명시적인 권한 부여를 우선시하며, 감사 로그를 통해 책임성을 확보하여 신뢰를 구축합니다. 피드백 수집은 드물고 양극화된 응답에서 거의 모든 대화가 데이터로 활용되는 방식으로 변화했습니다. Nhung Ho는 방대한 양의 직접적인 고객 피드백을 체계적으로 분석하여 시스템 개선을 주도하는 모델을 개발하기 위해 개인적으로 코딩에 다시 참여하고 있습니다.