버그 보고서는 고객 불만으로 접수되었습니다. 공급업체 온보딩 관리를 담당하는 AI 에이전트가 회사가 3개월 동안 계약을 성사시키려던 공급업체에 거부 이메일을 보냈습니다. 아무도 이를 승인하지 않았습니다. 해당 범주의 공급업체를 거부하도록 구성한 사람도 없었습니다. 에이전트는 규정 준수 문서를 분석하고 내부 정책 데이터베이스와 교차 참조한 후 자율적으로 결정을 내렸습니다. 불만이 도착했을 때, 결정을 내린 추론 과정은 폐기되었습니다. 에이전트는 자신이 왜 그런 행동을 했는지 기억하지 못했습니다. 로그에는 행동은 표시되었지만 사고 과정은 표시되지 않았습니다.이 이야기는 구체적인 내용은 허구이지만 구조는 정확합니다. 이 현상은 AI 에이전트를 프로덕션에 배포하는 팀이 점점 더 자주 접하고 있는 문제 유형을 나타냅니다. 즉, 에이전트가 행동을 수행했고 결과는 볼 수 있지만, 중간 추론 과정(컨텍스트 검색, 모델 호출, 도구 호출, 결과로 이어진 결정 등)이 없거나 불완전하거나 사후 조사를 거의 불가능하게 만드는 형식으로 저장되어 있습니다. 기존의 관찰 가능성은 인지 과정을 보이는 시스템을 위해 설계되지 않았습니다.