에이전트형 AI 시스템을 구축해 본 경험이 있다면 제가 말하는 정확한 느낌을 알 것입니다. 데모에서는 에이전트가 인상적으로 보입니다. 단계별로 추론하고, 도구를 지능적으로 선택하며, 복잡한 다단계 작업을 완료합니다. 하지만 스테이징이나 프로덕션으로 옮기는 순간 예상치 못한 일들이 발생하기 시작합니다. 추가 고객 기록을 가져오거나, 건드리면 안 되는 데이터베이스 필드를 업데이트하려고 시도하거나, 민감한 정보가 포함된 이메일을 초안으로 작성할 수 있습니다.저는 작년에 영업 운영 에이전트 프로젝트를 이끌면서 이를 직접 경험했습니다. 에이전트는 CRM 데이터를 쿼리하고, 리드를 강화하며, 후속 조치를 제안해야 했습니다. 어느 날 우리는 에이전트가 추가 PII 필드에 액세스했으며 거의 외부 이메일을 보낼 뻔했다는 사실을 발견했습니다. 시스템 프롬프트와 내부 거버넌스 문서로는 이를 막지 못했습니다. 그 사건으로 인해 우리는 적절한 런타임 제어 평면을 구축하는 데 상당한 시간을 투자해야 했고, 이는 후속 프로젝트에 있어 게임 체인저가 되었습니다.