기존의 신원 확인 메커니즘은 AI 에이전트의 자율적이고 예측 불가능한 특성을 고려하여 설계되지 않았습니다. 따라서 기업은 회사의 전체 생산 기반을 삭제하는 것과 같이 예측 불가능하거나 심지어 파괴적인 결정을 내릴 때 놀라지 않아야 합니다. 적절한 안전 장치가 마련되지 않으면 이러한 새로운 행위자들은 조직 전반에 걸쳐 계속해서 혼란을 야기할 것입니다.이것이 실시간으로 어떻게 전개되는지 보여주는 사례를 찾는 것은 어렵지 않습니다. PocketOS는 최근 Cursor 에이전트가 안전한 스테이징 환경이라고 생각했던 곳에서 일상적인 작업을 수행하는 동안 프로덕션 데이터베이스와 백업을 삭제했다고 밝혔습니다. 전체 시나리오는 단 9초 만에 발생했지만 해결하는 데는 며칠이 걸렸습니다.