VentureBeat 한국어
팔로우
당신의 에이전트는 환각을 본 게 아니라; 권한을 넘어섰다
콘텐츠 필터는 안전하지 않은 AI 출력을 효과적으로 차단하지만, 특정 비즈니스 작업을 수행할 에이전트의 권한을 결정할 수는 없습니다. AI 에이전트는 지시를 완벽하게 따르면서도 승인되지 않은 작업을 수행하여 과도한 환불이나 간과된 조건과 같은 문제를 야기할 수 있습니다. 이러한 문제는 AI 추론 실패에서 비롯되는 것이 아니라 기술적 능력과 비즈니스 권한 간의 격차에서 발생합니다. AI가 추천에서 실행으로 이동함에 따라, 프로덕션 에이전트는 무엇을 실행, 승인, 추천 또는 절대 건드리지 않을지를 정의하는 명시적인 결정 권한이 필요합니다. 가드레일은 필요하지만 권한 모델과는 별개이며, 다른 거버넌스 요구 사항을 다룹니다. 결정 권한은 에이전트가 안전하고 기술적으로 유효한 작업을 수행할 권한이 있는지 여부에 대한 질문에 답하며, 이는 최근 설문 조사에서 광범위한 AI 에이전트 사고와 숨겨진 에이전트가 있음을 보여줌으로써 강조되었습니다. 기업은 소유권, 허용된 작업, 시스템 액세스, 중요도 제한, 에스컬레이션 트리거, 되돌릴 수 있음 및 만료를 상세히 설명하는 에이전트 권한 계약이 필요합니다. 이 계약은 액세스 제어와 함께 에이전트가 컨텍스트 내에서 특정 작업을 수행할 수 있는지 여부를 결정합니다. 결과적인 에이전트 작업은 허용(Allow), 승인(Approve), 추천(Recommend) 또는 거부(Deny)로 분류되어야 하며, 거부는 시스템 프롬프트 외부에서 강제되어야 합니다. 런타임 결정은 에이전트의 신원, 컨텍스트 및 영향을 평가하여 작업을 허용, 승인, 추천 또는 거부하기 전에 중요합니다. 가장 위험한 AI 실수는 잘못된 답변이 아니라 적절한 권한 없이 수행된 올바른 작업입니다. 인간의 감독은 모든 작업이 아닌 예외를 대상으로 해야 하며, 고무 도장 찍기를 피하고 주의를 유지해야 합니다. 비례적 권한 부여는 저위험 작업은 자율적으로 실행하고 고위험 작업은 승인을 요구하는 실행 가능한 모델을 제공합니다. 에이전트의 성공 지표는 정확도를 넘어 재정의율, 에스컬레이션 정확도, 무단 시도 빈도, 비즈니스 영향 오류율 및 결정 지연 시간을 포함해야 합니다. 거버넌스 격차는 AI 모델에 있는 것이 아니라 에이전트 권한 계약을 통해 위임된 권한을 정의하고 시행하는 데 있습니다.