Egiziago Cioffi, IT 아키텍트는 Azure OpenAI를 사용하여 구축한 AI 에이전트에서 치명적인 보안 결함을 발견했습니다. 이 에이전트는 모든 평가를 성공적으로 통과했으며 사실적 정확성과 작업 완료 능력을 보여주었습니다. 그러나 낮은 권한 계정으로 테스트했을 때, 에이전트는 사용자가 접근할 수 없어야 하는 정보를 검색했습니다. 이는 에이전트가 요청하는 사용자의 권한이 아닌, 인덱싱 작업의 더 넓은 권한으로 작동하고 있음을 드러냈습니다.에이전트가 사용자 권한 대신 인덱서 권한을 사용하는 이러한 유형의 실패는 드문 일이 아닙니다. Azure AI Search는 네이티브 문서 수준 액세스 제어(ACL) 트림을 도입했지만, 모든 배포 경로에서 보편적으로 구현되거나 완전히 기능하는 것은 아닙니다. Cioffi의 것과 같은 사용자 지정 파이프라인은 종종 이러한 네이티브 보안 기능을 우회합니다. 또한, 독립적인 연구에 따르면 생산성 에이전트에 대한 성공적인 공격의 상당 부분이 탐지되지 않는 데이터 유출로 이어지며, 이는 더 광범위한 보안 취약점을 강조합니다.이러한 보안 격차는 데이터 검색에 사용되는 권한보다는 답변 품질에 초점을 맞춘 표준 평가에서 종종 간과됩니다. 네이티브 Azure AI Search ACL 트림은 Entra 기반 주체 및 SharePoint 인덱서와 올바르게 구성될 때 이러한 경계를 강제할 수 있지만, Cioffi의 사용자 지정 파이프라인은 이를 우회했습니다. 핵심 문제는 권한 경계가 검색 기능을 가진 최저 권한 수준으로 축소되는 잘못된 액세스 제어입니다.Cioffi는 데이터가 모델로 전송되기 전에 요청하는 사용자의 SharePoint 권한을 확인하는 쿼리 경로 필터를 통합하여 수정을 구현했습니다. 이를 통해 SharePoint에서 사용자가 직접 접근할 수 없는 콘텐츠가 에이전트의 컨텍스트 창에 포함되지 않도록 했습니다. 이는 접근 가능한 콘텐츠의 범위를 좁혔지만, 어시스턴트는 여전히 수신되는 이메일의 약 60%를 자동으로 해결했습니다. 향상된 보안에 대한 절충점은 권한 필터에 의해 필요한 콘텐츠가 차단될 경우 질문에 답변할 수 있는 능력이 잠재적으로 감소한다는 것입니다.서비스 계정 수명 주기 및 자격 증명을 관리하는 ID 거버넌스 플랫폼은 검색 권한 경계와는 다른 계층에서 작동합니다. 포괄적인 AI 에이전트 보안을 위해서는 두 계층의 제어가 모두 필수적입니다. 높은 권한 계정과 낮은 권한 계정 두 개를 사용하는 간단한 테스트는 30분 이내에 검색 권한 경계 강제 문제를 노출할 수 있습니다. 이 테스트는 직접 시스템 액세스와의 출력을 비교하여 어시스턴트가 사용자의 부여된 권한을 넘어서는 데이터를 잘못 반환하고 있는지 여부를 드러냅니다.