현대 AI 시스템은 외부 데이터에 숨겨진 악의적인 명령어에 의한 "간접 프롬프트 주입" 공격에 취약합니다. 이러한 위험을 완화하기 위해 Agentic AI는 방어 및 측정 도구를 개발 중입니다. 그들의 평가 프레임워크는 가상 시나리오를 사용하여 AI 취약성을 테스트하며, 승인되지 않은 데이터 공개에 중점을 둡니다. 프레임워크에는 세 가지 공격 기술이 사용됩니다: Actor Critic, Beam Search, Tree of Attacks w/ Pruning. 이러한 공격은 다양한 대화 기록에도 불구하고 AI 시스템을 악용하는 성공적인 프롬프트 주입을 생성하는 것을 목표로 합니다. 프레임워크는 공격 성공률을 측정하여 보안 개선 사항을 추적합니다. 평가 프레임워크, 자동화된 적색 팀, 모니터링, 휴리스틱 방어, 표준 보안 관행의 조합이 가장 효과적인 방어 전략이라고 믿어집니다.