Comet의 보안 감사를 위해 위협 모델링과 프롬프트 주입 기법 활용

Perplexity는 AI 기반 브라우저인 Comet 출시 전에 Trail of Bits를 고용하여 보안 평가를 받았습니다. Trail of Bits는 TRAIL 위협 모델을 사용하여 사용자의 데이터를, 특히 Gmail에서 추출하기 위한 4가지 프롬프트 주입 기술을 식별했습니다. 이러한 익스플로잇은 브라우저의 AI 어시스턴트가 외부 콘텐츠를 처리하는 과정에서 발생하는 취약점을 보여주었습니다. 테스트 결과, AI 에이전트가 웹페이지 내에 숨겨진 지침에 따라 행동하는 방식이 드러났습니다. 기술에는 가짜 보안 메커니즘, 요약 지침, 시뮬레이션된 시스템 메시지 등이 사용되었습니다. 익스플로잇은 가짜 CAPTCHA, 콘텐츠 조각, 보안 검증 도구 등 다양한 방법을 사용하여 AI를 공격했습니다. 이러한 취약점을 이용하여 사용자의 Gmail 내용을 검색하고 유출하는 익스플로잇을 설계했습니다. Trail of Bits의 검토 결과, 위협 모델링, 명확한 경계 설정, 체계적인 테스트에 초점을 맞춘 5가지 보안 권고 사항이 제시되었습니다. 또한, 최소 권한의 원칙을 적용하고 AI 입력값을 신뢰할 수 없는 것으로 취급할 것을 제안했습니다. Perplexity는 이러한 발견 사항을 해결하기 위해 프롬프트 주입을 방지하는 변경 사항을 통합했습니다.