LLM 비서에 대한 간접적인 프롬프트 주입 공격 노트

LLM 비서에 대한 간접적인 프롬프트 주입 공격

"초대만 있으면 됩니다!"라는 연구 논문은 LLM 기반 보조 프로그램에 대한 실제적이고 위험한 프롬프트웨어 공격을 탐구한다. 프롬프트웨어는 LLM을 사용하는 애플리케이션의 보안을 손상시키기 위해 설계된 악의적인 프롬프트를 말한다. 이 연구는 Gemini 기반 보조 프로그램을 사용하는 사용자에게 프롬프트웨어가 미치는 위험을 조사했으며, 웹, 모바일, 구글 어시스턴트를 포함한다. 이러한 위험을 최종 사용자에게 평가하기 위해 새로운 위협 분석 및 위험 평가(TARA) 프레임워크가 개발되었다. 연구는 이메일 및 캘린더 초대와 같은 일반적인 사용자 상호작용을 통해 간접적인 프롬프트 주입을 사용하는 새로운 타겟 프롬프트웨어 공격을 소개한다. 5가지 위협 클래스(단기 컨텍스트 중독, 영구 메모리 중독, 도구 오용, 자동 에이전트 호출, 자동 앱 호출)를 통해 14가지 공격 시나리오가 시연되었다. 이러한 공격은 스팸, 피싱, 허위 정보, 데이터 유출, 홈 자동화 장치 제어와 같은 다양한 디지털 및 물리적 결과를 초래할 수 있다. 이 논문은 프롬프트웨어가 LLM 애플리케이션을 넘어 악의적인 동작을 허용하는 온디바이스 수평 이동 기능을 보여준다. TARA 프레임워크는 분석된 위협의 73%가 최종 사용자에게 높은 위험을 초래한다는 것을 나타냈다. 연구자들은 완화 조치를 논의했으며, 이러한 조치가 위험을 매우 낮은 수준으로 줄일 수 있음을 보여주었다. 구글은 연구자들이 공개한 결과를 기반으로 전용 완화 조치를 배포했다.