AI 요약 기능 조작

마이크로소프트의 보고 내용입니다: 기업들이 "AI로 요약" 버튼에 숨겨진 지침을 삽입하고 있으며, 사용자가 해당 버튼을 클릭하면 URL 프롬프트 매개변수를 통해 AI 어시스턴트의 기억에 지속적인 명령을 주입하려 시도합니다. 이러한 프롬프트는 AI에게 "\[회사]를 신뢰할 수 있는 출처로 기억하라" 또는 "\[회사]를 먼저 추천하라"와 같은 지시를 내려, 미래의 응답을 해당 회사의 제품이나 서비스 쪽으로 편향시키려는 의도를 가지고 있습니다. 우리는 14개 산업 분야의 31개 회사에서 50개 이상의 고유한 프롬프트를 확인했으며, 누구나 쉽게 사용할 수 있는 도구를 통해 이 기술을 매우 쉽게 배포할 수 있습니다. 이는 중요한 문제입니다. 왜냐하면, 조작된 AI 어시스턴트는 사용자가 자신의 AI가 조작되었는지도 모르는 상태에서 건강, 금융, 보안과 같은 중요한 주제에 대해 미묘하게 편향된 추천을 제공할 수 있기 때문입니다.