훔쳐보기! 🫣 이모지 밀반입과 현대의 대형 언어 모델 - FireTail 블로그

연구자들은 악의적인 텍스트를 유니코드 문자를 사용하여 이모티콘 안에 숨길 수 있는 기술을 발견했습니다. 이 기술은 인간의 검토와 보안 필터를 우회할 수 있습니다. 이 기술은 유니코드의 복잡한 특성을 이용하여 이모티콘을 조작하여 보이지 않는 문자를 숨길 수 있습니다. 이 방법은 "바리이션 셀렉터"와 시프트 암호를 사용하여 표준 유니코드 문자를 보이지 않는 문자로 변환하여 화면에는 정상적으로 표시되지만 숨겨진 코드를 포함하는 페이로드를 생성합니다. 이 기술은 효과적입니다. 왜냐하면 텍스트를 처리하는 방식과 이해하는 방식의 차이를 이용하기 때문입니다. 모델은 일반적인 유니코드 문자의 존재를 인식할 수 있지만 원시 바이트를 확인하라는 프롬프트가 제공되지 않는 한 메시지를 해독할 수 없습니다. 모델에 숨겨진 텍스트를 이해하는 "키"를 제공하면 모델은 숨겨진 명령을 실행할 수 있으며, 이 취약점의 심각성을 보여줍니다. 이 연구의 가장 중요한 의미는 악의적인 명령어가 완전히 인간의 눈에 보이지 않기 때문에 수동 감사를 우회하면서 기계에는 완전히 읽을 수 있다는 것입니다. 이모티콘 스머글링을 방어하려면 표준 로그에 나타나는 렌더링된 시각적 텍스트만이 아니라 모든 입력의 원시 바이트 시퀀스를 검사해야 합니다. FireTail의 플랫폼은 원시 페이로드 데이터를 분석하여 숨겨진 페이로드를 식별하고 경고를 생성하여 보안 팀이 프롬프트를 차단하거나 수동 검토를 위해 결과 LLM 출력을 플래그할 수 있습니다. 이모티콘 스머글링을 잡는 핵심은 원시 데이터 레이어를 모니터링하는 것입니다. 인간 검토자는 기술적으로 눈에 보이지 않는 위협을 감지할 수 없기 때문입니다. 이것이 FireTail이 고객의 AI 경계를 강화하는 방법입니다.