AI 메모리 보안 청사진 노트

AI 메모리 보안 청사진

프론티어 대규모 언어 모델은 RAG 시스템을 통해 상당한 조작이 가능합니다. 소수의 악성 문서 5개만 대규모 코퍼스에 주입해도 연구진은 거의 항상 LLM 출력을 제어할 수 있었습니다. PoisonedRAG로 알려진 이 공격은 모델 또는 검색기 코드에 대한 직접적인 접근을 우회합니다. 공격자는 단순히 색인화되는 악성 문서를 도입합니다. 이후 연구인 CorruptRAG는 단 하나의 악성 문서로도 높은 성공률을 달성할 수 있음을 보여주었습니다. 이는 다수의 문서 감염보다 소수의 문서 감염이 더 현실적이므로 위협을 더욱 현실적으로 만듭니다. 코퍼스의 0.04%와 같이 적은 비율의 문서가 감염되어도 98% 이상의 공격 성공으로 이어질 수 있습니다. 이러한 감염 공격은 상당수의 경우 시스템 오류를 유발할 수 있습니다. 이러한 결과는 단순히 정확도를 높이기 위해 RAG를 추가하는 것이 위험 부담이 없는 일이 아님을 강조합니다. 엔터프라이즈 RAG 시스템에는 강력한 보안 조치가 필수적입니다.