특정 사실에 대해 LLM 모델을 손상시키는 공격 - 파... 노트

특정 사실에 대해 LLM 모델을 손상시키는 공격 - 파일 변경 없음, 프로세스 없음, 네트워크 없음. 스캔할 것도 없고, 그래도 탐지할 수 있습니다.

악의적인 모델은 대부분의 주제에 대해 완벽하게 정확하도록 설계될 수 있지만, 특정 중요 주제에 대해서는 의도적으로 잘못된 정보를 제공할 수 있습니다. 이러한 표적화된 부정확성은 의료 복용량, 법적 사실, 개인 데이터 또는 시스템 안전 구성과 같은 중요한 정보를 포함할 수 있습니다. 대부분의 올바른 응답은 이 단일 오류 지점을 숨겨 탐지를 어렵게 만들 것입니다.이 공격은 디스크에 전통적인 디지털 포렌식 흔적을 남기거나 체크포인트 해시에 영향을 주지 않고 작동합니다. 새로운 프로세스, 자식 프로세스, 소켓 또는 메모리 매핑을 생성하지 않습니다. 대신, 신뢰할 수 있는 종속성을 활용하고 기존의 신뢰할 수 있는 프로세스 내에서 GPU 메모리 내에서 완전히 실행됩니다.프로세스 동작을 모니터링하도록 설계된 표준 보안 제어는 보이는 시스템 활동이 변경되지 않으므로 정상적인 모델 작업만 보게 됩니다. 이 공격 벡터는 현재 보안 스택의 근본적인 사각지대를 악용합니다. 이것은 가상적인 위협이 아닙니다. 전달 메커니즘은 PyPI와 같은 플랫폼에서 볼 수 있는 실제 공급망 침해를 반영합니다. 연구원들은 이 공격을 처음부터 끝까지 성공적으로 재현했습니다. 또한 거의 모니터링되지 않는 영역에서 발견할 수 있는 공격으로 인한 미묘한 지문을 식별했습니다. 공격 및 탐지에 대한 자세한 내용은 연결된 설명에서 제공됩니다.