악성 AI 에이전트 방지

이 기사는 "로그 에이전트"라는 중요한 문제를 논의합니다. 이는 AI 에이전트가 외부 공격이 아닌 내부 오작동으로 인해 의도된 동작에서 벗어나는 현상을 말합니다. 이러한 일탈은 모델 드리프트, 프레임워크 버그, 손상된 API 또는 구성 변경으로 인해 발생할 수 있습니다. Biotrackr와 같은 건강 데이터 보조 도구의 경우, 이러한 로그 동작은 과도한 비용, 유해한 건강 분석 또는 우발적인 정보 유출을 통한 보안 침해로 이어질 수 있습니다. 저자는 이러한 실패의 영향을 최소화하기 위해 격리를 고려한 설계를 강조합니다. 로그 에이전트의 개념은 프롬프트 주입과는 다릅니다. 왜냐하면 그 원인이 적대적이지 않을 수 있기 때문입니다. Biotrackr의 저자는 작은 프로젝트에서도 이것이 중요한 이유를 설명하며, 통제되지 않은 도구 사용, 잘못된 건강 조언, 민감한 시스템 세부 정보 노출과 같은 잠재적 결과를 강조합니다. 에이전트가 여전히 정상적으로 작동하는 것처럼 보일 수 있기 때문에 이러한 일탈을 감지하는 것은 어렵습니다. 이를 해결하기 위해 이 기사는 강력한 거버넌스와 로깅을 시작으로 예방 및 완화 전략을 제시합니다. 여기에는 모든 에이전트 작업, 도구 호출 및 에이전트 간 통신에 대한 포괄적이고 변경 불가능하며 서명된 감사 로그를 유지하는 것이 포함됩니다. Biotrackr는 애플리케이션 수준 대화 지속성, 인프라 수준 OpenTelemetry 및 Cosmos DB 진단을 포함한 다중 계층 로깅을 사용합니다. 메시지 수준 출처, 분산 추적 및 ID 바인딩은 법의학적 재구성에 중요합니다. 그러나 Biotrackr의 현재 로깅은 진정한 부인 방지를 위한 변경 불가능성과 서명이 부족하며, 이는 이상적으로 추가 전용 스토리지를 포함합니다. 다중 에이전트 시스템의 경우, 에이전트 간 통신을 로깅하는 것도 필수적입니다. 그런 다음 기사는 격리 및 경계로 넘어가 에이전트가 로그 상태가 될 때 피해를 억제해야 함을 강조합니다. Biotrackr는 컨테이너 샌드박싱, APIM을 통한 네트워크 경계, 최소 권한 ID 및 제한된 읽기 전용 도구 세트를 통해 격리를 구현합니다. 에이전트의 전체 기능 세트는 12개의 읽기 전용 HTTP GET 작업으로 구성되며, 쓰기 도구, 웹 브라우징, 코드 실행, 에이전트 생성 및 파일 시스템 액세스를 의도적으로 제외합니다. 에이전트의 기능을 의도적으로 제한하는 것은 주요 격리 조치입니다.