AI 펜테스팅에서 모델 메모리보다 증거가 더 중요한 이유
재현할 수 없는 AI 결과는 확정적인 결과라기보다는 부채로 간주됩니다. Darkmoon은 모든 결과에 정확한 명령과 원시 도구 출력을 첨부하여 인간 동료 검토를 가능하게 함으로써 이를 해결합니다. 기존 AI 보안 도구는 종종 신뢰도 점수와 텍스트 설명만 제공하는데, 이는 공격적인 보안에 충분하지 않습니다. 취약점을 확인한 특정 명령을 시연할 수 있는 능력은 보고서와 회의에서 결과를 방어하는 데 중요합니다. Darkmoon은 각 결과에 대해 실행된 명령, 원시 출력 및 이를 연결하는 추론을 저장합니다. 이 접근 방식은 결과를 재현 가능한 아티팩트로 변환하여 맹목적인 신뢰의 필요성을 제거합니다. 더 큰 모델은 오류를 줄일 수 있지만 완전히 제거하지는 못합니다. Darkmoon의 증거 추적은 인간이 남아있는 오류를 식별할 수 있도록 하여 핵심 설계 원칙으로 삼았습니다. 이 방법론은 검토 프로세스를 간소화하여 전체 재검증에서 증거 추적의 부분 검사로 전환합니다. 결과적으로 보고서는 모델 출력의 의역이 필요 없이 실제 데이터에서 자동으로 생성될 수 있습니다. 사용자는 오픈 소스 커뮤니티 에디션을 복제하고 실험실 환경에서 테스트하여 이 증거 추적을 직접 경험할 수 있습니다. 이 오픈 소스 도구는 펜테스터가 펜테스터를 위해 구축했으며 방법론에 대한 피드백을 환영합니다.