DEV Community на русском
Подписаться
Почему доказательства важнее памяти модели в тестировании на проникновение ИИ
Результаты ИИ, которые нельзя воспроизвести, считаются обязательствами, а не окончательными результатами. Darkmoon решает эту проблему, добавляя точные команды и сырые данные инструментов к каждому результату, что позволяет проводить проверку человеком. Традиционные инструменты безопасности ИИ часто предоставляют только оценку достоверности и текстовое описание, что недостаточно для наступательной безопасности. Возможность продемонстрировать конкретную команду, подтверждающую уязвимость, имеет решающее значение для защиты результатов в отчетах и на встречах. Darkmoon хранит выполненную команду, ее сырые данные и связывающую их логику для каждого результата. Этот подход превращает результаты в воспроизводимые артефакты, исключая необходимость слепого доверия. Хотя более крупные модели могут уменьшить ошибки, они не устраняют их полностью. След доказательств Darkmoon позволяет людям выявлять любые оставшиеся ошибки, что является основным принципом проектирования. Этот метод упрощает процесс проверки, смещая его от полной перепроверки к выборочному контролю следа доказательств. Следовательно, отчеты можно автоматически генерировать из реальных данных, минуя необходимость перефразировать вывод модели. Пользователи могут испытать этот след доказательств на собственном опыте, клонировав открытую версию Community Edition и протестировав ее в лабораторной среде. Этот открытый инструмент создан тестировщиками безопасности для тестировщиков безопасности и приветствует обратную связь по своей методологии.