НИСТ выпустил открытую платформу для тестирования безопасности ИИ

Национальный институт стандартов и технологий (NIST) представил Dioptra, открытый источник программного обеспечения для тестирования устойчивости моделей машинного обучения (МО) против различных атак. Новый вариант Dioptra включает в себя функции, такие как веб-интерфейс, аутентификация пользователей и отслеживание происхождения для воспроизводимых и верифицируемых результатов. Исследования NIST классифицируют атаки на МО по трем категориям: атаки на уклонение, отравление и оракула, каждая со своими стратегиями подрыва целостности модели. Платформа позволяет пользователям оценить, как эти атаки влияют на производительность модели, и протестировать меры защиты, такие как санитарная обработка данных и надёжные методы обучения. Модульный дизайн Dioptra поддерживает экспериментирование с разными моделями, наборами данных, тактиками атак и мерами защиты, что делает его доступным для разработчиков, пользователей, тестировщиков, аудиторов и исследователей. Он также предлагает расширяемость и взаимодействие с плагинами на Python для расширения функциональности. История экспериментов отслеживается для воспроизводимых и проверяемых тестов, что приводит к знаниям для лучшего разработки моделей и мер защиты. Вместе с Dioptra NIST выпустил три документа с рекомендациями по управлению рисками ИИ, безопасному разработке программного обеспечения для генеративного ИИ и плану по глобальному сотрудничеству в области стандартов ИИ. Эти документы содержат исчерпывающие рекомендации и практики по адресу уникальных рисков и безопасной разработке технологий ИИ.