Разбираем 8 инструментов безопасности ИИ с открытым исходным кодом на Black Hat Europe 2025 Arsenal

Сближение ИИ и безопасности становится все более очевидным, о чем свидетельствуют восемь инструментов с открытым исходным кодом, представленных на Black Hat Europe Arsenal. AI-Infra-Guard (AIG) оценивает риски безопасности ИИ путем сканирования инфраструктуры и уязвимостей больших языковых моделей (LLM), включая оценки джейлбрейка. Harbinger — это платформа для красной команды, управляемая ИИ, которая автоматизирует операции, помогает принимать решения и генерирует отчеты. MIPSEval специально оценивает безопасность диалогов LLM, выявляя проблемы в многоходовых взаимодействиях. Patch Wednesday использует частную LLM для автоматического создания патчей уязвимостей на основе описаний CVE и кода. Red AI Range (RAR) предлагает виртуальную среду для отработки стратегий атаки и защиты безопасности ИИ. OpenSource Security LLM фокусируется на тонкой настройке небольших LLM для задач безопасности, таких как моделирование угроз и анализ кода. SPIKEE — это набор инструментов, предназначенный для оценки и использования уязвимостей внедрения промптов в LLM. Наконец, SQL Data Guard обеспечивает безопасность взаимодействия LLM с базами данных для предотвращения утечек данных, работая в режиме реального времени или через MCP.