Перспективы облачного CISO: Недавние достижения в использовании инструментов ИИ злоумышленниками

Google Threat Intelligence сообщает о росте злоупотреблений ИИ злоумышленниками, переходящими от повышения производительности к активному развертыванию вредоносных программ. Новая вредоносная программа, PROMPTSTEAL, использует LLM для генерации команд для кражи данных, что является первым наблюдаемым запросом LLM в реальных операциях. Злоумышленники используют методы социальной инженерии, чтобы обойти меры безопасности ИИ, такие как Gemini, выдавая себя за исследователей для получения конфиденциальной информации. Появляется незаконный рынок инструментов ИИ, предлагающий инструменты для фишинга, вредоносных программ и исследования уязвимостей, снижая барьеры для менее искушенных злоумышленников. Государственные группы из Северной Кореи, Ирана и Китая используют ИИ для разведки, фишинга, разработки C2 и кражи данных. Google противодействует этим угрозам, отключая вредоносные учетные записи и улучшая свои модели ИИ, чтобы противостоять злоупотреблениям. Компания подчеркивает свою приверженность ответственной разработке ИИ посредством мер безопасности и постоянного тестирования моделей. Недавние обновления включают практики моделирования угроз, подготовку к квантово-безопасным вычислениям, HTTPS по умолчанию для Chrome и защиту от мошенничества на базе ИИ для Android. Наконец, мониторинг привилегированных учетных записей и информационные операции в поддержку России выделены как области, вызывающие беспокойство.