Команды безопасности сталкиваются с новой проблемой: модели искусственного интеллекта, которые они используют для расследования кибератак, отказываются сотрудничать. Это происходит потому, что строгие меры безопасности на мощных моделях ИИ блокируют защитников в середине расследования. Недавно OpenCode, агент по написанию кода на базе ИИ, был скомпрометирован, что позволило злоумышленникам украсть ключи API для таких сервисов, как OpenAI, Anthropic и Google. Взлом стал результатом масштабной атаки дистилляции, которая постоянно нацеливалась на системы OpenCode. Во время расследования этого взлома OpenCode заметил, что передовые модели ИИ начали отклонять запросы, поскольку расследование сосредоточилось на потенциально вредоносном коде, несмотря на оборонительную позицию OpenCode. Чтобы обойти эти ограничения, OpenCode получил доступ к программе OpenAI Daybreak Blue, предлагающей модели с меньшими ограничениями. Этот инцидент подчеркивает дилемму для команд кибербезопасности, которые выбирают между проприетарным ИИ со встроенными ограничениями и альтернативами с открытым весом, предлагающими больший контроль. Hugging Face также столкнулся с аналогичными ограничениями при расследовании подозрительной активности, выбрав модель с открытым весом. Компании, занимающиеся ИИ, утверждают, что ограничение доступа к мощным моделям необходимо для предотвращения злоупотребления их возможностями злоумышленниками. Команды кибербезопасности теперь должны найти баланс между необходимостью быстрого реагирования с помощью ИИ и ограничениями, разработанными для предотвращения злоупотреблений. Развивающаяся ситуация требует тщательного рассмотрения того, как эти возможности ИИ будут регулироваться в будущем.