보안 팀은 사이버 공격을 조사하는 데 사용하는 AI 모델이 협조를 거부하는 새로운 문제에 직면해 있습니다. 이는 강력한 AI 모델에 대한 엄격한 안전 가드레일이 방어자를 조사 중에 차단하기 때문에 발생하고 있습니다. 최근 AI 코딩 에이전트인 OpenCode가 침해되어 공격자들이 OpenAI, Anthropic, Google과 같은 서비스의 API 키를 훔칠 수 있게 되었습니다. 이 침해는 OpenCode의 시스템을 지속적으로 표적으로 삼았던 대규모 증류 공격의 결과였습니다. 이 침해를 조사하는 동안 OpenCode는 문의가 잠재적으로 악의적인 코드에 초점을 맞추었음에도 불구하고 최전선 AI 모델이 요청을 거부하기 시작했다는 것을 발견했습니다. 이러한 제한을 우회하기 위해 OpenCode는 제한이 적은 모델을 제공하는 OpenAI의 Daybreak Blue 프로그램에 액세스했습니다. 이 사건은 내장된 제한이 있는 독점 AI와 더 많은 제어를 제공하는 오픈 웨이트 대안 사이에서 결정해야 하는 사이버 보안 팀의 딜레마를 강조합니다. Hugging Face 또한 의심스러운 활동을 조사하는 동안 유사한 제한에 직면했으며 오픈 웨이트 모델을 선택했습니다. AI 회사들은 악의적인 행위자가 기능을 남용하는 것을 방지하기 위해 강력한 모델에 대한 액세스를 제한하는 것이 필요하다고 주장합니다. 사이버 보안 팀은 이제 신속한 AI 기반 방어의 필요성과 오용을 방지하기 위해 설계된 제한 사항 사이의 균형을 맞춰야 합니다. 진화하는 환경은 이러한 AI 기능이 미래에 어떻게 조절될지에 대한 신중한 고려가 필요합니다.