많은 AI 전문가들은 AI가 은밀하게 확산되는 치명적인 병원체를 만드는 데 기여할 수 있다는 우려를 사적으로 표명하고 있습니다. 이러한 우려는 강력한 탐지 및 예방 시스템이 구축되기 전에 고급 AI 모델이 악의적인 행위자들이 그러한 병원체를 개발하는 데 도움을 줄 수 있다는 믿음에서 비롯됩니다. 확실하지는 않지만, AI가 생물학적 취약점에 대한 이해를 향상시킴에 따라 이는 가능한 시나리오로 간주됩니다. 최근 MIT와 퀸즐랜드 대학교에서 272명의 연구원을 대상으로 실시한 연구에 따르면 2030년까지 AI의 위험한 능력이 생물학 무기 개발을 포함한 파국적인 결과로 이어질 확률은 12%로 나타났습니다. 완화 노력이 없을 경우 이 위험은 20% 이상으로 상승합니다. 주요 AI 기업의 리더들은 AI에서 파생된 생물학 무기에 대해 공개적으로 경고하고 안전 조치를 촉구했습니다. 연방 정부와 업계는 오용을 방지하기 위해 새로운 AI 모델을 검토하는 방법에 대해 논의하고 있으며, 개발자들이 악의적인 행위자들을 차단할 수 있는 안전 장치를 구축할 수 있기를 희망하고 있습니다. 그러나 규제 감독 외부에서 조정될 수 있는 빠르게 발전하는 오픈 소스 모델의 경우 악의적인 사용을 방지하는 것은 특히 어렵습니다. 두려워하는 시나리오는 AI가 인간의 생물학적 취약점을 지도화하고, 기존 병원체의 유전적 변형을 식별하며, 실행 가능한 후보를 생성하는 것을 포함합니다. 그런 다음 이러한 후보는 접근 가능한 유전자 편집 도구를 사용하여 합성될 수 있으며, 이는 격리가 극도로 어려워질 때까지 탐지되지 않고 확산되는 새로운 병원체로 이어질 수 있습니다. 이는 새로운 공격 능력이 등장하는 것보다 더 빠르게 효과적인 탐지 및 예방 방법을 개발해야 하는 시급한 필요성을 강조하며, AI 안전에 관한 오픈 소스 논쟁의 중요성을 강조합니다.