Многие эксперты в области искусственного интеллекта в частном порядке выражают обеспокоенность по поводу потенциала ИИ в создании незаметно распространяющегося, смертельного патогена. Эта тревога проистекает из убеждения, что передовые модели ИИ могут помочь злоумышленникам в разработке такого патогена до того, как будут созданы надежные системы обнаружения и предотвращения. Хотя это и не является абсолютной уверенностью, это считается правдоподобным сценарием по мере того, как ИИ улучшает свое понимание биологических уязвимостей. Недавнее исследование Массачусетского технологического института и Университета Квинсленда, в котором приняли участие 272 исследователя, показало 12% вероятность того, что опасные возможности ИИ приведут к катастрофическим последствиям к 2030 году, включая создание биологического оружия. Этот риск возрастает до более чем 20% без мер по смягчению последствий. Руководители крупных компаний, занимающихся разработкой ИИ, публично предупреждали о биооружии, созданном с помощью ИИ, и призывали к принятию мер безопасности. Федеральное правительство и промышленность обсуждают, как проверять новые модели ИИ для предотвращения злоупотреблений, надеясь, что разработчики смогут создать защитные механизмы для блокировки злоумышленников. Однако предотвращение злонамеренного использования является сложной задачей, особенно с быстро развивающимися моделями с открытым исходным кодом, которые могут быть адаптированы вне нормативного контроля. Опасаемый сценарий включает в себя картирование ИИ биологических уязвимостей человека, выявление генетических изменений в существующих патогенах и генерацию жизнеспособных кандидатов. Затем их можно синтезировать с использованием доступных инструментов редактирования генов, что приведет к появлению нового патогена, который будет распространяться незамеченным до тех пор, пока сдерживание не станет чрезвычайно трудным. Это подчеркивает насущную необходимость разработки эффективных методов обнаружения и предотвращения быстрее, чем появятся новые наступательные возможности, и подчеркивает важность дискуссии об открытом исходном коде в отношении безопасности ИИ.