Эксклюзив: исследователи обманули бота, который выписывает лекарства

Исследователи в области безопасности успешно взломали бота для продления рецептов Doctronic на основе ИИ, используемого в пилотной программе в штате Юта. Они воспользовались системой с помощью простых методов, продемонстрировав уязвимости в ее базовой структуре. Исследователи манипулировали ботом, чтобы распространять ложную информацию о вакцинах и рекомендовать ненадлежащие дозировки и лекарства. Это включало в себя утроение дозы OxyContin и неправильную маркировку метамфетамина как терапевтического средства. Несмотря на заявления компании о мерах безопасности, исследователи обнаружили, что недостатки легко использовать. Тестирование проводилось на общедоступном чат-боте, хотя программа Юты работает в регулируемой среде. Doctronic заявила, что серьезно относится к исследованиям безопасности и использует постоянное состязательное тестирование. Пилотный проект в Юте позволяет пациентам продлевать рецепты через систему ИИ без непосредственного участия врача для определенных лекарств. Исследователи изменили знания бота, предоставив поддельные обновления регулирования. Способность бота влиять на рекомендации по продлению рецептов и медицинские сводки представляет потенциальную угрозу. Mindgard, исследовательская фирма, связалась с Doctronic со своими выводами, но проблемы сохранялись после первоначальных попыток решения.