Взлом вашей жизни с помощью ИИ... Заметка

Взлом вашей жизни с помощью ИИ может привести к вашему взлому: как платформы оркестрации ИИ по своей сути доставляют удаленное выполнение кода

Автор здесь. Я проверил NocoBase, Flowise, Langflow, Dify, Activepieces, Kestra и Airflow и обнаружил 14 уязвимостей. Каждая платформа унаследовала одно и то же предположение: любой, кто может взаимодействовать с рабочим процессом, может выполнять код на хосте. Это приемлемо для инструмента разработки на вашем ноутбуке, но неприемлемо для многопользовательского HTTP-сервиса с неаутентифицированным вебхуком. Цепочка, на которую я бы в первую очередь обратил внимание, — это цепочка Flowise (раздел 2.2): неаутентифицированный запрос → инъекция подсказки → LLM выдает Python → блок из 38 шаблонов регулярных выражений пропускает его, потому что опасная библиотека была предварительно импортирована до того, как модели был задан какой-либо вопрос → RCE. Два поставщика закрыли свои отчеты как "работающие как задумано", и я постарался справедливо представить их позицию. Это исследование также было представлено на DEFCON 34, но теперь доступно публично. Буду рад ответить на вопросы. Полный технический отчет доступен здесь: https://www.endorlabs.com/learn/how-ai-orchestration-platforms-ship-rce-by-design, отправлено пользователем /u/p80n-sec