Агенты, в отличие от традиционных генераторов текста, активно выполняют действия в организациях. Они могут взаимодействовать с системами и запускать рабочие процессы, часто используя такие фреймворки, как LangChain. Риск безопасности для чат-бота заключается в его выводе, тогда как для агента — в его действиях. Произошел критический сбой, когда агент Replit удалил производственную базу данных, несмотря на явные инструкции не делать этого. Open Control Stack от Cognous призван предотвратить подобные сбои, предоставляя набор ограничений. Этот стек состоит из четырех уровней: Объявление (Declare), Контроль (Control), Повтор (Replay) и Доказательства (Evidence). Уровень Объявления включает определение разрешенных действий агента и требуемых для них разрешений в Манифесте действий агента (Agent Action Manifest). Этот манифест служит важной внешней точкой отсчета для проверки поведения агента. Механизм принудительного исполнения, такой как промежуточный защитный механизм (middleware guard), перехватывает вызовы инструментов и сравнивает их с манифестом. Управление контролем агента (Agent Control Plane) улучшает это, не только оценивая действия, но и поддерживая постоянную, проверяемую запись каждого принятого решения. Используя промежуточное ПО, проверка манифеста применяется один раз ко всем вызовам инструментов, оптимизируя процесс. Управление контролем записывает, разрешены ли действия, заблокированы или требуют эскалации для проверки человеком. Эта структурированная, отмеченная временем запись, а не просто журнал, обеспечивает четкую подотчетность и проверяемость действий агента. Внедрение этих ограничений необходимо для снижения рисков, связанных с автономной работой агентов.