Организации все чаще развертывают автономных ИИ-агентов с широким доступом к производственным системам и конфиденциальным данным. Эти агенты, несмотря на свою эффективность, представляют значительные риски безопасности из-за потенциальных уязвимостей, таких как инъекция подсказок и недетерминизм больших языковых моделей. Опора исключительно на системные подсказки для обеспечения безопасности недостаточна, поскольку они предлагают лишь мягкие границы и не имеют детерминированного принуждения. Для решения этой проблемы Microsoft представила Agent Governance Toolkit (AGT) — решение с открытым исходным кодом для управления агентами производственного уровня.AGT действует как слой перехвата между процессом принятия решений ИИ-агентом и фактическим выполнением инструментов. Он обеспечивает соблюдение детерминированных политик, предотвращая несанкционированные или деструктивные операции до их возникновения. В отличие от традиционных мер безопасности, которые не могут проверять последующие намерения, AGT проверяет и контролирует действия агента. Такой подход имеет решающее значение, учитывая развивающийся ландшафт угроз, включая OWASP Top 10 уязвимостей для агентивного ИИ и нормативные акты, такие как Закон ЕС об искусственном интеллекте.Agent Governance Toolkit состоит из нескольких компонентов, включая механизм принудительного применения политик, слой криптографической идентификации, изоляцию во время выполнения и журналирование с защитой от несанкционированного доступа. Он работает как модульная плоскость управления, отделяя принудительное применение политик от фреймворков агентов. AGT поддерживает несколько SDK и интегрируется с популярными агентивными фреймворками, позволяя модернизировать существующие системы.Практическая демонстрация показывает принудительное применение политик AGT в реальном времени на Python. Определяя правила в простом YAML, разработчики могут обернуть функции инструментов для автоматического перехвата и отказа в запрещенных действиях. Это гарантирует, что такие операции, как "удаление", структурно невозможны для выполнения без надлежащего разрешения, независимо от логики большой языковой модели. AGT также предоставляет команду проверки для генерации отчетов о соответствии и значков, предоставляя доказательства состояния безопасности для проверки.