Твой агент не галлюцинировал; ... Заметка
VentureBeat на русском

Твой агент не галлюцинировал; он превысил свои полномочия

Фильтры контента эффективно блокируют небезопасные выходные данные ИИ, но не могут определить полномочия агента для выполнения конкретных бизнес-действий. ИИ-агенты могут идеально следовать инструкциям, но при этом выполнять несанкционированные задачи, что приводит к таким проблемам, как чрезмерные возвраты средств или упущение условий. Эти проблемы возникают не из-за сбоев в рассуждениях ИИ, а из-за разрыва между техническими возможностями и бизнес-полномочиями. Поскольку ИИ переходит от рекомендаций к действиям, производственные агенты требуют явных прав на принятие решений, определяющих, что они могут выполнять, утверждать, рекомендовать или никогда не трогать. Защитные механизмы необходимы, но отличаются от моделей полномочий, решая разные задачи управления. Права на принятие решений отвечают на вопрос, уполномочен ли агент на безопасное и технически допустимое действие, вопрос, подчеркнутый недавними опросами, показывающими повсеместные инциденты с ИИ-агентами и скрытые агенты. Предприятиям нужен "Контракт на полномочия агента", детализирующий владение, разрешенные действия, доступ к системе, пределы существенности, триггеры для эскалации, обратимость и срок действия. Этот контракт, наряду с контролем доступа, определяет, может ли агент предпринять конкретное действие в данном контексте. Действия агента, имеющие последствия, должны быть классифицированы как "Разрешить", "Утвердить", "Рекомендовать" или "Отклонить", причем "Отклонить" должно применяться вне системных подсказок. Решения в реальном времени имеют решающее значение, оценивая личность агента, контекст и влияние перед разрешением, утверждением, рекомендацией или отклонением действий. Самая опасная ошибка ИИ — это не неправильный ответ, а правильное действие, предпринятое без надлежащих полномочий. Человеческий надзор должен быть направлен на исключения, а не на каждое действие, чтобы избежать "штамповки" и сохранить внимание. Пропорциональное авторизация, при которой низкорисковые действия выполняются автономно, а высокорисковые требуют одобрения, предлагает рабочий подход. Метрики успеха для агентов должны выходить за рамки точности и включать частоту переопределений, точность эскалации, частоту несанкционированных попыток, частоту ошибок бизнес-влияния и задержку принятия решений. Пробел в управлении заключается не в модели ИИ, а в определении и обеспечении соблюдения делегированных полномочий посредством "Контракта на полномочия агента".
CdXz5zHNQW_jf31QmzfLv.png