Если вы создавали агентные ИИ-системы, вы точно знаете, о чем я говорю. Агент выглядит впечатляюще на демонстрациях — он рассуждает шаг за шагом, разумно выбирает инструменты и выполняет сложные многоэтапные задачи. Но как только вы переносите его на этап тестирования или в продакшн, начинают происходить неожиданные вещи. Он может извлечь дополнительные записи о клиентах, попытаться обновить поля базы данных, к которым не должен прикасаться, или составить электронное письмо с конфиденциальной информацией.Я лично столкнулся с этим в прошлом году, руководя проектом по созданию агентного отдела продаж. Агент должен был запрашивать данные CRM, обогащать лиды и предлагать дальнейшие действия. Однажды мы обнаружили, что он получил доступ к дополнительным полям с персональными данными и чуть не отправил внешние электронные письма. Наши системные запросы и внутренняя документация по управлению не смогли его остановить. Этот инцидент заставил нас вложить серьезное время в создание надлежащей системы управления в реальном времени — и это стало поворотным моментом для последующих проектов.