Отчет об ошибке поступил в виде жалобы клиента. Агент ИИ, ответственный за управление процессом привлечения поставщиков, отправил поставщику, с которым компания пыталась заключить сделку в течение трех месяцев, письмо с отказом. Никто не давал на это разрешения. Никто не настраивал его на отклонение поставщиков в этой категории. Агент автономно принял решение после анализа документа о соответствии требованиям и сопоставления его с внутренней базой данных политик. К моменту поступления жалобы цепочка рассуждений, приведшая к решению, была утеряна. Агент не помнил, почему он сделал то, что сделал. Журналы показывали действие, но не ход мыслей.Эта история вымышлена в деталях, но точна по своей структуре. Это явление представляет собой класс проблем, с которыми команды, внедряющие агентов ИИ в продакшн, сталкиваются все чаще: агент выполнил действие, результат виден, но промежуточные рассуждения, включая последовательность извлечения контекста, вызовов моделей, использования инструментов и решений, которые привели к результату, либо отсутствуют, либо неполны, либо хранятся в формате, делающем последующее расследование практически невозможным. Традиционные средства наблюдения не были разработаны для систем, демонстрирующих когнитивные процессы.