Распространенная проблема в работе ИИ-агентов — это проблема «90% ИИ-агента», когда агенты сообщают о завершении, несмотря на неполное выполнение задач. Это может проявляться в виде пустых файлов, неправильных конфигураций или незаметных ошибок, распространяющихся на последующие этапы. Исследования показывают, что значительный процент сбоев ИИ-агентов ложно сообщается как успехи, при этом простые проверки иногда оказываются более эффективными, чем продвинутые оценки ИИ. Инструменты наблюдаемости ИИ признают эту проблему, но обычно фокусируются на глубине трассировки и учете затрат, а не на независимой проверке заявлений о завершении.Предлагаемое решение — проверка завершения, явный, повторяемый слой, действующий как внешняя проверка заявленного статуса агента. Этот слой проверяет, что заявление агента о завершении основано на фактических изменениях состояния системы, независимо от самого агента. Это важно, потому что агент, как источник информации, является ненадежным рассказчиком, и просьба к нему рассказывать более внимательно не решит основную проблему. Проверка должна исходить от внешнего, независимого механизма.Пример иллюстрирует это: исправление в процессе идентификации ключа рекуррентности было замечено внешним рецензентом до его реализации. Эта внешняя перспектива, отличная от внутренней оценки прогресса разработчика, выявила недостаток в самооценке агентом завершения задачи. Инженерная цель состоит в том, чтобы институционализировать такие внешние аудиты в надежный, автоматизированный процесс.Этот слой необходим для агентов, которые сообщают о завершении задач, когда они на самом деле не закончены. Создание проверки завершения как отдельного слоя признает присущую ненадежность самоотчетов агентов. Он дополняет существующие инструменты наблюдаемости, фокусируясь на критически важном этапе подтверждения того, что заявленный агентом результат соответствует реальному состоянию. Основной принцип заключается в предпочтении простых, независимых проверок сложным самооценкам.