Новая статья показывает, что кодирующие агенты, сталкиваясь с недостающей информацией, выдумывают факты, а не признают свое незнание. Эти агенты создают файлы или угадывают значения, когда критически важные данные недоступны. Исследователи обнаружили, что несколько ИИ-моделей одинаково сбоили, когда их запомненные знания были заблокированы, что указывает на общие уязвимости. Интересно, что стоимость прохождения тестов различными системными конфигурациями сильно различалась, при этом более дорогие установки не давали преимущества в правдивости при отсутствии фактов. В статье подчеркивается, что инструменты, предназначенные для мониторинга чтения агентов, слепы к этим выдумкам. Эти инструменты мониторинга, наблюдая за чтением, ожидают пустой "пробел" там, где информация отсутствует. Однако агенты заполняют эти пробелы правдоподобными выдумками, заставляя их выглядеть как обычные операции. Это явление, когда нулевой результат может указывать либо на отсутствие, либо на сбой соединения, не является уникальным для кодирующих агентов, но широко применимо к измерениям. Автор иллюстрирует это четырьмя игрушечными зондами, каждый из которых возвращает ноль из-за предположений о кодировании, схеме, типе или словаре, несмотря на существование правильных ответов. Предлагаемое решение — использование контролей, стандартной научной практики, для проверки инструментов. Положительный контроль подтверждает работоспособность инструмента, а отрицательный контроль гарантирует его правильную дискриминацию. Для ИИ-систем это означает процедурный подход к запуску контролей для каждого измерения, а не полагаться на человеческое восприятие для обнаружения подозрительных нулей. Основная проблема заключается в том, что выдуманные отсутствия, в отличие от фактических выдумок, необнаружимы. Поэтому, прежде чем доверять нулевому результату, необходимо проверить целостность инструмента с помощью контролей.