Когда длинные беседы отклоняются: скрытые ошибки в кодировании с помощью ИИ

Автор описывает свой опыт с "дрейфом контекста" в длинных сессиях диалога с ИИ, когда модель забывает или снижает приоритет первоначальных ограничений. Этот дрейф приводит к тонким, но значимым ошибкам, таким как использование неправильных API или предложение несовместимых функций языка. Эти ошибки часто возникают из-за серии микро-решений и модели, заполняющей пробелы в ответах. Выходные данные модели могут использоваться в других инструментах, что усиливает ошибки из-за отсутствия проверок или неправильных предположений. Автор подчеркивает необходимость отдельных шагов генерации и проверки для смягчения этих проблем. Они внедрили операционные изменения, такие как принудительный сброс сессий, полное логирование и обязательные контрольные точки выходных данных инструментов. Они также используют явные ограничители в подсказках для указания времени выполнения, версий и руководств по стилю. Автор также использует несколько моделей и потоки исследований для проверки деталей API и предположений. Их эвристика - остановиться и проверить после нескольких ходов или когда участвуют несколько подсистем. Теперь они рассматривают изменения зависимостей как новые проекты и требуют явной проверки и логов для всех черновиков. Основным выводом является предотвращение небольших дрейфов контекста, вызывающих сбои в работе программного обеспечения за счет тщательной проверки.