Инженерия контекста: Как мы работаем вокруг проблемы золотой рыбки

Инженерия контекста определяет, какую информацию использует большая языковая модель (LLM) и когда, что влияет на ее полезность. Суммаризация, обычный подход, сжимает контекст, отбрасывая детали, что приводит к повторному извлечению информации при отладке или уточнении. Эта суммаризация испытывает трудности с итеративными задачами, что заставляет агентов повторно читать файлы, расточая токены и влияя на надежность. Существуют и другие подходы, такие как RAG, кэширование, агенты и тонкая настройка, каждый из которых имеет различные компромиссы в плане стоимости, скорости и точности. Хорошая инженерия контекста требует понимания структуры кода, динамического принятия решений и точности. Плохая инженерия контекста приводит к увеличению затрат, снижению скорости и ненадежным результатам, особенно при кодировании с помощью ИИ. Пользователи должны следить за повторным извлечением информации, подбирать инструменты под задачи, спрашивать о стратегиях контекста, поддерживать сосредоточенность сессий и предоставлять явный контекст. Автор разрабатывает инструменты для улучшения инженерии контекста путем понимания структуры кода.