Я измерил, сколько на самом деле сохраняет режим кода: 65 500 токенов против 226.
"Режим кода" Cloudflare предполагает, что LLM преуспевают в генерации кода для взаимодействия с внешними сервисами (MCP), а не в прямом их вызове. Тест показал, что LLM может сгенерировать API с 2500 конечными точками, используя всего 1000 токенов. Затем автор выполнил личную задачу: получение всех текущих билетов Linear и подсчет вхождений "mcp" в них.Эту задачу можно было бы выполнить с помощью вызовов инструментов, что потребовало бы 40 последовательных взаимодействий с моделью и более 65 000 токенов. Альтернативно, скрипт из десяти строк выполнил то же самое за одно взаимодействие примерно с 226 токенами. Это представляет собой значительную экономию как по размеру контекста, так и по количеству раундов, что приводит к более быстрому выполнению.Помимо стоимости, скрипт обеспечил превосходную точность. В то время как подсчет LLM был приблизительным, скрипт дал точные результаты. Основным препятствием для внедрения режима кода является повторная аутентификация, требуемая для каждого сервиса, когда агент уже вошел в систему.Для решения этой проблемы автор создал agent-codemode, который использует существующие учетные данные. Этот инструмент позволяет создавать скрипты для нескольких серверов с типизированными клиентами и устраняет необходимость в повторной аутентификации. Ключевым нововведением является возможность для агентов беспрепятственно использовать ранее существовавшие учетные данные.Инструмент также включает в себя навык, который можно добавить в конфигурацию агента, поощряя его использование по умолчанию. Хотя в основном он тестировался на macOS, поддержка Linux и Windows частично доступна. Важно отметить, что любой процесс, запущенный из сеанса пользователя, может получить доступ к этим учетным данным.
agent-codemode, который использует существующие учетные данные. Этот инструмент позволяет создавать скрипты для нескольких серверов с типизированными клиентами и устраняет необходимость в повторной аутентификации. Ключевым нововведением является возможность для агентов беспрепятственно использовать ранее существовавшие учетные данные.Инструмент также включает в себя навык, который можно добавить в конфигурацию агента, поощряя его использование по умолчанию. Хотя в основном он тестировался на macOS, поддержка Linux и Windows частично доступна. Важно отметить, что любой процесс, запущенный из сеанса пользователя, может получить доступ к этим учетным данным.