코드 모드가 실제로 절약하는 것을 측정했습니다: 65,... 노트

코드 모드가 실제로 절약하는 것을 측정했습니다: 65,500 토큰 대 226

Cloudflare의 "코드 모드"는 LLM이 외부 서비스(MCP)와 직접 상호 작용하는 것보다 상호 작용하는 코드를 생성하는 데 뛰어나다는 것을 시사합니다. 한 테스트에서는 LLM이 1,000 토큰만으로 2,500개의 엔드포인트를 가진 API를 생성할 수 있음을 보여주었습니다. 이후 작성자는 개인적인 작업을 수행했습니다. 즉, 진행 중인 모든 Linear 티켓을 가져와 그 안에서 "mcp" 발생 횟수를 세는 것이었습니다.이 작업은 도구 호출을 통해 수행될 수 있으며, 40번의 순차적인 모델 상호 작용과 65,000개 이상의 토큰이 필요합니다. 대안으로, 10줄짜리 스크립트는 약 226개의 토큰으로 단일 상호 작용에서 동일한 작업을 완료했습니다. 이는 컨텍스트 크기와 왕복 횟수 모두에서 상당한 절약을 의미하며, 더 빠른 실행으로 이어집니다.비용 외에도 스크립트는 더 나은 정확도를 제공했습니다. LLM의 계산은 근사치였지만, 스크립트는 정확한 결과를 제공했습니다. 코드 모드 채택의 주요 장애물은 에이전트가 이미 로그인되어 있을 때 각 서비스에 대해 필요한 재인증입니다.이를 해결하기 위해 작성자는 기존 자격 증명을 활용하는 agent-codemode를 만들었습니다. 이 도구는 타입이 지정된 클라이언트를 사용하여 다중 서버 스크립팅을 가능하게 하고 반복적인 인증의 필요성을 제거합니다. 핵심 혁신은 에이전트가 기존 자격 증명을 원활하게 사용할 수 있도록 하는 것입니다.이 도구에는 에이전트 구성에 추가할 수 있는 스킬도 포함되어 있어 기본 사용을 장려합니다. 주로 macOS에서 테스트되었지만, Linux 및 Windows 지원도 부분적으로 가능합니다. 사용자의 세션에서 시작된 모든 프로세스는 이러한 자격 증명에 액세스할 수 있다는 점에 유의해야 합니다.