에이전트 구성을 수정하기 전에 프롬프트 토큰 사용량, 특히 도구 스키마에 대한 할당을 이해하는 것이 중요합니다. 저자는 대부분의 팀이 소유권 부족으로 인해 이러한 기본적인 질문에 답할 수 없다고 강조합니다. Pi 1.0은 지연된 도구 로딩과 Codemode를 도입했으며, 이는 도구 가시성을 도구별 설정으로 전환하는 기능으로 중요한 변화입니다. 이전에는 Pi가 MCP를 거부했지만, 버전 1.0은 도구 노출에 대한 메타데이터의 필요성으로 인해 네이티브 지원을 추가했습니다. 이 메타데이터는 도구가 모델에 직접 표시되는지, 요청 시 로드되는지, 또는 Codemode에서만 호출 가능한지를 결정합니다.도구 스키마는 비용이 발생하며, 관련 여부에 관계없이 모든 요청에서 시스템 프롬프트 또는 도구 블록의 토큰을 소비합니다. 이 비용은 재정적 지출, 모델 주의력 소모, 재현성 감소로 나타납니다. 한 공급업체의 예시는 이러한 변경으로 인해 요청의 프롬프트 토큰이 약 40% 감소하는 것을 보여줍니다. Pi의 새로운 메타데이터는 도구를 직접 노출, 지연 로딩 또는 Codemode 전용으로 설정할 수 있도록 합니다. 직접 노출은 자주 사용되는 도구에, 지연 로딩은 드물게 사용되는 도구에, Codemode 전용은 출력 필터링이 필요하거나 도구 조합에 사용됩니다.모델이 샌드박스 내에서 도구를 호출하는 코드를 작성하는 Codemode 접근 방식은 컨텍스트 창에 들어가는 것을 변경하기 때문에 특히 흥미롭습니다. 그러나 저자는 Codemode가 서버가 구조화된 데이터 대신 비효율적으로 텍스트 블롭을 반환하는 서버 측 문제를 해결하지 못한다고 경고합니다. 조정 전에 도구를 로드한 경우와 로드하지 않은 경우의 콜드 스타트 프롬프트 토큰을 측정하는 감사를 권장합니다. 도구를 세 가지 노출 범주로 분류하면 사용 패턴이 명확해지고 불필요한 스키마 부풀림을 식별할 수 있습니다.도구가 이름으로 선택될 필요가 있는지 여부에 대한 결정은 해당 도구의 배치를 결정합니다. 그렇지 않으면 Codemode 또는 지연 로딩에 속합니다. 사용 빈도는 직접(빈번)과 지연(드묾) 사이를 결정합니다. Codemode는 토큰 수를 줄일 수 있지만 서버 측 효율성은 여전히 우려 사항입니다. 저자는 공급업체의 토크나이저를 사용하여 토큰 수를 측정하고 고정된 작업에 대해 이전과 이후를 비교하는 것을 강조합니다. 가시성은 모델이 볼 수 없는 도구는 실수로 선택될 수 없으므로 안전 조치입니다. 마지막으로 감사는 프롬프트 크기를 늘리는 활용도가 낮은 커넥터를 식별하는 데 도움이 됩니다.