Ваш агент загружает все схемы ... Заметка
DEV Community на русском

Ваш агент загружает все схемы инструментов по умолчанию. Решите, какие из них он должен видеть.

Прежде чем изменять конфигурации агентов, крайне важно понимать использование токенов в подсказках, особенно распределение для схем инструментов. Автор подчеркивает, что большинство команд не могут ответить на эти базовые вопросы из-за отсутствия ответственности. Pi 1.0 представил отложенную загрузку инструментов и Codemode, функции, которые переносят видимость инструментов на настройку для каждого инструмента, что является значительным изменением. Ранее Pi сопротивлялся MCP, но версия 1.0 добавила нативную поддержку из-за необходимости метаданных, касающихся раскрытия инструментов. Эти метаданные определяют, является ли инструмент напрямую видимым для модели, загружается ли он по запросу или вызывается только из Codemode.Схемы инструментов несут затраты, потребляя токены в системной подсказке или блоке инструментов при каждом запросе, независимо от релевантности. Эти затраты проявляются в виде финансовых расходов, отвлечения внимания модели и снижения воспроизводимости. Пример поставщика показывает, что количество токенов в подсказке запроса сокращается примерно на 40% благодаря этим изменениям. Новые метаданные Pi позволяют инструментам быть напрямую раскрытыми, отложенными или доступными только в Codemode. Прямое раскрытие предназначено для часто используемых инструментов, отложенное — для редко используемых, а Codemode — только тогда, когда требуется фильтрация вывода или для комбинаций инструментов.Подход Codemode, при котором модель пишет код для вызова инструментов в песочнице, особенно интересен, поскольку он изменяет то, что попадает в контекстное окно. Однако автор предостерегает, что Codemode не решает серверные проблемы, когда серверы могут неэффективно возвращать текстовые блоки вместо структурированных данных. Перед настройкой рекомендуется провести аудит, измерив токены в подсказке при холодном старте с загруженными и без загруженных инструментов. Сортировка инструментов по трем категориям раскрытия проясняет шаблоны использования и выявляет ненужное раздувание схем.Решение о том, нужно ли выбирать инструмент по имени, определяет его размещение; если нет, он относится к Codemode или отложенным. Частота использования определяет выбор между прямым (частое) и отложенным (редкое). Хотя Codemode может уменьшить количество токенов, эффективность на стороне сервера остается проблемой. Автор подчеркивает важность измерения количества токенов с помощью токенизатора поставщика и проведения сравнения "до" и "после" для фиксированных задач. Видимость является мерой безопасности, поскольку инструменты, которые модель не видит, не могут быть выбраны по ошибке. Наконец, аудит помогает выявить недостаточно используемые коннекторы, которые увеличивают размер подсказки.