DEV Community на русском
Подписаться
Ваш агент загружает все схемы инструментов по умолчанию. Решите, какие из них он должен видеть.
Прежде чем изменять конфигурации агентов, крайне важно понимать использование токенов в подсказках, особенно распределение для схем инструментов. Автор подчеркивает, что большинство команд не могут ответить на эти базовые вопросы из-за отсутствия ответственности. Pi 1.0 представил отложенную загрузку инструментов и Codemode, функции, которые переносят видимость инструментов на настройку для каждого инструмента, что является значительным изменением. Ранее Pi сопротивлялся MCP, но версия 1.0 добавила нативную поддержку из-за необходимости метаданных, касающихся раскрытия инструментов. Эти метаданные определяют, является ли инструмент напрямую видимым для модели, загружается ли он по запросу или вызывается только из Codemode.Схемы инструментов несут затраты, потребляя токены в системной подсказке или блоке инструментов при каждом запросе, независимо от релевантности. Эти затраты проявляются в виде финансовых расходов, отвлечения внимания модели и снижения воспроизводимости. Пример поставщика показывает, что количество токенов в подсказке запроса сокращается примерно на 40% благодаря этим изменениям. Новые метаданные Pi позволяют инструментам быть напрямую раскрытыми, отложенными или доступными только в Codemode. Прямое раскрытие предназначено для часто используемых инструментов, отложенное — для редко используемых, а Codemode — только тогда, когда требуется фильтрация вывода или для комбинаций инструментов.Подход Codemode, при котором модель пишет код для вызова инструментов в песочнице, особенно интересен, поскольку он изменяет то, что попадает в контекстное окно. Однако автор предостерегает, что Codemode не решает серверные проблемы, когда серверы могут неэффективно возвращать текстовые блоки вместо структурированных данных. Перед настройкой рекомендуется провести аудит, измерив токены в подсказке при холодном старте с загруженными и без загруженных инструментов. Сортировка инструментов по трем категориям раскрытия проясняет шаблоны использования и выявляет ненужное раздувание схем.Решение о том, нужно ли выбирать инструмент по имени, определяет его размещение; если нет, он относится к Codemode или отложенным. Частота использования определяет выбор между прямым (частое) и отложенным (редкое). Хотя Codemode может уменьшить количество токенов, эффективность на стороне сервера остается проблемой. Автор подчеркивает важность измерения количества токенов с помощью токенизатора поставщика и проведения сравнения "до" и "после" для фиксированных задач. Видимость является мерой безопасности, поскольку инструменты, которые модель не видит, не могут быть выбраны по ошибке. Наконец, аудит помогает выявить недостаточно используемые коннекторы, которые увеличивают размер подсказки.