Ваш ИИ-агент отправляет в 10 раз больше вызовов API, чем вы думаете — вот где скрываются расходы

В статье обсуждается неожиданное увеличение затрат при переходе от простых чат-ботов к сложным агентным рабочим процессам с использованием LLM. Агентные рабочие процессы, в отличие от простых чат-ботов, включают в себя несколько вызовов LLM для планирования, выбора инструментов и оценки результатов, что приводит к значительно более высоким затратам. Автор наблюдал увеличение затрат в 5-20 раз из-за таких факторов, как накладные расходы на планирование и раздувание контекстного окна. Избыточные вызовы инструментов и сбои при резервном копировании еще больше увеличивают затраты, как и различия в токенизации между разными моделями. Чтобы контролировать расходы, автор реализовал несколько стратегий, направленных на улучшение наблюдаемости и контроля. К ним относятся учет токенов на уровне шлюза для точного отслеживания затрат и разбивки по запросам. Бюджеты итераций с жесткими ограничениями предотвращают неконтролируемые расходы из-за неэффективного поведения агента. Сжатие контекста и лимиты расходов на пользователя обеспечивают дополнительные меры контроля затрат. Интеллектуальная маршрутизация моделей использует более дешевые модели для более простых задач, оптимизируя распределение ресурсов. Рекомендуемая архитектура включает в себя шлюз для управления бюджетами токенов, выбором моделей и отнесением затрат с обеих сторон. Основной вывод заключается в том, что проблема затрат на агентов возникает из-за отсутствия надлежащего измерения и видимости, а не просто из-за ценообразования моделей. Учет токенов на уровне шлюза определяется как критически важное первоначальное вложение для успешного масштабирования развертывания агентов.