Оправдывают ли шлейки свою сто... Заметка
Martin Fowler на русском

Оправдывают ли шлейки свою стоимость?

Нареш Джайн сравнивает кодирующих агентов, создающих один и тот же API-сервис, с поведенческим "уздечкой" и без нее. Фронтирная модель GPT-6 Sol прошла все внешние оценки в обоих случаях. Но оптимизированная по стоимости модель GPT-6 Luna добилась успеха только в 3 из 10 запусков без "уздечки" и во всех 10 с "уздечкой". Хотя добавление "уздечки" увеличило использование токенов и время выполнения для Luna, запуски Luna с "уздечкой" достигли такой же надежности 10 из 10, как и GPT-6 Sol, при этом обходясь на 33% дешевле за запуск (0,273 долл. США против 0,406 долл. США). Этот эксперимент предполагает, что поведенческая "уздечка" может быть практичным способом получения надежных результатов от меньших, оптимизированных по стоимости моделей.