Законопроект автора об инфраструктуре оказался непомерно дорогим из-за высоких затрат на API одного помощника по написанию кода. Это побудило к исследованию альтернативных моделей и их фактической производительности. Для определения экономической эффективности было проведено тестирование десяти моделей по пяти распространенным инженерным задачам. Маркетинговые заявления о моделях "лучших в своем классе" оказались ненадежными. Цель состояла в том, чтобы найти модели, обеспечивающие наилучшую окупаемость инвестиций для конкретных рабочих нагрузок.Тестирование включало оценку моделей по правильности, качеству кода, документации и граничным случаям, а затем деление на стоимость вывода за миллион токенов. Этот показатель "оценка за доллар" оказался решающим в выявлении эффективных моделей. Автор обнаружил, что специализированные и более дешевые модели часто превосходили дорогие, общего назначения, в обычных задачах. Однако для сложного анализа или критического обзора кода премиальные модели демонстрировали свою ценность.Тестирование показало, что разные модели преуспевают в разных типах задач, что привело к разработке стратегии маршрутизации. Теперь автор направляет запросы конкретным моделям в зависимости от их сложности и характера. Этот подход значительно сократил расходы на API примерно на 87%. В качестве варианта для тех, кто не хочет создавать собственную логику маршрутизации, также была отмечена модель маршрутизации, такая как Ga-Standard.Ключевым выводом является важность избежания привязки к поставщику. Используя унифицированный уровень API, автор может легко переключать модели при изменении цен или снижении производительности. Эта абстракция обеспечивает гибкость и предотвращает дорогостоящие миграции. Автор выступает за стандартизацию на интерфейсе, совместимом с OpenAI, для минимизации затрат на интеграцию. В конечном итоге процесс тестирования привел к существенной экономии средств и более надежной, адаптивной стратегии использования ИИ-помощника по написанию кода.