Сравнение моделей по стоимости за миллион токенов упускает из виду то, за что на самом деле платят производственные рабочие нагрузки: за результаты. В этой статье представлен фреймворк для открытого тестирования, который измеряет стоимость за правильный ответ, стоимость траектории агента и качество результатов, оцененных по рубрике, для моделей OpenAI на Amazon Bedrock.