Towards Data Science | Medium на русском
Подписаться
Скрытая стоимость маршрутизации больших языковых моделей: почему переключение между моделями обходится дороже
Я протестировал маршрутизацию LLM, чтобы понять, почему смена моделей в середине сеанса может свести на нет экономию, обещанную более дешевым выводом.