Towards Data Science | Medium на русском
Подписаться
Мы создали слой маршрутизации, чтобы сократить расходы на ИИ. Он сломал продукт.
Команда сократила свои расходы на ИИ-инференс более чем вдвое. Через три месяца удовлетворенность клиентов снизилась, и экономия средств была связана с потерей качества. Маршрутизирующие слои для оптимизации затрат — это ловушка Парето, и вот методология обнаружения, которая выявляет их за дни, а не за месяцы.