Часть 1: Вывод в масштабе предприятия: Почему вывод LLM — это проблема распределения капитала

Вывод в корпоративных условиях сталкивается с внутренними трудностями, связанными с взаимозависимостью точности, задержки и стоимости. Улучшение одного показателя почти всегда негативно влияет на другой, создавая компромисс, известный как граница Парето. Этот рубеж определяет пределы достижения по качеству модели, пропускной способности на GPU и задержке на пользователя. Инженерные усилия направлены на то, чтобы расширить этот рубеж, сделав компромиссы менее серьёзными. Обработка выводов делится на два отдельных этапа: предварительное заполнение и декодирование. Предварительное заполнение ограничено вычислениями и зависит от времени от длины входа, определяя время до первого токена. Декодирование ограничено пропускной способностью памяти и зависит от времени от длины выхода, что влияет на время на один токен выхода. Эти фазы имеют разные узкие места и не одинаково выигрывают от одних и тех же оптимизаций. KV-кэш — динамический компонент, который увеличивается с длиной контекста и размером пакета, — является значительным фактором затрат. Это может привести к ошибкам вне памяти на GPU, особенно при длинных контекстах и высокой параллелности. Тщательное управление длиной контекста крайне важно для снижения нагрузки на кэш KV. Нагрузки агентного ИИ усугубляют эти проблемы, вызывая множество последовательных вызовов вывода, требуя точности, низкой задержки и экономической эффективности одновременно. Экономика GPU также представляет собой проблему, так как простоя мощность приводит к пустой трате. Трафик производственного вывода часто бывает резким, поэтому эффективное использование часов GPU имеет первостепенное значение. Экономическая эффективность самостоятельных моделей на платформах вроде AKS напрямую связана с максимизацией использования GPU в час. Дизайн продукта, такой как многословность ответов, напрямую влияет на потребление токенов и, следовательно, на эффективность GPU-часов. Эти пять задач усложняют друг друга, создавая сложные задачи оптимизации для команд вывода.