Современные большие языковые модели полагаются на квантование, обрезку, дистилляцию и более быстрые ядра внимания, но производительность в продакшене часто зависит в первую очередь от управления KV-кэшем. По мере роста контекстных окон кэш потребляет значительный объем памяти GPU, ограничивая параллелизм, пропускную способность и задержку. Два прорыва трансформировали эту проблему: PagedAttention улучшает распределение памяти, а RadixAttention обеспечивает эффективное повторное использование префиксов. Вместе эти методы делают […]