Amazon SageMaker AI теперь поддерживает маршрутизацию с учетом KV-кэша для конечных точек вывода в реальном времени.
Amazon SageMaker AI теперь поддерживает маршрутизацию с учетом KV-кэша для конечных точек вывода в реальном времени, что позволяет сократить время до первого токена для рабочих нагрузок LLM с длинными или повторяющимися запросами. Сервисные движки, такие как vLLM, сохраняют вычисленный KV-кэш для повторяющихся начальных частей запросов, таких как общие системные запросы, документы и история разговоров, чтобы избежать повторной работы. При попадании запроса на экземпляр, где кэш отсутствует, он пересчитывается. При высокой нагрузке экземпляры также вытесняют кэшированные блоки, чтобы освободить память GPU, включая общие запросы и предыдущие повороты разговора.Маршрутизация с учетом KV-кэша направляет каждый запрос на экземпляр, который имеет наиболее длинное совпадение части запроса в кэше. Контейнер vLLM сообщает о кэшированных блоках, которые он хранит и вытесняет, а SageMaker маршрутизирует с учетом этого представления в реальном времени. Если поиск медленный или не находит совпадений, конечная точка возвращается к маршрутизации с учетом нагрузки, поэтому запрос все равно обслуживается. Маршрутизация с учетом префикса подходит для стабильных общих запросов, коротких запросов или умеренной нагрузки. Маршрутизация с учетом KV-кэша подходит для длинных запросов, высокой нагрузки и ограниченной памяти GPU.Клиенты теперь могут включить эту функцию, установив RoutingStrategy в KV_AWARE для производственного варианта и добавив одну переменную среды, чтобы контейнер сообщал о событиях кэширования. Клиенты могут вызывать конечную точку с теми же API и полезными нагрузками, совместимыми с OpenAI. Он поддерживает конечные точки с одной моделью и компоненты вывода, включая адаптеры LoRA, на экземплярах GPU. Требуется контейнер AWS vLLM Deep Learning версии 0.33.0 или новее с как минимум двумя экземплярами или копиями компонента вывода. Подробные метрики наблюдаемости показывают частоту попаданий в KV-кэш. Дополнительная плата за маршрутизацию с учетом KV-кэша не взимается.Маршрутизация с учетом KV-кэша доступна сегодня во всех регионах AWS, где доступен Amazon SageMaker AI. Чтобы начать работу, обновите SDK или CLI AWS до последней версии. Чтобы узнать больше, посетите страницу вывода Amazon SageMaker AI и ознакомьтесь с документацией по API.
RoutingStrategyвKV_AWAREдля производственного варианта и добавив одну переменную среды, чтобы контейнер сообщал о событиях кэширования. Клиенты могут вызывать конечную точку с теми же API и полезными нагрузками, совместимыми с OpenAI. Он поддерживает конечные точки с одной моделью и компоненты вывода, включая адаптеры LoRA, на экземплярах GPU. Требуется контейнер AWS vLLM Deep Learning версии 0.33.0 или новее с как минимум двумя экземплярами или копиями компонента вывода. Подробные метрики наблюдаемости показывают частоту попаданий в KV-кэш. Дополнительная плата за маршрутизацию с учетом KV-кэша не взимается.Маршрутизация с учетом KV-кэша доступна сегодня во всех регионах AWS, где доступен Amazon SageMaker AI. Чтобы начать работу, обновите SDK или CLI AWS до последней версии. Чтобы узнать больше, посетите страницу вывода Amazon SageMaker AI и ознакомьтесь с документацией по API.