Подкаст: Распределенный вывод ... Заметка
InfoQ на русском

Подкаст: Распределенный вывод LLM на Kubernetes с использованием llm-d, Wasm и TornadoVM

В этом выпуске Эдоардо Ваччи обсуждает меняющийся ландшафт WebAssembly на бэкенде, запуск Java-нагрузок на GPU с использованием TornadoVM и оптимизацию распределенного вывода ИИ с использованием llm-d и vLLM на Kubernetes. Эдоардо объясняет, как llm-d управляет локальностью кэша (KV и префиксные кэши), маршрутизацией запросов и пакетным выводом в кластерах Kubernetes для максимального использования дорогих GPU. Автор: Эдоардо Ваччи.
CdXz5zHNQW_gDwu5XPEnP.jpeg