InfoQ на русском
Подписаться
Подкаст: Распределенный вывод LLM на Kubernetes с использованием llm-d, Wasm и TornadoVM
В этом выпуске Эдоардо Ваччи обсуждает меняющийся ландшафт WebAssembly на бэкенде, запуск Java-нагрузок на GPU с использованием TornadoVM и оптимизацию распределенного вывода ИИ с использованием llm-d и vLLM на Kubernetes. Эдоардо объясняет, как llm-d управляет локальностью кэша (KV и префиксные кэши), маршрутизацией запросов и пакетным выводом в кластерах Kubernetes для максимального использования дорогих GPU. Автор: Эдоардо Ваччи.