InfoQ 日本語
フォロー
ポッドキャスト:llm-d、Wasm、およびTornadoVMを使用したKubernetes上での分散LLM推論
このエピソードでは、Edoardo Vacchiが、バックエンドにおけるWebAssemblyの進化する状況、TornadoVMを使用したGPU上でのJavaワークロードの実行、そしてKubernetes上でのllm-dとvLLMを使用した分散AI推論の最適化について議論します。Edoardoは、llm-dがキャッシュの局所性(KVおよびプレフィックスキャッシュ)、リクエストルーティング、そしてKubernetesクラスタ全体でのバッチ推論をどのように管理し、高価なGPU利用率を最大化するかを説明します。Edoardo Vacchiによる