ポッドキャスト:llm-d、Wasm、およびTornadoV... ノート
InfoQ 日本語

ポッドキャスト:llm-d、Wasm、およびTornadoVMを使用したKubernetes上での分散LLM推論

このエピソードでは、Edoardo Vacchiが、バックエンドにおけるWebAssemblyの進化する状況、TornadoVMを使用したGPU上でのJavaワークロードの実行、そしてKubernetes上でのllm-dとvLLMを使用した分散AI推論の最適化について議論します。Edoardoは、llm-dがキャッシュの局所性(KVおよびプレフィックスキャッシュ)、リクエストルーティング、そしてKubernetesクラスタ全体でのバッチ推論をどのように管理し、高価なGPU利用率を最大化するかを説明します。Edoardo Vacchiによる
CdXz5zHNQW_gDwu5XPEnP.jpeg