팟캐스트: llm-d, Wasm, & TornadoVM... 노트
InfoQ 한국어

팟캐스트: llm-d, Wasm, & TornadoVM을 이용한 쿠버네티스에서의 분산 LLM 추론

이번 에피소드에서는 Edoardo Vacchi가 백엔드에서의 WebAssembly의 진화하는 환경, TornadoVM을 사용한 GPU에서의 Java 워크로드 실행, 그리고 Kubernetes에서의 llm-d 및 vLLM을 사용한 분산 AI 추론 최적화에 대해 논의합니다. Edoardo는 llm-d가 Kubernetes 클러스터 전반에 걸쳐 캐시 지역성(KV 및 프리픽스 캐시), 요청 라우팅, 배치 추론을 관리하여 비싼 GPU 활용도를 극대화하는 방법을 설명합니다. Edoardo Vacchi 제공
CdXz5zHNQW_gDwu5XPEnP.jpeg