확장 가능한 모델 서빙 라이브러리인 Ray Serve와 Google Kubernetes Engine(GKE)을 결합하면 LLM 서빙을 위한 강력한 플랫폼을 제공합니다. 과거에는 Ray Serve의 유연성이 성능 저하를 초래했습니다. 그러나 Anyscale과의 파트너십을 통해 Ray Serve는 이제 훨씬 향상된 성능을 제공하며, 처리량은 최대 5배, 지연 시간은 8배까지 낮췄습니다. 이러한 발전은 세 가지 주요 아키텍처 최적화 덕분입니다. Ray Serve는 이제 HAProxy를 통합하여 효율적인 요청 라우팅 및 로드 밸런싱을 제공하고 프록시 오버헤드를 줄입니다. 직접 토큰 스트리밍 아키텍처는 토큰 스트림에 대해 인그레스 라우터를 우회하여 지연 시간을 단축합니다. vLLM용 v2 Ray 실행기 백엔드는 비동기 스케줄링을 가능하게 하여 코드 경로를 통합하고 성능 격차를 해소합니다. 차세대 AI 하드웨어를 탑재한 GKE에서의 벤치마크는 이러한 극적인 성능 향상을 입증했습니다. 향상된 Ray Serve는 동시 사용자 증가에도 불구하고 낮은 지연 시간을 유지하면서 처리량을 확장합니다. GKE는 자동 확장, 모니터링 및 내결함성을 제공하여 이러한 최적화에 필요한 인프라를 제공합니다. 개발자는 이제 Ray의 풍부한 기능을 희생하지 않고도 Kubernetes에서 프로덕션 수준의 성능을 달성할 수 있습니다. 최신 Ray 릴리스(2.56 이상)에는 이러한 개선 사항이 포함되어 있으며, 추가 탐색을 위한 리소스가 제공됩니다.