Ray Serve は、スケーラブルなモデルサービングライブラリであり、Google Kubernetes Engine (GKE) と組み合わせることで、LLM サービングのための強力なプラットフォームを提供します。従来、Ray Serve の柔軟性はパフォーマンスの犠牲を伴っていました。しかし、Anyscale との提携により、Ray Serve は大幅にパフォーマンスが向上し、スループットは最大 5 倍、レイテンシは 8 倍低減されました。これらの進歩は、3 つの主要なアーキテクチャの最適化によるものです。Ray Serve は現在、効率的なリクエストルーティングとロードバランシングのために HAProxy を統合し、プロキシのオーバーヘッドを削減しています。直接トークンストリーミングアーキテクチャは、トークンストリームのためにイングレスルーターをバイパスし、レイテンシを削減します。vLLM のための v2 Ray エグゼキュータバックエンドは、非同期スケジューリングを可能にし、コードパスを統合してパフォーマンスギャップを埋めます。次世代 AI ハードウェアを搭載した GKE でのベンチマークは、これらの劇的なパフォーマンス向上を実証しました。強化された Ray Serve は、同時ユーザーが増加しても、低レイテンシを維持しながらスループットをスケーリングします。GKE は、自動スケーリング、モニタリング、フォールトトレランスを提供し、これらの最適化に必要なインフラストラクチャを提供します。開発者は、Ray の豊富な機能を犠牲にすることなく、Kubernetes 上で本番グレードのパフォーマンスを実現できるようになりました。最新の Ray リリース (2.56 以降) にはこれらの機能強化が組み込まれており、さらなる調査のためのリソースが利用可能です。