Gateway API Inference Extension は、大規模言語モデル (LLM) の推論セッションが長時間実行され、リソースを大量に消費することによって生じる Kubernetes のルーティング課題に対処します。従来のロードバランサーは、これらの複雑なワークロードには不十分です。この拡張機能は、既存の Gateway API を推論に特化した機能で強化します。具体的には、モデルサーバのポッドを管理する InferencePool と、ユーザー向けのモデルエンドポイントを定義する InferenceModel という 2 つの Custom Resources (カスタムリソース) を導入します。リクエストの流れとしては、Gateway によるルーティング、最適なポッドを選択するための Endpoint Selection Extension (エンドポイント選択拡張)、そして推論を考慮したスケジューリングが含まれます。これにより、モデルを意識したルーティングが改善されます。ベンチマークの結果、標準的な Kubernetes サービスと同等のスループットを維持しながら、特にクエリレートが高い場合に、レイテンシが大幅に低下することが示されています。今後の開発では、プレフィックスキャッシュを認識したロードバランシングや、さまざまなモデルタイプとアクセラレータのサポートなどが予定されています。この拡張機能は、Kubernetes 内での AI/ML トラフィックのルーティングを簡素化し、標準化することを目的としています。LLM サービスのデプロイと管理における効率とユーザーエクスペリエンスの向上を目指します。