Kubernetes上で大規模言語モデルを実行するランドスケープは著しく進化しており、以前は未解決だった多くの問題に対して、現在では十分に資金提供されたソリューションと確立されたプレイヤーが存在します。KVキャッシュ対応ルーティング、プリフィル/デコードの分離、フラクショナルGPU共有、GPUスケジューリングプリミティブなどの分野は、すでに混雑していると考えられています。これらのセグメントは、さまざまなプロジェクトや商用製品によって対応されており、これらの分野での新しいベンチャーは、先駆的というよりも競争的になっています。しかし、真に十分にサービスが行き届いていない3つの異なる分野が残っており、新しい開発の機会を提供しています。最初の分野は、コンテナイメージが処理される方法に類似した、モデルウェイト配布をファーストクラスのKubernetesプリミティブとして確立することです。大規模モデルウェイトの現在の場当たり的なダウンロード方法は、コールドスタートの長期化の主な原因であり、効率的なゼロスケールデプロイメントを妨げています。提案されているソリューションには、モデル成果物とキャッシングのためのCRD、およびコンテンツ検証とピアツーピアの事前ウォーミングのためのノードレベルの仕組みが含まれます。2番目に十分にサービスが行き届いていない分野は、リクエストの異質性を考慮したSLO駆動の推論自動スケーリングです。SLOを意識した自動スケーリングは存在しますが、リクエストの緊急性とレイテンシ許容度に基づいてリクエストを区別するためには、より微妙なアプローチが必要です。これには、リクエストクラスごとのレイテンシ予算設定と、アドミッション制御メカニズムが含まれる可能性があります。3番目のギャップは、複数のテナンシー固有のLoRAアダプターのライフサイクル管理にあります。実行時のアダプターのロードはサポートされていますが、ライフサイクル管理、キャッシュエビクション、VRAM予算設定などの重要な側面は、依然として大部分が手動で処理されています。LoRAアダプター、その配置、およびルーティングを管理するためのCRDベースのソリューションが必要です。アイデア1は、モデルウェイト配布に焦点を当てており、そのインフラストラクチャへの集中と、大規模なGPUリソースなしでの実証可能性から、OSSオペレータープロジェクトに推奨されます。アイデア2は、微妙なSLO自動スケーリングに関するものであり、厳密なベンチマークを伴う研究指向の貢献により適しています。アイデア3は、LoRAアダプターのライフサイクル管理に関するもので、2つのアイデアの中間的な位置づけを提供します。これらの分野のいずれも完全に空いているわけではなく、新しい取り組みは既存の先行技術の上に構築されることに注意することが重要です。