スピーカーは、ローカルのFastAPIプロトタイプから、Rayを使用したKubernetes上の回復力のある本番システムへのAIエージェントの移行について議論します。彼らは、RayClusterトポロジー、ステートフルメモリ処理、動的トラフィックでの自動スケーリング、堅牢なコントロールプレーン設計に関する運用上の洞察を共有し、重要なガードレール、マルチリージョンセットアップ、およびLLM-as-a-judge評価パイプラインを強調します。Deepak Mohanakumar Chandramouli、Bhumik Vinodkumar Thakkarによる