연사들은 로컬 FastAPI 프로토타입에서 Ray를 사용하여 Kubernetes의 탄력적인 프로덕션 시스템으로 AI 에이전트를 전환하는 것에 대해 논의합니다. 그들은 RayCluster 토폴로지, 상태 저장 메모리 처리, 동적 트래픽에서의 자동 확장, 견고한 제어 평면 설계에 대한 운영 통찰력을 공유하며, 중요한 가드레일, 다중 지역 설정, LLM-as-a-judge 평가 파이프라인을 강조합니다. Deepak Mohanakumar Chandramouli, Bhumik Vinodkumar Thakkar 작성