핀터레스트의 Ray Infrastructure 노트

핀터레스트의 Ray Infrastructure

2023년에 Pinterest는 Ray를 인프라스트럭처에 통합하기 시작했는데, 제한된 K8s API 액세스, 일시적인 로깅 및 지표, 인증 요구 사항과 같은 도전 과제를 직면했습니다. 이러한 문제를 해결하기 위해 Pinterest는 Ray 클러스터 제어자 및 API Gateway를 개발하여 Ray 클러스터 프로비저닝을 관리하고 인증을 처리했습니다. 또한, 지속적인 로깅 및 지표를 위한 전용 사용자 인터페이스를 구축하고, 내부 시계열 데이터베이스(Goku)와 통합하여 지표 시각화를 가능하게 했습니다. Pinterest는 Ray 애플리케이션 개발을 위한 다양한 개발 인터페이스를 제공합니다. Jupyter, Dev 서버, Spinner 워크플로우를 포함하여 애플리케이션 개발 및 테스트를 지원하는 유닛 및 통합 테스트 프레임워크를 제공합니다. 오프라인 데이터 분석을 가능하게 하기 위해 클러스터 지표를 대규모 데이터 형식으로 내보내어 오프라인 분석을 수행할 수 있습니다. Pinterest의 Ray 인프라스트럭처는 Ray와 고유한 회사 요구 사항을 고려하여, 보안, 트래픽 설정, 서비스 통합을 포함한 최적의 관행을 통합합니다. 이 플랫폼은 Ray 클러스터 관리에 대한 중앙 집중식 제어를 제공하고 사용자에게 프로세스를 간소화합니다.