TPU에서 Ray 실행하기, 1부: 기초 노트

TPU에서 Ray 실행하기, 1부: 기초

Ray 2.55는 Google Cloud TPU에 대한 공식적이고 일급 지원을 도입하여, 개발자들이 친숙한 Ray 작업 및 액터 API를 사용하여 Google의 가속기에서 분산 Python 워크로드를 실행할 수 있도록 합니다. 칩 간 상호 연결(ICI)을 통해 다중 호스트 TPU "슬라이스"를 함께 유지해야 하는 엄격한 네트워킹 요구 사항을 처리하기 위해, GKE의 KubeRay Operator는 기본 하드웨어 레이아웃을 자동으로 프로비저닝하고 레이블을 지정합니다. Ray Core는 slice_placement_group() 기본 요소를 통해 이러한 레이블을 활용하여 완전한 슬라이스를 원자적으로 예약함으로써, 개발자들이 사용자 지정 배치 코드를 작성하지 않고도 ("4x4"와 같은) 하드웨어 토폴로지를 선언하는 것만으로 KubeRay, Ray Train 또는 Ray Serve를 통해 작업을 배포할 수 있도록 합니다.