TorchTPU: 구글 규모에서 PyTorch를 TPU에서 네이티브로 실행하기
TorchTPU는 Google의 TPU 인프라에서 PyTorch 워크로드를 실행하기 위한 네이티브 고성능 경험을 제공하도록 설계된 새로운 엔지니어링 스택입니다. 최소한의 코드 변경만으로 가능합니다. 'Eager First' 접근 방식을 특징으로 하며, 여러 실행 모드를 지원하고, XLA 컴파일러를 활용하여 대규모 클러스터에서 분산 학습을 최적화합니다. 2026년까지 이 프로젝트는 컴파일 오버헤드를 더욱 줄이고, 동적 형상 및 사용자 정의 커널에 대한 지원을 확대하여 차세대 AI를 위한 원활한 확장성을 보장하는 것을 목표로 합니다.
