PyTorch/XLA 2.4는 TPU와 GPU에서 딥 러닝을 위한 중요한 개선 사항을 제공합니다. 이 릴리스에서는 Pallas라는 사용자 지정 커널 언어에 대한 개선 사항을 도입하여 Python 코드와 함께 성능을 향상시켰습니다. 새로운 API 호출, 예를 들어 torch_xla.sync(),는 기존 PyTorch 워크플로우에 통합을 단순화합니다. 실험적인 즉시 모드는 대상 하드웨어에서 작업을 즉시 실행할 수 있지만 TPU에서는 "mark_step" 호출이 필요합니다. Pallas의 개선 사항에는 Flash Attention 및 Paged Attention 지원과 Mega Blocks의 블록 스파스 커널이 포함되어 있습니다. 또한 새로운 TPU 명령줄 인터페이스인 tpu-info는 Nvidia의 nvidia-smi 도구와 유사하게 디버깅을 용이하게 하여 디바이스 정보를 표시합니다. 이러한 변경 사항에도 불구하고 기존 코드는 여전히 호환되므로 개발자에게 업그레이드를 용이하게 합니다. 이러한 업데이트는 PyTorch/XLA의 사용 가능성과 성능을 개선하는 것을 목표로 합니다.