PyTorch/XLA 2.4, derin öğrenmede TPU ve GPU'lar için önemli iyileştirmeler sunuyor. Bu sürüm, Pallas adlı özel çekirdek dili için iyileştirmeler getiriyor ve bu sayede hem TPU'lar hem de GPU'lar için Python koduyla performans iyileştiriyor. Yeni API çağrıları, örneğin torch_xla.sync(), PyTorch akışlarına entegrasyonu kolaylaştırıyor. Deneyimli acele modu, hedef donanım üzerinde operasyonları hemen yürütmeyi sağlasa da, TPU'lar için "mark_step" çağrısına ihtiyaç duyuyor. Pallas iyileştirmeleri arasında Flash Dikkat ve Paged Dikkat desteği ve Megablocks'in blok sparse çekirdekleri için yerleşik grup matris çarpımı desteği bulunuyor. Ayrıca, yeni bir TPU komut satırı arayüzü olan tpu-info, Nvidia'nın nvidia-smi aracı gibi, hata ayıklama için cihaz ve kullanım bilgilerini göstererek kolaylaştırıyor. Tüm bu değişikliklere rağmen, var olan kodlar uyumlu kalmaktadır, bu da geliştiriciler için yükseltme işlemini kolaylaştırıyor. Bu güncellemeler, PyTorch/XLA'da kullanım kolaylığı ve performans iyileştirme hedefliyor.