PyTorch/XLA 2.4 offre miglioramenti significativi per l'apprendimento profondo su TPU e GPU. Questa versione introduce miglioramenti a Pallas, un linguaggio di kernel personalizzato, che ora supporta sia TPU che GPU, migliorando le prestazioni con il codice Python. Nuove chiamate API, come torch_xla.sync(), semplificano l'integrazione nei flussi di lavoro PyTorch esistenti. Un modo di esecuzione immediato sperimentale consente l'esecuzione immediata delle operazioni sull'hardware di destinazione, sebbene i TPU richiedano una chiamata "mark_step" per l'emulazione. I miglioramenti a Pallas includono il supporto per l'attenzione flash e l'attenzione paginata, e kernel di matrice sparsa per la moltiplicazione di matrici di gruppo. Inoltre, una nuova interfaccia a riga di comando TPU, tpu-info, facilita il debug mostrando l'utilizzo e le informazioni del dispositivo, simile all'strumento Nvidia nvidia-smi. Nonostante questi cambiamenti, il codice esistente rimane compatibile, rendendo l'aggiornamento indolore per gli sviluppatori. Questi aggiornamenti collettivamente mirano a migliorare l'utilizzabilità e le prestazioni in PyTorch/XLA.