PyTorch/XLA 2.4 biedt significante verbeteringen voor deep learning op TPU's en GPU's. Deze release introduceert verbeteringen aan Pallas, een aangepaste kernel-taal, die nu zowel TPU's als GPU's ondersteunt, waardoor de prestaties met Python-code worden verbeterd. Nieuwe API-aanroepen, zoals torch_xla.sync(), vereenvoudigen de integratie in bestaande PyTorch-werkstromen. Een experimentele eager-modus maakt directe uitvoering van bewerkingen op doelhardware mogelijk, hoewel TPU's een "mark_step"-oproep nodig hebben voor emulatie. Verbeteringen aan Pallas omvatten Flash Attention- en Paged Attention-ondersteuning en ingebouwde Megablocks' block sparse kernels voor groepsmatrixvermenigvuldiging. Bovendien biedt een nieuwe TPU-opdrachtregelinterface, tpu-info, hulpmiddelen voor debugging door gebruik en apparaatinformatie te tonen, vergelijkbaar met Nvidia's nvidia-smi-tool. Ondanks deze veranderingen blijft bestaande code compatibel, waardoor de upgrade naadloos is voor ontwikkelaars. Deze updates streven gezamenlijk naar verbeterde gebruikersvriendelijkheid en prestaties in PyTorch/XLA.