PyTorch/XLA 2.4 tilbyder betydelige forbedringer for dyb læring på TPU'er og GPU'er. Denne udgivelse introducerer forbedringer til Pallas, et brugerdefineret kernel-sprog, som nu understøtter både TPU'er og GPU'er, hvilket forbedrer ydeevnen med Python-kode. Nye API-opkald, som f.eks. torch_xla.sync(), gør integration i eksisterende PyTorch-workflows lettere. En eksperimentel ivrig tilstand tillader øjeblikkelig eksekvering af operationer på målhardware, selvom TPU'er kræver et "mark_step"-opkald for emulation. Forbedringer til Pallas omfatter Flash Attention og Paged Attention-understøttelse, og indbyggede Megablocks' block sparse kernels til gruppe matrix-multiplication. Desuden introducerer en ny TPU-kommandolinje-grænseflade, tpu-info, som faciliterer fejlfinding ved at vise brug og enhedsinformation, ligesom Nvidia's nvidia-smi-værktøj. Trods disse ændringer forbliver eksisterende kode kompatibel, hvilket gør opgraderingen problemfri for udviklere. Disse opdateringer sigter samlet set på at forbedre brugervenlighed og ydeevne i PyTorch/XLA.