PyTorch/XLA 2.4 bietet erhebliche Verbesserungen für Deep Learning auf TPUs und GPUs. Diese Version führt Verbesserungen an Pallas ein, eine benutzerdefinierte Kernel-Sprache, die nun sowohl TPUs als auch GPUs unterstützt und die Leistung mit Python-Code verbessert. Neue API-Aufrufe wie torch_xla.sync() vereinfachen die Integration in bestehende PyTorch-Workflows. Ein experimenteller Eager-Modus ermöglicht die sofortige Ausführung von Operationen auf Zielhardware, obwohl TPUs einen "mark_step"-Aufruf für die Emulation benötigen. Verbesserungen an Pallas umfassen Flash-Attention- und Paged-Attention-Unterstützung und eingebaute Megablocks' block sparse kernels für Gruppenmatrixmultiplikation. Darüber hinaus bietet eine neue TPU-Kommandozeilenschnittstelle, tpu-info, eine Erleichterung bei der Fehlersuche, indem sie Auslastung und Geräteinformationen anzeigt, ähnlich wie Nvidia's nvidia-smi-Tool. Trotz dieser Änderungen bleibt bestehender Code kompatibel, was den Upgrade für Entwickler nahtlos macht. Diese Aktualisierungen zielen insgesamt darauf ab, die Benutzerfreundlichkeit und Leistung in PyTorch/XLA zu verbessern.