Для обслуживания модели Qwen 3.5 Mixture-of-Experts (MoE) с 397 миллиардами параметров на TPU Ironwood инженеры разработали модульный стек оптимизации JAX/Pallas, который обеспечил ускорение инференса до 4,7 раз для рабочих нагрузок с преобладанием префиллов. Команда обошла серьезные ограничения аппаратного шардинга, развернув гибридную топологию параллелизма данных и параллелизма экспертов (DP+EP) в сочетании с пользовательскими низкоуровневыми слияниями коммуникаций, такими как иерархический reduce-scatter, для оптимизации маршрутизации токенов между устройствами. Наконец, выполняя аппаратные пользовательские ядра, такие как Batched Ragged Page Attention и полностью слитый блок Gated DeltaNet (GDN), они успешно насытили пропускную способность HBM и TensorCore MXU, доведя пропускную способность системы почти до теоретических пределов.