397B-매개변수 Qwen 3.5 Mixture-of-Experts (MoE) 모델을 Ironwood TPU에서 서비스하기 위해 엔지니어들은 모듈식 JAX/Pallas 최적화 스택을 개발하여 사전 채우기(prefill)가 많은 워크로드에서 최대 4.7배의 추론 속도 향상을 달성했습니다. 팀은 하이브리드 데이터 병렬화 및 전문가 병렬화(DP+EP) 토폴로지를 배포하여 심각한 하드웨어 샤딩 제약을 우회했으며, 계층적 reduce-scatter와 같은 사용자 정의 저수준 통신 융합을 페어링하여 디바이스 간 토큰 라우팅을 최적화했습니다. 마지막으로, Batched Ragged Page Attention 및 완전 융합된 Gated DeltaNet (GDN) 블록과 같은 하드웨어 인식 사용자 정의 커널을 실행하여 HBM 대역폭과 TensorCore MXU를 포화시켜 시스템 처리량을 이론적 루프라인 한계에 가깝게 끌어올렸습니다.