HeyGen портировала свою модель генерации видео Avatar IV с более чем 18 миллиардами параметров на TPU Trillium (v6e) от Google Cloud через torchax и XLA, используя FSDP и Ulysses sequence parallelism на восьмичиповой сетке. Для достижения 1,86-кратного ускорения в режиме реального времени команда инженеров применила конвейерную обработку всех коллективных операций "all-to-all", выровняла размеры блоков разреженного внимания для устранения дополнения маски и обошла последовательные зависимости softmax, используя предварительно вычисленную верхнюю границу Коши-Шварца. Эти пользовательские оптимизации ядра Pallas и компилятора были развернуты только после прохождения строгих двухступенчатых проверок качества, гарантирующих идентичные байт в байт или математически эквивалентные выходные пиксельные данные.