Этот пост представляет метод оптимизации декодирования видео, который мы разработали совместно с командой Synthesia Research Engineering, и который мы называем асинхронным конвейером генерации кадров. Применение этого метода позволяет перекрывать вычисления на GPU, передачу данных с устройства на хост (D2H) и постобработку на стороне хоста. В этом посте мы применяем этот метод к декодеру VAE модели генерации видео Wan в качестве примера, где наши тесты на G7e показывают увеличение использования ядра GPU с 82% до 99,9%, что, в свою очередь, приводит к снижению задержки на 8,2% (и увеличению пропускной способности) при декодировании видео. Мы ожидаем, что этот метод будет полезен любому клиенту с конвейером генерации видео, который передает кадры в память хоста.