Synthesia 如何在 Amazon EC2 G7e 实... 笔记

Synthesia 如何在 Amazon EC2 G7e 实例上优化生成式 AI 视频推理

本文介绍了一种视频解码优化技术,该技术由我们与 Synthesia 研究工程团队共同构思,称为异步帧生成管道(Asynchronous Frame Generation Pipeline)。采用此技术可重叠 GPU 计算、设备到主机(D2H)数据传输以及主机端后处理。本文以 Wan 视频生成模型的 VAE 解码器为例应用该技术,在 G7e 上的基准测试显示,GPU 内核利用率从 82% 提升至 99.9%,进而使视频解码的延迟降低 8.2%(吞吐量相应提升)。我们预期,任何采用分块视频生成管道并将帧传输至主机内存的客户均可从中受益。
CdXz5zHNQW_oQdl9aXzZR.png