SynthesiaがAmazon EC2 G7eインスタンス... ノート

SynthesiaがAmazon EC2 G7eインスタンスで生成AIビデオ推論を最適化する方法

この投稿では、Synthesia Research Engineeringチームと共同で考案した、非同期フレーム生成パイプラインと呼ぶビデオデコーディング最適化技術を紹介します。この技術を採用することで、GPUコンピューティング、デバイスからホストへのデータ転送(D2H)、およびホスト側の後処理をオーバーラップさせることができます。この投稿では、この技術をWanビデオ生成モデルのVAEデコーダーに適用する例を示します。G7eでのベンチマークでは、GPUカーネルの使用率が82%から99.9%に増加し、その結果、ビデオデコーディングのレイテンシが8.2%減少し(スループットが増加)、顧客のチャンク化されたビデオ生成パイプラインでフレームをホストメモリに転送する際に、この技術が役立つと期待しています。
CdXz5zHNQW_oQdl9aXzZR.png