ClearPixは、WebGPU上のONNX Runtime Webを最適化することで、ブラウザベースの超解像およびウォーターマーク除去を大幅に高速化しました。最大の速度向上は、超解像モデルでのfp16量子化による4.8倍のブーストでした。彼らは、ブラウザのGPU推論は通常、計算能力ではなくメモリ帯域幅に制約されるため、ワーカープールやIOBindingのような最適化は効果がないことを発見しました。これにより、重みの精度を半分にするなど、データ転送を削減することが鍵であるという結論に至りました。初期の重要な決定は、超解像のために、より大きなRRDBNet x4plusからコンパクトなSRVGGNetCompact x4v3アーキテクチャに切り替えたことでした。この変更だけで10倍の速度向上が得られ、品質も向上し、デプロイメント環境向けに設計されたモデルを選択することが最も重要であることが実証されました。SRVGGNetCompactを採用した後、fp16量子化によりモデルサイズが半分になり、WebGPU推論速度が3.5倍向上し、品質の低下はほとんどなく、ページレベルで全体として4.8倍の改善につながりました。しかし、マスクゲーティングされたLaMaインペインティングモデルにfp16量子化を適用したところ、品質が著しく低下しました。正確な境界線に依存するマスクゲーティングメカニズムは、数値精度の低下によって妨げられ、モデルがウォーターマーク除去に失敗しました。この経験は、量子化の実現可能性がモデルのアーキテクチャと、ゲーティングのような精度に敏感な構造に対する感度に依存することを浮き彫りにしました。ClearPixは現在、厳格な最適化順序に従っています。まず、ブラウザ環境に適したアーキテクチャを選択します。次に、モデルに精度に敏感な内部構造がない場合にのみビット幅を検討します。そして、期待値を低くしてランタイム最適化を検討します。また、モデル変更の検証には、主観的な視覚検査ではなく、品質ベンチマークが不可欠であることを強調しています。彼らの最適化されたモデルはクライアントサイドにデプロイされ、プライベートなブラウザ内メディア処理ツールを可能にしています。