FP16 量化使我们的浏览器端 Real-ESRGAN 速度... 笔记

FP16 量化使我们的浏览器端 Real-ESRGAN 速度提升了 4.8 倍——同时也几乎摧毁了我们的图像修复模型。

ClearPix 通过优化 WebGPU 上的 ONNX Runtime Web,显著加速了基于浏览器的超分辨率和水印去除。其最大的加速效果来自超分辨率模型的 fp16 量化,实现了 4.8 倍的性能提升。研究发现,浏览器 GPU 推理通常受限于内存带宽而非计算能力,因此诸如工作线程池和 IOBinding 等优化手段效果有限。这一发现表明,减少数据传输(例如将权重精度减半)是关键所在。一个关键的早期决策是从较大的 RRDBNet x4plus 切换到紧凑的 SRVGGNetCompact x4v3 架构用于超分辨率。仅此一项变更就带来了 10 倍的性能提升并改善了画质,证明了选择专为部署环境设计的模型至关重要。在采用 SRVGGNetCompact 之后,fp16 量化将模型大小减半,并将 WebGPU 推理速度提升了 3.5 倍,最终实现了页面级别的 4.8 倍整体提升,且画质损失可忽略不计。然而,将 fp16 量化应用于其掩码门控 LaMa 图像修复模型时,却导致了严重的画质退化。掩码门控机制依赖于精确的决策边界,而数值精度的降低破坏了该机制,致使模型在水印去除任务中失效。这一经验表明,量化的可行性取决于模型架构及其对精度敏感结构(如门控机制)的敏感度。ClearPix 现在遵循严格的优化顺序:首先,选择适合浏览器环境的架构;其次,仅在模型缺乏精度敏感内部结构时才考虑位宽;最后,以较低预期探索运行时优化。他们还强调,质量基准测试而非主观视觉检查对于验证模型变更至关重要。其优化后的模型部署在客户端,从而实现了私有的、在浏览器内进行的媒体处理工具。