ClearPix는 ONNX Runtime Web을 WebGPU에서 최적화하여 브라우저 기반 초해상도 및 워터마크 제거를 크게 가속화했습니다. 가장 큰 속도 향상인 4.8배 증가는 초해상도 모델의 fp16 양자화에서 비롯되었습니다. 그들은 브라우저 GPU 추론이 일반적으로 메모리 대역폭에 의해 제한되며 연산에 의해 제한되지 않으므로 워커 풀 및 IOBinding과 같은 최적화는 효과적이지 않다는 것을 발견했습니다. 이는 가중치 정밀도를 절반으로 줄이는 것과 같이 데이터 전송을 줄이는 것이 핵심이라는 결론으로 이어졌습니다.초기 중요한 결정은 초해상도를 위해 더 큰 RRDBNet x4plus에서 컴팩트한 SRVGGNetCompact x4v3 아키텍처로 전환하는 것이었습니다. 이 변경만으로도 10배의 속도 향상과 품질 개선을 가져왔으며, 배포 환경에 맞게 설계된 모델을 선택하는 것이 가장 중요하다는 것을 입증했습니다. SRVGGNetCompact를 채택한 후 fp16 양자화는 모델 크기를 절반으로 줄이고 WebGPU 추론 속도를 3.5배 향상시켜 품질 손실이 거의 없이 전반적인 4.8배 페이지 수준 개선을 가져왔습니다.그러나 마스크 게이팅 LaMa 인페인팅 모델에 fp16 양자화를 적용한 결과 심각한 품질 저하가 발생했습니다. 정확한 결정 경계에 의존하는 마스크 게이팅 메커니즘은 수치 정밀도 감소로 인해 방해를 받아 모델이 워터마크 제거에 실패했습니다. 이 경험은 양자화의 실현 가능성이 모델의 아키텍처와 게이팅과 같은 정밀도에 민감한 구조에 대한 민감도에 따라 달라진다는 것을 강조했습니다.ClearPix는 이제 엄격한 최적화 순서를 따릅니다. 첫째, 브라우저 환경에 적합한 아키텍처를 선택합니다. 둘째, 모델에 정밀도에 민감한 내부 구조가 없는 경우에만 비트 폭을 고려합니다. 셋째, 낮은 기대치를 가지고 런타임 최적화를 탐색합니다. 또한 모델 변경을 검증하는 데 주관적인 시각적 검사가 아닌 품질 벤치마크가 필수적이라고 강조합니다. 최적화된 모델은 클라이언트 측에 배포되어 개인 정보 보호가 가능한 브라우저 내 미디어 처리 도구를 사용할 수 있게 합니다.