ClearPix значительно ускорил браузерное суперразрешение и удаление водяных знаков, оптимизировав ONNX Runtime Web на WebGPU. Наибольшее ускорение, в 4,8 раза, было достигнуто за счет квантования fp16 на их модели суперразрешения. Они обнаружили, что браузерные GPU-инференсы обычно ограничены пропускной способностью памяти, а не вычислительной мощностью, что делает такие оптимизации, как пулы рабочих и IOBinding, неэффективными. Это привело к выводу, что сокращение передачи данных, например, путем уменьшения точности весов вдвое, является ключевым.Важным ранним решением был переход от более крупной модели RRDBNet x4plus к компактной архитектуре SRVGGNetCompact x4v3 для суперразрешения. Это изменение само по себе дало 10-кратное ускорение и улучшило качество, демонстрируя, что выбор модели, разработанной для среды развертывания, имеет первостепенное значение. После внедрения SRVGGNetCompact, квантование fp16 уменьшило размер модели вдвое и увеличило скорость WebGPU-инференса в 3,5 раза, что привело к общему улучшению на уровне страницы в 4,8 раза с незначительной потерей качества.Однако применение квантования fp16 к их модели маскирования LaMa для закрашивания привело к серьезным ухудшениям качества. Механизм маскирования, который полагается на точные границы принятия решений, был нарушен сниженной числовой точностью, что привело к сбою модели при удалении водяных знаков. Этот опыт подчеркнул, что возможность квантования зависит от архитектуры модели и ее чувствительности к чувствительным к точности структурам, таким как маскирование.Теперь ClearPix придерживается строгой последовательности оптимизации: во-первых, выбирает архитектуру, подходящую для браузерной среды; во-вторых, рассматривает битовую ширину только в том случае, если модель не имеет внутренних компонентов, чувствительных к точности; и в-третьих, исследует оптимизации среды выполнения с низкими ожиданиями. Они также подчеркивают, что бенчмарки качества, а не субъективная визуальная оценка, необходимы для проверки изменений модели. Их оптимизированные модели развертываются на стороне клиента, обеспечивая частные инструменты обработки медиа в браузере.