Разблокировка высокоточной дифференциально-частной классификации изображений через масштаб

Согласно эмпирическим данным из предыдущих работ, ухудшение полезности в DP-SGD становится более серьезным в более крупных моделях нейронных сетей – включая те, которые регулярно используются для достижения наилучших результатов в сложных задачах классификации изображений. Наша работа исследует это явление и предлагает серию простых модификаций как к процедуре обучения, так и к архитектуре модели, что приводит к значительному улучшению точности обучения DP на стандартных бенчмарках классификации изображений.