NDSS 2025 – Новая парадигма PPML для квантованных моделей

Этот текст резюмирует статью, представленную на симпозиуме NDSS, посвященном безопасности машинного обучения. В статье представлена новая парадигма для машинного обучения, сохраняющего конфиденциальность (PPML), разработанная специально для квантованных моделей с целью повышения эффективности. Квантование моделей часто используется для оптимизации моделей машинного обучения для скорости и использования ресурсов. Традиционные подходы PPML испытывают трудности с квантованными моделями из-за их сложной внутренней структуры. Ключевой идеей статьи является использование таблиц поиска для упрощения оценки квантованных операторов. Авторы рассматривают вывод модели как серию квантованных операторов, каждый из которых обрабатывается с помощью таблицы поиска. Они разработали эффективный протокол оценки частной таблицы поиска, который минимизирует затраты на онлайн-связь. Этот протокол обеспечивает поразительно высокую производительность на одном ядре процессора. Получившаяся структура PPML демонстрирует значительное ускорение по сравнению с существующими решениями. Эксперименты показывают значительное улучшение онлайн-производительности для моделей CNN. Большие языковые модели также выигрывают от предложенных улучшений. Симпозиум NDSS - это конференция, посвященная безопасности сетей и распределенных систем. Она освещает практическое проектирование и реализацию систем и способствует внедрению передовых технологий безопасности. В тексте также выражается благодарность NDSS за публикацию контента.