Создание ИИ с упором на конфиденциальность является важнейшим направлением по мере того, как ИИ все больше интегрируется в нашу жизнь. Дифференциальная приватность (DP) предлагает математически надежное решение, добавляя калиброванный шум для предотвращения запоминания. Однако применение DP к LLM приводит к компромиссам, которые изменяют традиционные законы масштабирования, снижая стабильность обучения и увеличивая затраты. Новые исследования установили законы, которые точно моделируют эти тонкости, предоставляя полную картину компромиссов между вычислениями, конфиденциальностью и полезностью. Руководствуясь этими исследованиями, была представлена VaultGemma, самая большая открытая модель (1B параметров), обученная с нуля с дифференциальной приватностью. Это исследование количественно оценило выгоду от увеличения размеров модели, размеров пакетов и итераций в обучении DP, уделяя основное внимание соотношению шум-пакет. Ключевым выводом является то, что следует обучать меньшую модель с большим размером пакета, чем без DP. Используя эти законы масштабирования и передовые алгоритмы обучения, была создана VaultGemma, представляющая собой значительный шаг вперед в области приватного ИИ. VaultGemma не демонстрирует обнаруживаемого запоминания своих обучающих данных, подтверждая эффективность обучения DP. Хотя разрыв в полезности между моделями, обученными с DP, и моделями, обученными без DP, сохраняется, это исследование направлено на его систематическое сужение.