AIが私たちの生活にますます統合されるにつれて、プライバシーを中核に据えたAIの構築は重要なフロンティアとなっています。差分プライバシー（DP）は、記憶を防ぐために調整されたノイズを追加することで、数学的に堅牢なソリューションを提供します。しかし、LLMにDPを適用すると、従来のスケーリング法則を変化させるトレードオフが生じ、トレーニングの安定性が低下し、コストが増加します。新しい研究では、これらの複雑さを正確にモデル化する法則が確立され、計算・プライバシー・ユーティリティのトレードオフの全体像が提供されています。この研究に基づき、差分プライバシーでスクラッチからトレーニングされた最大のオープンモデル（10億パラメータ）であるVaultGemmaが導入されました。この研究は、DPトレーニングにおけるモデルサイズ、バッチサイズ、イテレーションの増加の利点を定量化し、主にノイズバッチ比に焦点を当てました。重要な発見は、DPなしの場合よりも、より大きなバッチサイズでより小さなモデルをトレーニングすべきであるということです。これらのスケーリング法則と高度なトレーニングアルゴリズムを使用してVaultGemmaが構築され、プライベートAIにおける大きな進歩を表しています。VaultGemmaは、トレーニングデータの検出可能な記憶がないことを示しており、DPトレーニングの有効性を検証しています。DPトレーニングモデルと非DPトレーニングモデルの間にはユーティリティのギャップが依然として存在しますが、この研究はそれを体系的に狭めることを目指しています。