Der Aufbau von KI mit Datenschutz als Kern ist eine entscheidende Herausforderung, da KI immer stärker in unser Leben integriert wird. Differentielle Privatsphäre (DP) bietet eine mathematisch robuste Lösung, indem sie kalibriertes Rauschen hinzufügt, um das Auswendiglernen zu verhindern. Die Anwendung von DP auf LLMs führt jedoch zu Kompromissen, die traditionelle Skalierungsgesetze verändern, die Trainingsstabilität verringern und die Kosten erhöhen. Neue Forschungsergebnisse haben Gesetze aufgestellt, die diese Feinheiten genau modellieren und ein vollständiges Bild der Trade-offs zwischen Rechenleistung, Datenschutz und Nutzen liefern. Geleitet von dieser Forschung wurde VaultGemma, das größte Open-Model (1B-Parameter), das von Grund auf mit differentieller Privatsphäre trainiert wurde, eingeführt. Diese Forschung quantifizierte den Nutzen der Erhöhung der Modellgrößen, Batchgrößen und Iterationen im DP-Training, wobei der Schwerpunkt auf dem Rausch-Batch-Verhältnis lag. Ein wichtiges Ergebnis ist, dass man ein kleineres Modell mit einer größeren Batchgröße trainieren sollte als ohne DP. Unter Verwendung dieser Skalierungsgesetze und fortschrittlicher Trainingsalgorithmen wurde VaultGemma aufgebaut, was einen bedeutenden Fortschritt in der privaten KI darstellt. VaultGemma zeigt kein nachweisbares Auswendiglernen seiner Trainingsdaten und validiert damit die Wirksamkeit des DP-Trainings. Während eine Nutzungsdifferenz zwischen DP-trainierten und nicht-DP-trainierten Modellen besteht, zielt diese Forschung darauf ab, diese systematisch zu verringern.