AI가 우리 삶에 더욱 깊숙이 통합됨에 따라, 프라이버시를 핵심으로 하는 AI 구축은 중요한 과제가 되고 있습니다. 차등 프라이버시(DP)는 기억을 방지하기 위해 보정된 노이즈를 추가함으로써 수학적으로 강력한 솔루션을 제공합니다. 그러나 LLM에 DP를 적용하면 기존의 스케일링 법칙을 변경하고, 훈련 안정성을 감소시키며, 비용을 증가시키는 트레이드오프가 발생합니다. 새로운 연구는 이러한 복잡성을 정확하게 모델링하는 법칙을 확립하여, 컴퓨팅-프라이버시-유틸리티 간의 트레이드오프에 대한 완전한 그림을 제공합니다. 이 연구를 바탕으로, 차등 프라이버시로 처음부터 훈련된 가장 큰 오픈 모델(10억 매개변수)인 VaultGemma가 소개되었습니다. 이 연구는 DP 훈련에서 모델 크기, 배치 크기, 반복 횟수를 늘리는 것의 이점을 정량화했으며, 주로 노이즈-배치 비율에 초점을 맞췄습니다. 핵심적인 발견은 DP 없이 훈련하는 것보다 더 큰 배치 크기로 더 작은 모델을 훈련해야 한다는 것입니다. 이러한 스케일링 법칙과 고급 훈련 알고리즘을 사용하여 VaultGemma가 구축되었으며, 이는 프라이빗 AI의 중요한 진전을 나타냅니다. VaultGemma는 훈련 데이터에 대한 감지 가능한 기억이 없음을 보여주며, DP 훈련의 효과를 입증합니다. DP로 훈련된 모델과 DP 없이 훈련된 모델 간의 유틸리티 격차가 여전히 존재하지만, 이 연구는 이를 체계적으로 좁히는 것을 목표로 합니다.