Google prezentuje VaultGemma: model językowy z wbudowaną ochroną prywatności na dużą skalę
W świecie sztucznej inteligencji ochrona danych osobowych staje się priorytetem. Google odpowiada na to wyzwanie, prezentując VaultGemma 1B, zaawansowany model językowy, który od samego początku został zaprojektowany z myślą o prywatności. Model ten, wytrenowany z użyciem techniki prywatności różnicowej (DP), ma stanowić fundament dla przyszłych, bezpiecznych i transparentnych systemów AI.
Dlaczego prywatność różnicowa jest kluczowa dla modeli językowych?
Modele językowe, uczone na ogromnych zbiorach danych z internetu, są podatne na ataki polegające na wydobywaniu wrażliwych informacji. Badania wykazały, że dane treningowe mogą ujawniać treści dosłowne, szczególnie w modelach o otwartym dostępie. Prywatność różnicowa (DP) to matematyczna gwarancja, która zapobiega nadmiernemu wpływowi pojedynczych przykładów treningowych na model – tłumaczy Google – VaultGemma wdraża pełne prywatne wstępne trenowanie, zapewniając ochronę prywatności już na poziomie podstawowym.
Architektura VaultGemma
VaultGemma, mimo że inspirowana wcześniejszymi modelami Gemma, została zoptymalizowana pod kątem prywatnego trenowania. Posiada 1 miliard parametrów i 26 warstw, wykorzystuje architekturę transformatora (tylko dekoder) i mechanizm uwagi Multi-Query Attention (MQA). Zmniejszona długość sekwencji do 1024 tokenów obniża koszty obliczeniowe i umożliwia stosowanie większych partii danych, co jest istotne w kontekście DP.
Dane treningowe i proces wdrażania prywatności różnicowej
Model był trenowany na zbiorze 13 bilionów tokenów, składającym się głównie z angielskiego tekstu z dokumentów internetowych, kodu i artykułów naukowych. Zastosowano filtry, by usunąć treści niebezpieczne, zredukować ekspozycję na dane osobowe i zapobiec zanieczyszczeniu danymi ewaluacyjnymi. Implementacja DP-SGD (Differentially Private Stochastic Gradient Descent) z obcinaniem gradientów i dodawaniem szumu Gaussowskiego opierała się na JAX Privacy i wprowadziła optymalizacje skalowalności.
Skalowalność i konfiguracja treningu
Trening dużych modeli z ograniczeniami DP wymaga innowacyjnych strategii skalowania. Zespół VaultGemma opracował specyficzne prawa skalowania DP, modelowanie tempa uczenia się i ekstrapolację wartości strat. Model był trenowany na 2048 chipach TPUv6e, z rozmiarem partii około 518 tys. tokenów i 100 tys. iteracji.
Wyniki i porównania
VaultGemma osiąga obiecujące wyniki, choć ustępuje modelom nietrenowanym z użyciem DP. Na przykład, w teście ARC-C uzyskał wynik 26.45 w porównaniu do 38.31 (Gemma-3 1B). Testy memorisation potwierdziły brak wycieku danych treningowych, co jest kluczowe dla ochrony prywatności. Wyniki sugerują, że modele trenowane z DP dorównują modelom nieprywatnym sprzed około pięciu lat.
Podsumowanie
VaultGemma 1B udowadnia, że można trenować duże modele językowe z rygorystycznymi gwarancjami prywatności różnicowej. Chociaż istnieje jeszcze pewna różnica w użyteczności w porównaniu z modelami nieprywatnymi, udostępnienie modelu i jego metodologii treningowej stanowi silny fundament dla rozwoju prywatnej AI. Praca ta sygnalizuje zwrot w kierunku budowania modeli, które są nie tylko wydajne, ale także bezpieczne, transparentne i chroniące prywatność.
