Google Research, yapay zekâ alanında kullanıcı gizliliğini öncelik haline getiren yeni modeli VaultGemma’yı duyurdu. Diferansiyel gizlilik (differential privacy) yöntemiyle sıfırdan eğitilen bu büyük dil modeli (LLM), Hugging Face ve Kaggle üzerinden açık kaynaklı olarak yayımlandı. Bu sayede hem araştırmacılar hem de şirketler, VaultGemma’yı indirip deneyimleyebilecek.
VaultGemma Nedir?
VaultGemma, yapay zekâ modellerinin kullanıcı verilerini ezberlemesini ve tekrar üretmesini engellemek için geliştirildi. Model, eğitim sırasında kontrollü gürültü ekleme tekniği ile çalışıyor. Böylece veriler, modelin çıktılarında doğrudan yer almıyor.
Bu yöntem;
- Daha büyük veri kümeleri,
- Daha yüksek hesaplama gücü,
gerektirdiği için teknik olarak zorlayıcı. Ancak Google, DeepMind iş birliğiyle geliştirdiği yeni ölçeklenme yasaları sayesinde bu süreci yönetebilir hale geldi.
VaultGemma’nın Öne Çıkan Özellikleri
- 1 milyar parametreye sahip.
- Yalnızca 3 milyar aktif parametreyle verimli çalışıyor.
- 256 bin token uzunluğunda metinleri işleyebiliyor.
- RoPE yöntemleri sayesinde bu sınır 1 milyon tokene kadar çıkabiliyor.
- ε ≤ 2.0, δ ≤ 1.1e-10 seviyesinde sıkı gizlilik garantisi sunuyor.
- Eğitim sırasında verileri ezberlemiyor ve yeniden üretemiyor.
Bu teknik veriler, VaultGemma’nın günümüzün en gelişmiş ticari yapay zekâ modelleriyle benzer seviyede bir bağlam uzunluğu sunduğunu gösteriyor.
Performans ve Gizlilik Dengesi
Google’ın yaptığı testlerde, VaultGemma’nın beş yıl önceki GPT-2 ile benzer performans verdiği ortaya çıktı. Bu, modern diferansiyel gizlilik yöntemlerinin artık pratikte uygulanabilir olduğunu kanıtlıyor. Ancak, gizlilik için ödenen işlem maliyetinin halen yüksek olduğu da görülüyor.
Yapay Zekâda Gizlilik İçin Yol Haritası
Google, VaultGemma ile yalnızca bir model sunmakla kalmadı; aynı zamanda gelecekte geliştirilecek gizlilik odaklı yapay zekâ sistemleri için bir yol haritası da oluşturdu. Açık kaynaklı olarak sunulması, yapay zekâ ekosisteminde güvenliğin ve şeffaflığın daha geniş bir topluluk tarafından test edilmesini sağlayacak.