Nasıl çalışır
Sıfırdan değil. Açık bir tabandan.
Modeli baştan eğitmek yerine yeni bir dili öğrenen küçük bir parçayı eğitiyoruz (ilk dilimiz Türkçe) ve bu parçayı gönüllü bilgisayarlara bölüyoruz.
Açık bir tabandan başlarız
Lisansı uygun bir model alırız; ilk deneyimizde Qwen3-0.6B-Base (Apache-2.0). Sıfırdan eğitim tek ekran kartında aylar sürer ve 8 GB belleğe sığmaz.
Yalnızca küçük bir adaptörü eğitiriz
LoRA ile taban donuk kalır. Denememizde adaptör ≈ 40 MB, tepe bellek 5,2 GB oldu. Bu, bir dizüstü ekran kartına sığar.
Güncellemeleri seyrek birleştiririz
Her gönüllü bir süre kendi veri diliminde çalışır; yalnızca adaptör farkları toplanır (DiLoCo). Simülasyonumuzda yaklaşık 25 kat az veri taşındı.
Katkıyı doğrularız
Hatalı ya da kötü niyetli güncelleme gelebilir. Planımız: aynı işi birden fazla makinede doğrulamak, güncelleme büyüklüğünü ve uyumunu denetlemek, bilinen küçük kontrol görevleri eklemek. Bu mekanizmalar henüz geliştirme aşamasında.
Bilgisayarınıza ne olur
- İstemci açık kaynak olacak; ne çalıştırdığını okuyabilirsiniz.
- Güncellemeler imzalı olacak.
- İstemci yalnızca eğitim işini çalıştırır; dosyalarınıza ve kişisel verilerinize erişmez. Bu bir tasarım ilkesi; istemci yayınlandığında doğrulanabilir olmalı.
- İstediğiniz an durdurursunuz.
Bilmediklerimiz
1 milyar parametre ve üzerinde, gerçek internet koşullarında, farklı veri dilimleriyle, gönüllü kaybı ve kötü niyetli katkı varken sonuçların nasıl değişeceğini ölçmedik. Şimdiye kadarki ölçümler Ölçümler sayfasında.