Ölçümler
Ne ölçtük, ne ölçemedik.
Hepsi küçük, tek donanımlı denemeler. Her tablonun altında sınırını yazıyoruz.
| Deney | Sorumuz | Sonuç | Durum |
|---|---|---|---|
| 1 · Seyrek senkronizasyon (oyuncak model) | Seyrek senkron kaybı ne kadar artırır? | +0,07 ile +0,23 nat (veriye ve H'ye göre) | tamamlandı · küçük ölçek |
| 2 · Qwen3-0.6B Türkçe uyarlama | 20 dakikalık LoRA Türkçeyi iyileştirir mi? | Dil modelleme −%4,3; kıyas testi değişmedi | tamamlandı · tek koşu |
| 3 · Adaptör-DiLoCo | Adaptörde seyrek senkronizasyonun bedeli? | Fark %0,09; ~25× az veri | tamamlandı · simülasyon |
Ham çıktılar ve betikler GitHub deposunda (Apache-2.0).
1 · Seyrek senkronizasyon, oyuncak model DiLoCo
3,3M parametreli bayt düzeyinde bir GPT, 4 sanal işçi, işçi başına 500 adım, 3 tohum, dış optimizer lr 1,0 / momentum 0,5. İki veriyle denedik: küçük bir yerel Türkçe metin (256 KB) ve Türkçe Vikipedi'nin ilk 3280 makalesi (30 MB). Değerler, referans eğitime (her adımda senkron) göre doğrulama kaybı farkıdır (nat; düşük iyi).
| H (iki senkron arası adım) | Senkron sayısı | Yerel metin: fark | Vikipedi: fark |
|---|---|---|---|
| 10 | 50 | +0,067 | +0,126 |
| 25 | 20 | +0,107 | +0,112 |
| 50 | 10 | +0,161 | +0,168 |
| 100 | 5 | +0,226 | +0,156 |
Referans kayıp: yerel metinde 1,532, Vikipedi'de 1,919.
Sınır: küçük model, dış optimizer yalnızca H=25'te ayarlandı. Vikipedi'de H'nin etkisi tohum gürültüsüyle aynı büyüklükte; "H büyüdükçe düzenli kötüleşir" demiyoruz. 12 ayarlık dış optimizer taraması daha iyi bir nokta bulmadı.
2 · Qwen3-0.6B Türkçe uyarlama LoRA
Qwen3-0.6B-Base, LoRA r=16 (tüm doğrusal katmanlar), 215 adım ≈ 1,76M token, RTX 4060 Laptop (8 GB), adım başına ≈ 5,6 sn, tepe bellek 5,23 GB, adaptör 40,4 MB. Türkçe değerlendirme, eğitimde kullanılmayan bir Vikipedi parçasından.
| Ölçüt | Taban | LoRA sonrası |
|---|---|---|
| Türkçe bayt başına bit | 1,297 | 1,241 |
| Türkçe perplexity | 15,22 | 13,52 |
| İngilizce bayt başına bit (WikiText-2) | 0,9468 | 0,9597 |
| TurkishMMLU 5-shot | %35,6 (320/900) | %34,7 (312/900) |
| Kelime başına token | 2,78 | 2,78 |
Okuma: Türkçe dil modelleme iyileşti, İngilizcede hafif kayıp var, TurkishMMLU'da fark 8 soru ve 900 soruluk testin standart hatası (≈ 1,6 puan) içinde. "Model iyileşti" diyemiyoruz. Sınır: tek koşu; değerlendirme metni eğitimle aynı alandan.
3 · Adaptör-DiLoCo simülasyon
Qwen3-0.6B + LoRA, 4 sanal işçi (taban paylaşılan ve dondurulmuş), 8 tur × 25 yerel adım. Baseline: aynı toplam işlem, her adımda senkron. Ölçü: Türkçe bayt başına bit, 60 bin tokenlik ayrılmış parça.
| Tur | Baseline | Adaptör-DiLoCo |
|---|---|---|
| 0 | 1,2714 | 1,2714 |
| 2 | 1,2390 | 1,2395 |
| 4 | 1,2238 | 1,2275 |
| 6 | 1,2184 | 1,2201 |
| 8 | 1,2155 | 1,2166 |
Son fark 0,0011 (%0,09); baseline kazancının ≈ %98'i. İletişim (hesap): baseline 200 adım × 4 işçi × 40,4 MB ≈ 32 GB, DiLoCo 8 tur ≈ 1,3 GB. Tepe bellek 5,64 GB.
Sınır: tek tohum, küçük ölçüm parçası, veri dilimleri aynı akıştan (gerçek gönüllülerde farklı olur), ağ gecikmesi, işçi kaybı ve kötü niyetli katkı yok, dış optimizer bu model için ayarlanmadı, DiLoCo sonrası standart eğitimle uyum sınanmadı.