Messungen
Was wir gemessen haben, was nicht.
Alles kleine Experimente auf einer einzigen Hardware. Unter jeder Tabelle schreiben wir ihre Grenze auf.
| Experiment | Unsere Frage | Ergebnis | Stand |
|---|---|---|---|
| 1 · Seltene Synchronisation (Spielzeugmodell) | Wie stark erhöht seltene Synchronisation den Verlust? | +0,07 bis +0,23 nat (je nach Daten und H) | erledigt · kleiner Maßstab |
| 2 · Türkische Anpassung von Qwen3-0.6B | Verbessern 20 Minuten LoRA das Türkische? | Sprachmodellierung −4,3 %; Benchmark unverändert | erledigt · ein Lauf |
| 3 · Adapter-DiLoCo | Was kostet seltene Synchronisation bei einem Adapter? | 0,09 % Abstand; ~25× weniger Daten | erledigt · Simulation |
Rohausgaben und Skripte liegen im GitHub-Repository (Apache-2.0).
1 · Seltene Synchronisation, Spielzeugmodell DiLoCo
Ein GPT auf Byte-Ebene mit 3,3 Mio. Parametern, 4 simulierte Worker, 500 Schritte pro Worker, 3 Seeds, äußerer Optimierer lr 1,0 / Momentum 0,5. Wir haben zwei Datensätze getestet: einen kleinen lokalen türkischen Text (256 KB) und die ersten 3.280 Artikel der türkischen Wikipedia (30 MB). Die Werte sind der Abstand des Validierungsverlusts zum Referenzlauf (bei jedem Schritt synchronisiert), in nat; kleiner ist besser.
| H (Schritte zwischen Syncs) | Anzahl der Syncs | Lokaler Text: Abstand | Wikipedia: Abstand |
|---|---|---|---|
| 10 | 50 | +0,067 | +0,126 |
| 25 | 20 | +0,107 | +0,112 |
| 50 | 10 | +0,161 | +0,168 |
| 100 | 5 | +0,226 | +0,156 |
Referenzverlust: 1,532 beim lokalen Text, 1,919 bei Wikipedia.
Grenze: kleines Modell; der äußere Optimierer wurde nur bei H=25 abgestimmt. Bei Wikipedia ist der Einfluss von H so groß wie das Seed-Rauschen, daher behaupten wir nicht „es wird mit wachsendem H stetig schlechter“. Ein Sweep über 12 Einstellungen des äußeren Optimierers fand keinen besseren Punkt.
2 · Türkische Anpassung von Qwen3-0.6B LoRA
Qwen3-0.6B-Base, LoRA r=16 (alle linearen Schichten), 215 Schritte ≈ 1,76 Mio. Token, RTX 4060 Laptop (8 GB), ≈ 5,6 s pro Schritt, Spitzenspeicher 5,23 GB, Adapter 40,4 MB. Die türkische Evaluation läuft auf einem Wikipedia-Ausschnitt, der nicht im Training verwendet wurde.
| Metrik | Basis | Nach LoRA |
|---|---|---|
| Türkisch Bit pro Byte | 1,297 | 1,241 |
| Türkische Perplexität | 15,22 | 13,52 |
| Englisch Bit pro Byte (WikiText-2) | 0,9468 | 0,9597 |
| TurkishMMLU 5-shot | 35,6 % (320/900) | 34,7 % (312/900) |
| Token pro Wort | 2,78 | 2,78 |
Einordnung: Die türkische Sprachmodellierung hat sich verbessert, Englisch zeigt einen leichten Verlust, und der Unterschied bei TurkishMMLU beträgt 8 Fragen, innerhalb des Standardfehlers (≈ 1,6 Punkte) eines Tests mit 900 Fragen. Wir können nicht sagen, dass das Modell besser geworden ist. Grenze: ein Lauf; der Evaluationstext stammt aus derselben Domäne wie das Training.
3 · Adapter-DiLoCo Simulation
Qwen3-0.6B + LoRA, 4 simulierte Worker (Basis geteilt und eingefroren), 8 Runden × 25 lokale Schritte. Baseline: gleicher Gesamtaufwand, bei jedem Schritt synchronisiert. Metrik: Türkisch Bit pro Byte auf einem zurückgehaltenen Ausschnitt von 60.000 Token.
| Runde | Baseline | Adapter-DiLoCo |
|---|---|---|
| 0 | 1,2714 | 1,2714 |
| 2 | 1,2390 | 1,2395 |
| 4 | 1,2238 | 1,2275 |
| 6 | 1,2184 | 1,2201 |
| 8 | 1,2155 | 1,2166 |
Endabstand 0,0011 (0,09 %); ≈ 98 % des Gewinns der Baseline. Kommunikation (berechnet): Baseline 200 Schritte × 4 Worker × 40,4 MB ≈ 32 GB, DiLoCo 8 Runden ≈ 1,3 GB. Spitzenspeicher 5,64 GB.
Grenze: ein Seed, kleiner zurückgehaltener Ausschnitt, Datenausschnitte aus demselben Strom (echte Freiwillige werden sich unterscheiden), keine Netzwerklatenz, kein Worker-Ausfall und keine böswilligen Beiträge, äußerer Optimierer nicht für dieses Modell abgestimmt, Kompatibilität mit späterem Standardtraining nicht getestet.