So funktioniert es
Nicht von Grund auf. Von einer offenen Basis aus.
Statt ein Modell von Null zu trainieren, trainieren wir einen kleinen Teil, der eine neue Sprache lernt (zuerst Türkisch), und verteilen diesen Teil auf Computer von Freiwilligen.
Wir starten von einer offenen Basis
Wir nehmen ein passend lizenziertes Modell; in unserem ersten Experiment Qwen3-0.6B-Base (Apache-2.0). Training von Grund auf dauert auf einer Grafikkarte Monate und passt nicht in 8 GB Speicher.
Wir trainieren nur einen kleinen Adapter
Mit LoRA bleibt die Basis eingefroren. In unserem Experiment war der Adapter ≈ 40 MB groß und der Spitzenspeicher 5,2 GB. Das passt auf eine Laptop-Grafikkarte.
Wir führen Updates selten zusammen
Jede Freiwillige und jeder Freiwillige arbeitet eine Weile an einem eigenen Datenausschnitt; nur die Adapter-Unterschiede werden gesammelt (DiLoCo). In unserer Simulation wurden etwa 25-mal weniger Daten bewegt.
Wir prüfen Beiträge
Es können fehlerhafte oder böswillige Updates eintreffen. Unser Plan: dieselbe Arbeit auf mehreren Rechnern prüfen, Größe und Konsistenz der Updates kontrollieren und kleine, bekannte Testaufgaben einstreuen. Diese Mechanismen sind noch in Entwicklung.
Was auf Ihrem Computer passiert
- Der Client ist Open Source; Sie können lesen, was er ausführt.
- Signierte Updates sind unser Ziel; bisher lassen sich Releases mit einem SHA-256-Hash und einer Build-Provenance-Bestätigung prüfen.
- Der Client führt nur den Trainingsjob aus und greift nicht auf Ihre Dateien oder personenbezogenen Daten zu. Das ist ein Designprinzip; Sie können es überprüfen, indem Sie den Code auf GitHub lesen.
- Sie können jederzeit aufhören.
Was wir nicht wissen
Wir haben nicht gemessen, wie sich die Ergebnisse bei 1 Milliarde Parametern und mehr, unter echten Internetbedingungen, mit unterschiedlichen Datenausschnitten sowie bei Ausfällen und böswilligen Beiträgen von Freiwilligen verändern. Unsere bisherigen Messungen finden Sie auf der Seite Messungen.