Fahrplan
Wir schreiben die Etappen auf, nicht die Termine.
Wenn eine Etappe endet, veröffentlichen wir, was wir gemessen haben, und auch das, was wir nicht finden konnten.
00 · ERLEDIGTForschung
Seltene Synchronisation an einem kleinen Modell und eine DiLoCo-Simulation im Adapter-Maßstab.
01 · ERSTES EXPERIMENTErste Sprache: Türkisch
Kurzes fortgesetztes Vortraining mit LoRA auf Qwen3-0.6B-Base mit 8 GB.
02 · ALS NÄCHSTESDaten und Evaluation
Mehr türkische Daten, englisches Replay-Gemisch, Tokenizer, eine 1,7B-Basis.
03 · VERFÜGBAR (ALPHA)Freiwilligen-Client
Open Source; Windows und Ubuntu. Als Nächstes: signierte Updates, Verifikation der Beiträge.
04Geschlossener Pilot
Training über ein echtes Netzwerk mit einer kleinen Gruppe von Freiwilligen.
05Offenes Netzwerk und erste Veröffentlichung
Gewichte, Code und Liste der Datenquellen unter Apache-2.0 bzw. den jeweils geltenden Lizenzen.
Bekannte Risiken
- Forschungsergebnisse deuten darauf hin, dass sich mit seltener Synchronisation trainierte Gewichte schlecht mit späterem Standardtraining kombinieren lassen. Das testen wir selbst.
- Lizenzen der Trainingsdaten (z. B. CC-BY-SA-Daten) müssen für die veröffentlichten Gewichte rechtlich geprüft werden. Das Ergebnis geben wir auf der Seite Lizenz bekannt.
- Für viele Sprachen gibt es schon offene Modelle. Unser Unterschied muss messbare Verbesserung und Besitz durch die Community sein.