Modelen

KI sollte geteilt werden.

Wir bündeln ungenutzte Grafikkarten, um offene Sprachmodelle gemeinsam zu trainieren. Unsere erste Sprache ist Türkisch. Das Ergebnis erscheint unter einer offenen Lizenz für alle.

Wir sind im Forschungsstadium. Noch kein veröffentlichtes Modell.

Bei KI sollte niemand das allein in der Hand halten:

den Code.

Wir haben den Trainingscode und den Freiwilligen-Client unter Apache-2.0 geöffnet.

die Gewichte.

Die Modellgewichte werden so veröffentlicht, dass jeder sie herunterladen und auf dem eigenen Rechner ausführen kann.

die Datenliste.

Wir schreiben offen auf, womit wir trainieren und unter welcher Lizenz jede Quelle steht.

die Entscheidungen.

Beiträge werden dokumentiert; die Richtung bestimmen wir gemeinsam.

Wir trainieren gemeinsam. Es gehört uns allen.

Code und Modellgewichte veröffentlichen wir unter Apache-2.0. Die Quellen der Trainingsdaten und ihre Lizenzen listen wir offen auf.

Lizenz

Jedes Quadrat steht für die Grafikkarte eines Freiwilligen (Illustration). Das echte Netzwerk gibt es noch nicht.

Ihre Grafikkarte genügt. Kein Serverraum nötig.

Wir frieren das Basismodell ein und trainieren nur einen kleinen LoRA-Adapter. In unserem Versuch lag der Spitzenspeicher bei 5,2 GB; er passte auf eine Laptop-Karte mit 8 GB.

So funktioniert es
Basis ≈ 1,2 GB
Adapter ≈ 40 MB

Flächen maßstabsgetreu (≈30:1)

Wir bewegen weniger Daten. Das Ergebnis bleibt gleich.

Freiwillige synchronisieren nicht bei jedem Schritt, sondern alle 25 Schritte. In unserer Simulation wurden etwa 25-mal weniger Daten bewegt; der Unterschied betrug 0,09 % in Bit pro Byte.

Unsere Messungen

Synchronisation bei jedem Schritt: 25 Syncs

Seltene Synchronisation: 1 Sync

Ein Fenster von 25 Schritten (Illustration)

Wir schreiben auch unsere Grenzen auf.

Die türkische Sprachmodellierung hat sich verbessert, bei TurkishMMLU sahen wir aber keine Verbesserung. Alles sind kleine Experimente: ein Lauf, ein Seed, kein echtes Netzwerk.

Fahrplan
Basis
35,6%
Nach LoRA
34,7%

TurkishMMLU 5-shot · gestrichelte Linie: Zufall 20 % · Messrauschen ≈ ±1,6 Punkte

Was wir bisher gemessen haben

Wir haben keine Kundenlogos. Wir haben Messungen.

~25×weniger Daten bewegt

Seltene Synchronisation auf einem Adapter, 4 simulierte Worker. Simulation.

0,09 %Unterschied

Zwischen seltener und bei jedem Schritt synchronisiertem Training, in Bit pro Byte: 1,2166 gegenüber 1,2155.

−4,3 %Türkisch Bit pro Byte

20 Minuten LoRA auf Qwen3-0.6B, auf einer Verbraucher-Grafikkarte mit 8 GB.

0Benchmark-Verbesserung

TurkishMMLU 35,6 % → 34,7 %, im Rauschen. Wir können noch nicht sagen: „Das Modell ist besser geworden“.

Kleine Experimente: ein Lauf, ein Seed, kein echtes Netzwerk. Alle Tabellen auf der Seite Messungen.

Wo wir stehen

00 · ERLEDIGTForschung

Simulation seltener Synchronisation an einem kleinen Modell.

01 · ERSTES EXPERIMENTErste Sprache: Türkisch

Kurzes fortgesetztes Vortraining mit LoRA auf 8 GB.

02 · ALS NÄCHSTESDaten und Evaluation

Mehr türkische Daten, Benchmarks.

03 · VERFÜGBAR (ALPHA)Freiwilligen-Client

Open Source; Windows und Ubuntu. Signierte Updates folgen.

04Pilot und offenes Netzwerk

Tests im echten Netzwerk, danach eine erste Veröffentlichung.

Wir machen keine Terminzusagen.

Warum der Halay-Ring?

Beim Halay fasst jeder seinen Nachbarn am Arm; der Kreis hat weder Anfang noch Ende. So soll auch unser Netzwerk funktionieren.

Jede Freiwillige und jeder Freiwillige trägt eine Laterne: die Arbeit Ihrer Grafikkarte, ein Licht. Das Licht geht von Hand zu Hand, und keine einzelne Hand hält es fest.

Der Kreis
Keine Anführer; alle stehen gleichberechtigt.
Die Hände
Beiträge sind miteinander verbunden und prüfen sich gegenseitig.
Die Laternen
Das Licht jedes Freiwilligen fließt in das gemeinsame Modell.
Modelen-Logo: fünf Hände, die sich bei den Armen fassen, jede trägt eine Laterne

Hilfe, die wir suchen

Das ist keine Ein-Personen-Aufgabe. Am meisten brauchen wir gerade:

Tiefer einsteigen

Stellen Sie Ihre GPU zur Verfügung oder werden Sie Koordinator.

Wir verwenden Ihre E-Mail-Adresse nur für Modelen-Ankündigungen.

Mitmachen