Nous mettons en commun des cartes graphiques inutilisées pour entraîner ensemble des modèles de langage ouverts. Notre première langue est le turc. Le résultat est publié sous licence ouverte, pour tous.
En IA, personne ne devrait détenir cela seul :
Nous avons ouvert le code d'entraînement et le client bénévole sous Apache-2.0.
Les poids du modèle seront publiés de façon que chacun puisse les télécharger et les exécuter sur sa propre machine.
Nous écrirons clairement avec quoi nous entraînons et sous quelle licence se trouve chaque source.
Les contributions seront enregistrées ; nous fixerons l'orientation ensemble.
Nous publierons le code et les poids du modèle sous Apache-2.0. Nous listerons ouvertement les sources des données d'entraînement et leurs licences.
LicenceChaque carré illustre la carte graphique d'un bénévole. Le vrai réseau n'existe pas encore.
Nous figeons le modèle de base et n'entraînons qu'un petit adaptateur LoRA. Dans notre essai, le pic de mémoire était de 5,2 Go ; il tenait sur une carte d'ordinateur portable de 8 Go.
FonctionnementSurfaces à l'échelle (≈30:1)
Les bénévoles se synchronisent tous les 25 pas, pas à chaque pas. Dans notre simulation, environ 25 fois moins de données ont circulé ; l'écart était de 0,09 % en bits par octet.
Nos mesuresSynchronisation à chaque pas : 25 synchronisations
Synchronisation espacée : 1 synchronisation
Une fenêtre de 25 pas (illustration)
La modélisation du turc s'est améliorée, mais nous n'avons vu aucune amélioration sur TurkishMMLU. Ce ne sont que de petites expériences : un essai, une graine, pas de vrai réseau.
Feuille de routeNous n'avons pas de logos de clients. Nous avons des mesures.
Synchronisation espacée sur un adaptateur, 4 travailleurs simulés. Simulation.
Entre l'entraînement à synchronisation espacée et à chaque pas, en bits par octet : 1,2166 contre 1,2155.
20 minutes de LoRA sur Qwen3-0.6B, sur une carte graphique grand public de 8 Go.
TurkishMMLU 35,6 % → 34,7 %, dans le bruit. Nous ne pouvons pas encore dire « le modèle s'est amélioré ».
Petites expériences : un essai, une graine, pas de vrai réseau. Tous les tableaux sur la page Mesures.
Simulation de synchronisation espacée sur un petit modèle.
Court pré-entraînement continu avec LoRA sur 8 Go.
Plus de données turques, benchmarks.
Open source ; Windows et Ubuntu. Mises à jour signées ensuite.
Essais sur un vrai réseau, puis une première publication.
Nous ne prenons aucun engagement de date.
Dans un halay, chacun prend le bras de son voisin ; le cercle n'a ni début ni fin. Notre réseau fonctionnera de la même façon.
Chaque bénévole porte une lanterne : l'effort de votre carte graphique, une lumière. La lumière passe de main en main et aucune main seule ne la retient.
Ce n'est pas un travail pour une seule personne. Voici ce dont nous avons le plus besoin :
Nous n'utilisons votre adresse e-mail que pour les annonces de Modelen.
Participer