Feuille de route

Nous écrivons les étapes, pas les dates.

Quand une étape se termine, nous publierons ce que nous avons mesuré ainsi que ce que nous n'avons pas pu trouver.

00 · TERMINÉRecherche

Synchronisation espacée sur un petit modèle et simulation DiLoCo à l'échelle d'un adaptateur.

01 · PREMIÈRE EXPÉRIENCEPremière langue : le turc

Court pré-entraînement continu avec LoRA sur Qwen3-0.6B-Base avec 8 Go.

02 · À SUIVREDonnées et évaluation

Plus de données turques, mélange de rejeu en anglais, tokenizer, une base 1,7B.

03 · DISPONIBLE (ALPHA)Client bénévole

Open source ; Windows et Ubuntu. Ensuite : mises à jour signées, vérification des contributions.

04Pilote fermé

Entraînement sur un vrai réseau avec un petit groupe de bénévoles.

05Réseau ouvert et première publication

Poids, code et liste des sources de données sous Apache-2.0 / licences applicables.

Risques connus

Des recherches suggèrent que des poids entraînés avec une synchronisation espacée se combinent mal avec un entraînement standard ultérieur. Nous le testerons nous-mêmes.
Les licences des données d'entraînement (par ex. données CC BY-SA) doivent faire l'objet d'un examen juridique pour les poids que nous publierons. Nous en annoncerons le résultat sur la page Licence.
Des modèles ouverts existent déjà pour de nombreuses langues. Notre différence doit être une amélioration mesurable et la détention par la communauté.