Fonctionnement
Pas à partir de zéro. À partir d'une base ouverte.
Au lieu d'entraîner un modèle de A à Z, nous entraînons une petite partie qui apprend une nouvelle langue (le turc d'abord) et nous la répartissons entre des ordinateurs de bénévoles.
Nous partons d'une base ouverte
Nous prenons un modèle sous licence adaptée ; dans notre première expérience, Qwen3-0.6B-Base (Apache-2.0). Un entraînement à partir de zéro prend des mois sur une carte graphique et ne tient pas dans 8 Go de mémoire.
Nous n'entraînons qu'un petit adaptateur
Avec LoRA, la base reste figée. Dans notre expérience, l'adaptateur faisait ≈ 40 Mo et le pic de mémoire 5,2 Go. Cela tient sur une carte graphique d'ordinateur portable.
Nous fusionnons les mises à jour de façon espacée
Chaque bénévole travaille un moment sur sa propre tranche de données ; seules les différences de l'adaptateur sont collectées (DiLoCo). Dans notre simulation, environ 25 fois moins de données ont circulé.
Nous vérifions les contributions
Des mises à jour défectueuses ou malveillantes peuvent arriver. Notre plan : vérifier le même travail sur plusieurs machines, contrôler la taille et la cohérence des mises à jour et ajouter de petites tâches de test connues. Ces mécanismes sont encore en développement.
Ce qui se passe sur votre ordinateur
- Le client est open source ; vous pouvez lire ce qu'il exécute.
- Des mises à jour signées sont notre objectif ; pour l'instant, les versions peuvent être vérifiées avec une empreinte SHA-256 et une attestation de provenance de build.
- Le client n'exécute que la tâche d'entraînement et n'accède ni à vos fichiers ni à vos données personnelles. C'est un principe de conception ; vous pouvez le vérifier en lisant le code sur GitHub.
- Vous pouvez vous arrêter à tout moment.
Ce que nous ne savons pas
Nous n'avons pas mesuré comment les résultats évoluent à partir de 1 milliard de paramètres, dans des conditions réelles d'Internet, avec des tranches de données différentes, ni avec des abandons de bénévoles et des contributions malveillantes. Nos mesures actuelles figurent sur la page Mesures.