Q Labs : le projet Noise atteint un gain de vitesse d'environ 4000x
Q Labs indique que son projet open source Noise a réduit de 1,76 heure à 1,6 seconde le temps nécessaire pour atteindre la perte cible, et élargit l'évaluation à 30 millions de tokens depuis le 22 octobre.
Q Labs a annoncé que son projet open source Noise a atteint un gain de vitesse d'environ 4000x par rapport à son premier record, selon le site aitimes.com. Dans cette expérience, le temps nécessaire pour atteindre la perte cible est passé de 1,76 heure à 1,6 seconde en dix jours.
Le dispositif entraînait un petit modèle GPT de 37,7 millions de paramètres sur un maximum de 10 millions de tokens FineWeb, en une seule passe, avec pour objectif d'abaisser la perte de validation à 4,2. La meilleure perte a été ramenée de 4,167 à 3,676, sous la référence de 3,769 obtenue par rétropropagation avec l'optimiseur Adam.
Q Labs précise toutefois que, dans les comparaisons appliquant le même algorithme d'optimisation des deux côtés, la rétropropagation restait plus rapide.
Une évaluation élargie depuis le 22 octobre
L'entreprise a développé Dust, un algorithme d'entraînement sans rétropropagation, et ouvert une expérience publique fondée sur celui-ci. Depuis le 22 octobre, Q Labs a mis fin à l'évaluation sur 10 millions de tokens et porté les données d'entraînement à 30 millions de tokens.
La nouvelle évaluation s'exécute sur un seul nœud équipé de 8 GPU H100, avec une perte cible de 3,5, et ajoute une piste permettant de modifier librement l'architecture du modèle.
Selon la description d'origine de Dust, l'approche consiste à modifier les valeurs d'activation plutôt que les poids, puis à estimer la direction de mise à jour des poids à partir des résultats.
En bref
Qu'est-ce que le projet Noise de Q Labs ?
C'est un projet open source fondé sur Dust, l'algorithme d'entraînement sans rétropropagation développé par Q Labs, avec une expérience publique ouverte.
Quel gain de vitesse Q Labs annonce-t-il ?
Environ 4000x par rapport au premier record, le temps pour atteindre la perte cible passant de 1,76 heure à 1,6 seconde en dix jours.
Quelle est la nouvelle évaluation lancée depuis le 22 octobre ?
Elle porte sur 30 millions de tokens au lieu de 10 millions, s'exécute sur un nœud de 8 GPU H100 avec une perte cible de 3,5 et ajoute une piste de modification libre de l'architecture du modèle.