Reflection AI dévoile Beam, un modèle ouvert de 501 milliards de paramètres

Reflection AI a dévoilé Beam, son premier modèle d'IA open-weight de frontière. Selon l'entreprise, Beam est un modèle texte de type mixture-of-experts comptant 501 milliards de paramètres au total et 23 milliards de paramètres actifs.

Le modèle a été pré-entraîné sur 23,8 billions de tokens et dispose d'une fenêtre de contexte de 1 million de tokens. Reflection affirme que Beam égale les performances des principaux modèles ouverts chinois sur les benchmarks de raisonnement avancé, à des coûts nettement inférieurs, et qu'il surpasse les principaux modèles ouverts occidentaux en utilisant 3 à 4 fois moins de calcul d'inférence.

Reflection indique qu'il publiera les poids de Beam ainsi que l'ensemble des détails techniques ce mois-ci.

Un contexte de financement important

Fondée en 2024 par deux anciens chercheurs de Google DeepMind, Reflection AI a levé environ 4,7 milliards de dollars auprès d'investisseurs incluant Nvidia, Sequoia Capital et Lightspeed Venture Partners, pour une valorisation pré-money de 25 milliards de dollars lors de son dernier tour. Cet été, la société a signé des accords d'une valeur totale supérieure à 7 milliards de dollars avec SpaceX et Nebius afin de sécuriser l'accès aux puces GB300 de Nvidia jusqu'en 2029.

Selon Axios, qui rapportait l'information le week-end dernier, Reflection était sur le point de lancer Beam. À titre de comparaison, GLM-5.2 de Z.ai compte environ 744 milliards de paramètres au total et 40 milliards de paramètres actifs, tandis que Thinking Machines Lab a publié son modèle ouvert Inkling en juillet.