Meta détaille Prometheus, son supercluster IA d'un million de GPU
Installé à New Albany, dans l'Ohio, le site réunit déjà des centaines de milliers de GPU NVIDIA et a servi à entraîner le modèle Muse Wonder.
Meta a dévoilé le fonctionnement interne de Prometheus, son supercluster d'échelle gigawatt situé à New Albany, dans l'Ohio, selon son blog technique officiel. Le site relie des centaines de milliers de GPU répartis dans plusieurs bâtiments pour fonctionner comme un seul ordinateur de grande taille.
Le groupe précise qu'à son échelle finale, environ 1 million de GPU travailleront ensemble au sein de Prometheus. Le modèle Muse Wonder, récemment publié, y a été entraîné.
Prometheus s'appuie actuellement sur les systèmes GB200 et GB300 de NVIDIA, avec 72 GPU par rack GB300. Des dizaines de milliers de commutateurs réseau et des millions de composants optiques assurent la connexion entre les GPU. Meta indique avoir travaillé environ un an avec NVIDIA pour réduire de 99 % les interruptions d'entraînement.
L'infrastructure utilise des GPU de secours en redondance et un refroidissement liquide. La première phase de déploiement de Prometheus est achevée, indique Meta.
Le groupe prévoit d'étendre Prometheus avec la génération Vera Rubin de NVIDIA et de réutiliser cette expérience pour Hyperion, un autre supercluster prévu en Louisiane. Il y a deux ans, le centre de données de New Albany accueillait encore des services web classiques avant d'être converti en site d'entraînement IA à grande échelle.
En bref
Qu'est-ce que Prometheus, le supercluster de Meta ?
Il s'agit d'un supercluster d'échelle gigawatt situé à New Albany, dans l'Ohio, qui relie des centaines de milliers de GPU et doit atteindre environ 1 million de GPU à terme.
Quels systèmes NVIDIA équipent Prometheus ?
Prometheus utilise actuellement les systèmes GB200 et GB300 de NVIDIA, avec 72 GPU par rack GB300, et doit recevoir la génération Vera Rubin.
Quel modèle IA a été entraîné sur Prometheus ?
Le modèle Muse Wonder, récemment publié, a été entraîné sur Prometheus.