Ressources – Dernière mise à jour : Juillet 2024.

Deux calculateurs fournissent au Cerfacs une capacité crête agrégée d’environ 1.8 Pflop/s permettant de traiter nos besoins de simulation les plus essentiels. A ces moyens internes s'ajoutent ceux de nos partenaires (Météo-France et le CCRT).

En support aux activités de recherche (support aux thèses et ANR), les ressources attribuées dans le cadre des appels à projets Genci sur les trois centres nationaux (Cines, Idris et TGCC) étendent significativement nos ressources académiques. Ces dernières sont complétées par les réponses aux appels internationaux (ex. programmes EuroHPC et Incite).

Ressources internes du Cerfacs

Le cluster Calypso (0,8 Pflop/s crête)

Le cluster Calypso comprend 11 520 coeurs AMD Genoa pour une puissance crête de 0,8 Pflop/s répartis dans quatre partitions.

Partition scalaire (442 Tflop/s crête)
60 noeuds de calcul disposant chacun de 2 processeurs AMD 96 coeurs AMD Genoa à 2.4 Ghz. Chacun des 60 noeuds de la partition scalaire est doté de 384 GO de mémoire.

Partition accélérée (331 Tflop/s crête) :

4 noeuds Nvidia Grace Hopper disposant chacun d’un processeur ARM de 72 coeurs auquel est associé un accélérateur H100 disposant de 96 GO de mémoire HBM3,

1 noeud accéléré Mi210 doté de deux processeurs AMD Genoa 16 coeurs cadencés à 3 Ghz et deux accélérateurs AMD Mi210 chacun disposant de 64 GO HBM2,

Partition Pre et Post-Processing (14 Tflop/s crête):

Visualisation et Post-traitement : 4 noeuds dotés de 384 GO de mémoire et une carte Nvidia Tesla RTX5000. L’environnement logiciel NICE permet de prendre efficacement en charge l’affichage déporté.

Noeud à grande mémoire : 1 noeud doté de 1,5 PO de mémoire destiné au traitement des maillages les plus importants.

L’ensemble des noeuds de cette partition de deux processeurs AMD Genoa 32 coeurs cadencés à 2,7 Ghz.

Partition interactive (30 Tflop/s crête) :

1 noeud bi-socket AMD Genoa doté de 1,5 TO de mémoire pour les études de l’UMR CECI,

2 frontales bi-socket AMD Genoa bi-socket 96 coeurs dotées de 384 GO de mémoire.

Réseau interne, stockage et environnement logiciel: Le réseau d’interconnexion est un réseau Infiniband HDR 200 Gb/s non bloquant. Un système de fichier parallèle GPFS (IBM Spectrum Scale) met à disposition des utilisateurs un espace disque de travail IBM ESS d’une capacité de 1,4 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM, la suite logicielle d’administration SMC.

La solution a été intégrée par BULL SAS, elle est entrée en production au mois de juillet 2024.

Le cluster Kraken (1 Pflop/s crête)

Le cluster Kraken comprend 10 204 coeurs Intel SkyLake / IceLake pour une puissance crête de 1 Pflop/s répartis dans quatre partitions.

Partition scalaire (723 Tflop/s crête)
185 noeuds de calcul SkyLake disposant chacun de 2 processeurs Intel 18 coeurs Xeon Gold 6140 (SkyLake) à 2.3 Ghz. Les 185 noeuds SkyLake de la partition scalaire sont dotés de 96 GO de mémoire.
40 noeuds de calcul IceLake disposant chacun de 2 processeurs Intel 38 coeurs Xeon Platinium 8368 (IceLake) à 2.4 Ghz. Les 40 noeuds IceLake de la partition scalaire sont dotés de 256 GO de mémoire.

Partition accélérée (255 Tflop/s crête) :

8 noeuds de calcul disposant chacun de 2 x 16 coeurs Intel IceLake à 2.9 Ghz, 256 GO de mémoire, 4 cartes Nvidia A30/24GB,

2 noeuds de calcul disposant chacun de 2 x 64 coeurs AMD Rome à 2 Ghz, 512 GO de mémoire, une carte Nvidia A100/40GB,

1 noeud accéléré avec 4 cartes Nvidia Volta V100/32 GB interconnectées en Nvlink,

2 noeuds accélérés avec une carte Nvidia Volta V100/16GB

1 noeud accéléré avec une carte Nvidia Titan4 (spécialisé pour les inférences)

Partition Pre et Post-Processing (19 Tflop/s crête):

Visualisation et Post-traitement : 5 noeuds dotés de 384 GO de mémoire et une carte Nvidia Tesla M60. L’environnement logiciel NICE permet de prendre efficacement en charge l’affichage déporté.

1 noeud bi-socket Intel Cascade Lake 48c doté de 384 GO de mémoire et d’une carte RTX5000 permettant de réaliser des post-traitement en batch.

Noeuds à grande mémoire : 1 noeud doté de 768 GO de mémoire destiné au traitement des maillages les plus importants + un noeud doté de 1.5 PO de mémoire.

L’ensemble des noeuds de cette partition sont dotés des mêmes processeurs que ceux équipant les noeuds de la partition scalaire.

Partition interactive (11 Tflop/s crête) :

1 noeud bi-socket skylake doté de 1.5 TO de mémoire pour les études de l’UMR CECI,

1 noeud bi-socket skylake doté de 768 GO de mémoire pour les sessions interactives de l’équipe CFD

2 noeuds bi-socket skylake avec 96 GO de mémoire pour les tests de non régression AVBP,

Réseau interne, stockage et environnement logiciel: Le réseau d’interconnexion est un réseau Intel Omnipath non bloquant. Un système de fichier parallèle GPFS (IBM Spectrum Scale) met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,5 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de mai 2018.

Le cluster Scylla (traitement de données volumineuses)

Ce cluster est dédié à la gestion des données volumineuses et leur post-traitement. En particulier il a été mis en service pour post-traiter et diffuser les résultats des simulations réalisées par les chercheurs du Cerfacs dans le cadre des exercices CMIP5 et CMIP6 (Coupled Model Intercomparison Project Phase 5 et 6) dans le cadre des travaux effectués par le Cerfacs lors des deux derniers exercices du GIEC.

Ce cluster est également utilisé par les autres équipes du Cerfacs disposant de problématiques similaires.

Capacité de stockage: 1.4 PO d’espace utile. La solution de stockage s’appuie sur l’offre DSS de Lenovo (basée sur les offres Spectrum Scale d’IBM). Deux noeuds de métadonnées pilotent un ensemble de disques SSD tandis que deux noeuds distincts sont dédiés à la gestion des données hébergées sur 166 disques d’une capacité unitaire de 12 TO.

Partition de pré et post traitement : 5 noeuds bi-socket Intel gold 6126 (14 coeurs cadencés à 2.6 Ghz) dotés de 384 GO de mémoire et une carte Nvidia P4000 + 1 noeud bi-socket Intel Gold 6126 dotés de 768 GO de mémoire + 1 noeud AMD Milan avec une carte AMD MI100.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de février 2019.

Serveur de fichiers centralisé

Un serveur SpectrumScale central d'une capacité utile de 4 PO est accessible depuis l'ensemble des calculateurs et des postes de travail. Il a pour fonction d'assurer un service d'archivage secondaire utilisé par les serveurs internes et externes en hébergeant les résultats de simulation numérique qu'il est nécessaire de conserver. La solution technique est portée par un solution Lenovo DSS-G230.

Les calculateurs externes

Les calculateurs externes de nos partenaires Météo-France et du CEA CCRT apportent un complément de puissance à nos ressources internes.

• Configuration recherche de Météo-France (Belenos): 2 304 noeuds bi-socket AMD Rome 64c @ 2.2 Ghz – 10,5 Pflop/s. Entre 2018 et 2021 une allocation spéciale de 86Mh a été attribué aux équipes du Cerfacs participant à l’exercice du GIEC en collaboration avec le CNRM.
• Calculateur du CCRT (Topaze): 864 noeuds bi-socket AMD Milan 64c @ 2.45 Ghz + 48 noeuds AMD Milan 64c @ 2.45 Ghz accélérés par 4 GPU Nvidia A100.

Grâce à de nombreuses collaboration et le soutien de Genci, Prace et Incite le Cerfacs accède à plusieurs calculateurs externes:

Genci permet à nos doctorants d'accéder aux ressources des centres nationaux :

• Adastra, HPE Cray EX (74 PFlop/s) au CINES – https://www.cines.fr/calcul/adastra/
• Jean-Zay, HPE SGI 8600 (13.9 Pflop/s) à l’Idris – http://www.idris.fr/jean-zay/
• Joliot-Curie, Atos Supercomputer (22 PFlop/s) at the CEA/TGCC – http://www-hpc.cea.fr/fr/complexe/tgcc-JoliotCurie.htm

EuroHPC attribue des ressources permettant de supporter nos simulations frontières :

• LUMI – Cray EX (539 Pflop/s crête) – Finlande
• LEONARDO – BULL Sequana XH2000 (316 Pflop/s crête) – Italie
• MARENOSTRUM 5 – BULL Sequana XH3000 + Lenovo ThinkSystem (296 Pflop/s crête) – Espagne
• MELUXINA – BULL Sequana XH2000 (18 Pflop/s crête) – Luxembourg
• KAROLINA – HPE Apollo 2000 / 6500 (13 Pflop/s) – République Tchèque
• DISCOVER – BULL Sequana XH2000 (6 Pflop/s crête) – Bulgarie
• VEGA – BULL Sequana XH2000 (10 Pflop/s crête) – Slovénie
• DEUCALION – Fujitsu and Bull Sequana (5 Pflop/s crête) – Portugal
• Soon : JUPITER – BULL Sequana XH3000 (1 ExaFlop/s crête) – Allemagne