Cerfacs Entrez dans le monde de la haute performance...

Les moyens de simulation numérique du Cerfacs

Ressources – Dernière mise à jour : Janvier 2022.

Deux calculateurs fournissent au Cerfacs une capacité crête agrégée d’environ 1.3 Pflop/s permettant de traiter la majeure partie de nos besoins de simulation essentiels. A ces moyens internes s'ajoutent ceux de nos partenaires (Météo-France et le CCRT).

En support aux activités de recherche (support aux thèses et ANR), les ressources attribuées dans le cadre des appels à projets Genci sur les trois centres nationaux (Cines, Idris et TGCC) étendent significativement nos ressources académiques. Ces dernières sont complétées par les réponses aux appels internationaux (ex. programmes Prace et Incite).

Ressources internes du Cerfacs

Le cluster Kraken (1 Pflop/s crête)

Le cluster Kraken comprend 10 204 coeurs Intel SkyLake / IceLake pour une puissance crête de 1 Pflop/s répartis dans quatre partitions.

Partition scalaire (723 Tflop/s crête)
185 noeuds de calcul SkyLake disposant chacun de 2 processeurs Intel 18 coeurs Xeon Gold 6140 (SkyLake) à 2.3 Ghz. Les 185 noeuds SkyLake de la partition scalaire sont dotés de 96 GO de mémoire.
40 noeuds de calcul IceLake disposant chacun de 2 processeurs Intel 38 coeurs Xeon Platinium 8368 (IceLake) à 2.4 Ghz. Les 40 noeuds IceLake de la partition scalaire sont dotés de 256 GO de mémoire.

Partition accélérée (255 Tflop/s crête) :

8 noeuds de calcul disposant chacun de 2 x 16 coeurs Intel IceLake à 2.9 Ghz, 256 GO de mémoire, 4 cartes Nvidia A30/24GB,

2 noeuds de calcul disposant chacun de 2 x 64 coeurs AMD Rome à 2 Ghz, 512 GO de mémoire, une carte Nvidia A100/40GB,

1 noeud accéléré avec 4 cartes Nvidia Volta V100/32 GB interconnectées en Nvlink,

2 noeuds accélérés avec une carte Nvidia Volta V100/16GB

1 noeud accéléré avec une carte Nvidia Titan4 (spécialisé pour les inférences)

Partition Pre et Post-Processing (19 Tflop/s crête):

Visualisation et Post-traitement : 5 noeuds dotés de 384 GO de mémoire et une carte Nvidia Tesla M60. L’environnement logiciel NICE permet de prendre efficacement en charge l’affichage déporté.

1 noeud bi-socket Intel Cascade Lake 48c doté de 384 GO de mémoire et d’une carte RTX5000 permettant de réaliser des post-traitement en batch.

Noeuds à grande mémoire : 1 noeud doté de 768 GO de mémoire destiné au traitement des maillages les plus importants + un noeud doté de 1.5 PO de mémoire.

L’ensemble des noeuds de cette partition sont dotés des mêmes processeurs que ceux équipant les noeuds de la partition scalaire.

Partition interactive (11 Tflop/s crête) :

1 noeud bi-socket skylake doté de 1.5 TO de mémoire pour les études de l’UMR CECI,

1 noeud bi-socket skylake doté de 768 GO de mémoire pour les sessions interactives de l’équipe CFD

2 noeuds bi-socket skylake avec 96 GO de mémoire pour les tests de non régression AVBP,

Réseau interne, stockage et environnement logiciel: Le réseau d’interconnexion est un réseau Intel Omnipath non bloquant.Un système de fichier parallèle GPFS (IBM Spectrum Scale) met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,5 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de mai 2018.

Le cluster Nemo (300 Tflop/s crête)

Computer nemo_lenovo

Le cluster Némo comprend 7 480 coeurs répartis dans trois partitions.

Partition calcul (276 Tflop/s crête): 288 noeuds de calcul disposant chacun de 2 processeurs Intel 12 coeurs E5-2680-v3 à 2.5 Ghz et 64 GO de mémoire DDR4.

Partition de Pré/Post Traitement (13 Tflop/s crête): 12 noeuds de post-traitement dotés de 256 GO de mémoire DDR4 et un noeud doté de 512 GO de mémoire DDR4 destiné au traitement des maillages les plus importants. L’ensemble de ces noeud est équipé des mêmes processeurs que ceux de la partition calcul.

Partition Knight Landing (11 Tflop/s crête):  constituée de 4 Noeuds Intel Knights Landing offrant chacun 64 coeurs à 1.3 Ghz avec 96 GO de mémoire et 16 GO de MCDram permet d’assurer les portages et optimisation dans cet environnement.

Réseau, stockage et environnement logiciel : Le réseau d’interconnexion est un réseau Infiniband FDR non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 1 PO utiles et d’une bande passante de 10 GO/sec. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.

La solution a été intégrée par Lenovo et Serviware, elle est entrée en production au mois de septembre 2015.

Le cluster Scylla (traitement de données volumineuses)

Ce cluster est dédié à la gestion des données volumineuses et leur post-traitement. En particulier il a été mis en service pour post-traiter et diffuser les résultats des simulations réalisées par les chercheurs du Cerfacs dans le cadre des exercices CMIP5 et CMIP6 (Coupled Model Intercomparison Project Phase 5 et 6) dans le cadre des travaux effectués par le Cerfacs lors des deux derniers exercices du GIEC.

Ce cluster est également utilisé par les autres équipes du Cerfacs disposant de problématiques similaires.

Capacité de stockage: 1.4 PO d’espace utile. La solution de stockage s’appuie sur l’offre DSS de Lenovo (basée sur les offres Spectrum Scale d’IBM). Deux noeuds de métadonnées pilotent un ensemble de disques SSD tandis que deux noeuds distincts sont dédiés à la gestion des données hébergées sur 166 disques d’une capacité unitaire de 12 TO.

Partition de pré et post traitement : 5 noeuds bi-socket Intel gold 6126 (14 coeurs cadencés à 2.6 Ghz) dotés de 384 GO de mémoire et une carte Nvidia P4000 + 1 noeud bi-socket Intel Gold 6126 dotés de 768 GO de mémoire + 1 noeud AMD Milan avec une carte AMD MI100.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de février 2019.

Serveur de fichiers centralisé

Un serveur SpectrumScale central d'une capacité utile de 3.1 PO est accessible depuis l'ensemble des calculateurs et des postes de travail. Il a pour fonction d'assurer un service d'archivage secondaire utilisé par les serveurs internes et externes en hébergeant les résultats de simulation numérique qu'il est nécessaire de conserver.La solution technique est portée par deux NSD GPFS en frontal d’une baie DDN SFA7700.

Les calculateurs externes

Les calculateurs externes de nos partenaires Météo-France et du CEA CCRT apportent un complément de puissance à nos ressources internes.

  • Configuration recherche de Météo-France (Belenos): 2 304 noeuds bi-socket AMD Rome 64c @ 2.2 Ghz – 10,5 Pflop/s. Entre 2018 et 2021 une allocation spéciale de 86Mh a été attribué aux équipes du Cerfacs participant à l’exercice du GIEC en collaboration avec le CNRM.
  • Calculateur du CCRT (Topaze): 864 noeuds bi-socket AMD Milan 64c @ 2.45 Ghz + 48 noeuds AMD Milan 64c @ 2.45 Ghz accélérés par 4 GPU Nvidia A100.

Grâce à de nombreuses collaboration et le soutien de Genci, Prace et Incite le Cerfacs accède à plusieurs calculateurs externes:

Genci permet à nos doctorants d'accéder aux ressources des centres nationaux :

Prace attribute des ressources permettant de supporter nos simulations frontières :

  • Atos Joliot-Curie (22 PFlop/s – 38° rang mondial au Top500 de novembre 2020 (partition AMD)) au TGCC
  • Atos Juwells (71 Pflop/s – 7° rang mondial au Top500 de novembre 2020) à Julich
  • HPE Apollo HAWK (25 Pflop/s – 16° rang mondial au Top500 de novembre 2020) au HLRS
  • LENOVO SuperMuc-NG (27 Pflop/s – 15° rang mondial au Top500 de novembre 2020) au LRZ
  • IBM Marconi (29 Pflop/s – 11° rang mondial au Top500 de novembre 2020) chez Cineca
  • LENOVO Marenostrum 4 (10 Pflop/s – 42° rang mondial au Top500 de novembre 2020) au BSC
  • Cray XC50 Piz Daint (27 Pflop/s – 12° rang mondial au Top500 de novembre 2020) au CSCS

L'AGENDA

Vendredi

22

Mars

2024

Pratiques avancées de programmation pour le calcul scientifique

Vendredi 22 mars 2024

  Formation    

Lundi

25

Mars

2024

🎓 Soutenance de thèse : Mohamed FOUDAD

Lundi 25 mars 2024Du 14h00 à 18h00

  Thèses Cerfacs       Salle JCA, Cerfacs    

CONSULTER L'AGENDA