Cerfacs Entrez dans le monde de la haute performance...

Les moyens de simulation numérique du Cerfacs

Ressources – Dernière mise à jour : septembre 2019.

Deux calculateurs fournissent au Cerfacs une capacité crête agrégée d’environ 860 Tflop/s permettant de traiter la majeure partie de nos besoins de simulation essentiels. A ces moyens internes s'ajoutent ceux de nos partenaires (Météo-France et le CCRT).

En support aux activités de recherche (support aux thèses et ANR), les ressources attribuées dans le cadre des appels à projets Genci sur les trois centres nationaux (Cines, Idris et TGCC) étendent significativement nos ressources académiques. Ces dernières sont complétées par les réponses aux appels internationaux (ex. programmes Prace et Incite).

Ressources internes du Cerfacs

Le cluster Kraken (563 Tflop/s crête)

Le cluster Kraken comprend 7 020 coeurs pour une puissance crête de 563 Tflop/s répartis dans deux partitions.

Partition calcul (490 Tflop/s crête): 185 noeuds de calcul disposant chacun de 2 processeurs Intel 18 coeurs Xeon Gold 6140 (Skylake) à 2.3 Ghz. Les 185 noeuds de la partition “noeuds fins” sont dotés de 96 GO de mémoire.

Partition Pre et Post-Processing (73 Tflop/s crête):

Support aux activités de Deep Learning et IA : 2 noeuds accélérés avec une carte Nvidia Volta V100 + 1 noeud accéléré avec 4 cartes Nvidia Volta V100 interconnectées en Nvlink.

Visualisation et Post-traitement : 5 noeuds dotés de 288 GO de mémoire et une carte Nvidia Tesla M60. L’environnement logiciel NICE permet de prendre efficacement en charge l’affichage déporté.

Noeuds à grande mémoire : 1 noeud doté de 768 GO de mémoire destiné au traitement des maillages les plus importants + un noeud doté de 1.5 PO de mémoire.

L’ensemble des noeuds de cette partition sont dotés des mêmes processeurs que ceux équipant les noeuds de la partition calcul.

Réseau interne, stockage et environnement logiciel: Le réseau d’interconnexion est un réseau Intel Omnipath non bloquant.Un système de fichier parallèle GPFS (IBM Spectrum Scale) met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,5 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de mai 2018.

Le cluster Nemo (300 Tflop/s crête)

Computer nemo_lenovo

Le cluster Némo comprend 7 480 coeurs répartis dans trois partitions.

Partition calcul (276 Tflop/s crête): 288 noeuds de calcul disposant chacun de 2 processeurs Intel 12 coeurs E5-2680-v3 à 2.5 Ghz et 64 GO de mémoire DDR4.

Partition de Pré/Post Traitement (13 Tflop/s crête): 12 noeuds de post-traitement dotés de 256 GO de mémoire DDR4 et un noeud doté de 512 GO de mémoire DDR4 destiné au traitement des maillages les plus importants. L’ensemble de ces noeud est équipé des mêmes processeurs que ceux de la partition calcul.

Partition Knight Landing (11 Tflop/s crête):  constituée de 4 Noeuds Intel Knights Landing offrant chacun 64 coeurs à 1.3 Ghz avec 96 GO de mémoire et 16 GO de MCDram permet d’assurer les portages et optimisation dans cet environnement.

Réseau, stockage et environnement logiciel : Le réseau d’interconnexion est un réseau Infiniband FDR non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 1 PO utiles et d’une bande passante de 10 GO/sec. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.

La solution a été intégrée par Lenovo et Serviware, elle est entrée en production au mois de septembre 2015.

Le cluster Scylla (traitement de données volumineuses)

Ce cluster est dédié à la gestion des données volumineuses et leur post-traitement. En particulier il a été mis en service pour post-traiter et diffuser les résultats des simulations réalisées par les chercheurs du Cerfacs dans le cadre des exercices CMIP5 et CMIP6 (Coupled Model Intercomparison Project Phase 5 et 6) dans le cadre des travaux effectués par le Cerfacs lors des deux derniers exercices du GIEC.

Ce cluster est également utilisé par les autres équipes du Cerfacs disposant de problématiques similaires.

Capacité de stockage: 1.4 PO d’espace utile. La solution de stockage s’appuie sur l’offre DSS de Lenovo (basée sur les offres Spectrum Scale d’IBM). Deux noeuds de métadonnées pilotent un ensemble de disques SSD tandis que deux noeuds distincts sont dédiés à la gestion des données hébergées sur 166 disques d’une capacité unitaire de 12 TO.

Partition de pré et post traitement : 2 noeuds bi-socket Intel gold 6126 (12 coeurs cadencés à 2.6 Ghz) dotés de 384 GO de mémoire + 2 noeuds bi-socket Intel Gold 6126 dotés de 768 GO de mémoire. Ces quatre noeuds sont équipés de cartes Nvidia P4000.

La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de février 2019.

Serveur de fichiers centralisé

Un serveur NFS central d'une capacité utile de 1.2 PO est accessible depuis l'ensemble des calculateurs et des postes de travail. Il a pour fonction d'assurer un service d'archivage secondaire utilisé par les serveurs internes et externes en hébergeant les résultats de simulation numérique qu'il est nécessaire de conserver.La solution technique est portée par deux NSD GPFS en frontal d’une baie DDN SFA7700.

Les calculateurs externes

Les calculateurs externes de nos partenaires Météo-France et du CEA CCRT apportent un complément de puissance à nos ressources internes.

  • Configuration recherche de Météo-France (Beaufix): 1 836 noeuds bi-socket Xeon Broadwell 20c @ 2.2 Ghz – 2.59 Pflop/s. En 2018 et 2019 une allocation spéciale de 60Mh a été attribué aux équipes du Cerfacs participant à l’exercice du GIEC en collaboration avec le CNRM.
  • Calculateur du CCRT (Cobalt): 1 422 noeuds bi-socket Intel Xeon Broadwell 14c @ 2.4 Ghz + 252 noeuds bi-socket Xeon Skylake 20c @ 2.4 Ghz.

Grâce à de nombreuses collaboration et le soutien de Genci, Prace et Incite le Cerfacs accède à plusieurs calculateurs externes:

Genci permet à nos doctorants d'accéder aux ressources des centres nationaux :

Prace attribute des ressources permettant de supporter nos simulations frontières :

  • Atos Irene (8,2 PFlop/s – 40° rang mondial au Top500 d’octobre 2018) au CEA