Cerfacs Entrez dans le monde de la haute performance...

Les moyens de simulation numérique du Cerfacs

Ressources

Deux calculateurs fournissent au Cerfacs une capacité crête agrégée d’environ 600 Tflop/s permettant de traiter la majeure partie de nos besoins de simulation essentiels. A ces moyens internes s'ajoutent ceux de nos partenaires (Météo-France et le CCRT).

En support aux activités de recherche (support aux thèses et ANR), les ressources attribuées dans le cadre des appels à projets Genci sur les trois centres nationaux (Cines, Idris et TGCC) étendent significativement nos ressources académiques. Ces dernières sont complétées par les réponses aux appels internationaux (ex. programmes Prace et Incite).

Ressources internes du Cerfacs

Le cluster Nemo

Computer nemo_lenovo

Calculateur nemo_lenovo

Le cluster Némo comprend 6 912 coeurs répartis dans 288 noeuds de calcul disposant chacun de 2 processeurs Intel 12 coeurs E5-2680-v3 à 2.5 Ghz. La puissance crête du calculateur est de 277 Tflop/s. Les 288 noeuds de la partition “noeuds fins” sont dotés de 64 GO de mémoire DDR4, ils sont appuyés par douze noeuds de post-traitement dotés de 256 GO de mémoire DDR4 et d’un noeud doté de 512 GO de mémoire DDR4 destiné au traitement des maillages les plus importants. Une partition constituée de 4 Noeuds Intel Knights Landing offrant chacun 64 coeurs à 1.3 Ghz avec 96 GO de mémoire et 16 GO de MCDram permet d’assurer les portages et optimisation dans cet environnement.

Le réseau d’interconnexion est un réseau Infiniband FDR non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 1 PO utiles et d’une bande passante de 10 GO/sec. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.La solution a été intégrée par Lenovo et Serviware, elle est entrée en production au mois de septembre 2015.

Le cluster Kraken

Le cluster Kraken comprend 4 356 coeurs répartis dans 121 noeuds de calcul disposant chacun de 2 processeurs Intel 18 coeurs Xeon Gold 6140 (Skylake) à 2.3 Ghz. La puissance crête du calculateur est de 321 Tflop/s. Les 121 noeuds de la partition “noeuds fins” sont dotés de 96 GO de mémoire, ils sont appuyés par 5 noeuds de post-traitement dotés de 384 GO de mémoire et d’une carte Nvidia Tesla M60, d’un noeud doté de 768 GO de mémoire destiné au traitement des maillages les plus importants, d’un noeud doté de 1.5 PO de mémoire et de deux noeuds équipés d’accélérateur Nvidia Volta V100.

Le réseau d’interconnexion est un réseau Intel Omnipath non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,5 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM. La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de mai 2018.

Serveur de fichiers centralisé

Un serveur NFS central d'une capacité utile de 1.2 PO est accessible depuis l'ensemble des calculateurs et des postes de travail. Il a pour fonction d'assurer un service d'archivage secondaire utilisé par les serveurs internes et externes en hébergeant les résultats de simulation numérique qu'il est nécessaire de conserver.La solution technique est portée par deux NSD GPFS en frontal d’une baie DDN SFA7700.

Support aux activités de veille technologique

Les partenaires technologiques soutiennent nos activités de veille par la mise à disposition de ressources :

  • deux plateformes Intel Xeon-PHI mises à disposition par Intel Corporation dans le cadre du programme Intel Parallel Computing Centers dont le Cerfacs fait partie.

Ces ressources nous permettent de porter nos solveurs sur ces nouvelles technologies avec le support de nos partenaires technologiques.

Les calculateurs externes

Les calculateurs externes de nos partenaires Météo-France et du CEA CCRT apportent un complément de puissance à nos ressources internes. Grâce à de nombreuses collaboration et le soutien de Genci, Prace et Incite le Cerfacs accède à plusieurs calculateurs externes:

Genci permet à nos doctorants d'accéder aux ressources des centres nationaux :

  • Atos Occigen (3.5 PFlop/s – 77° rang mondial au Top500 de d’octobre 2018) au CINES
  • IBM iDataPlex (233 Tflop/s) and BG/Q (1.3 Pflop/s – 368° rang mondial au Top500 d’octobre 2018) à l'Idris
  • Atos Irene (8,2 PFlop/s – 40° rang mondial au Top500 d’octobre 2018) au CEA

Prace attribute des ressources permettant de supporter nos simulations frontières :

  • Atos Irene (8,2 PFlop/s – 40° rang mondial au Top500 d’octobre 2018) au CEA