Cerfacs Entrez dans le monde de la haute performance...

Les moyens de simulation numérique du Cerfacs

Ressources

Deux calculateurs fournissent au Cerfacs une capacité crête agrégée d’environ 600 Tflop/s permettant de traiter la majeure partie de nos besoins de simulation essentiels. A ces moyens internes s'ajoutent ceux de nos partenaires (Météo-France et le CCRT).

En support aux activités de recherche (support aux thèses et ANR), les ressources attribuées dans le cadre des appels à projets Genci sur les trois centres nationaux (Cines, Idris et TGCC) étendent significativement nos ressources académiques. Ces dernières sont complétées par les réponses aux appels internationaux (ex. programmes Prace et Incite).

Ressources internes du Cerfacs

Le cluster Nemo

Computer nemo_lenovo

Calculateur nemo_lenovo

Le cluster Némo comprend 6 912 coeurs répartis dans 288 noeuds de calcul disposant chacun de 2 processeurs Intel 12 coeurs E5-2680-v3 à 2.5 Ghz. La puissance crête du calculateur est de 277 Tflop/s. Les 288 noeuds de la partition “noeuds fins” sont dotés de 64 GO de mémoire DDR4, ils sont appuyés par douze noeuds de post-traitement dotés de 256 GO de mémoire DDR4 et d’un noeud doté de 512 GO de mémoire DDR4 destiné au traitement des maillages les plus importants. Une partition constituée de 4 Noeuds Intel Knights Landing offrant chacun 64 coeurs à 1.3 Ghz avec 96 GO de mémoire et 16 GO de MCDram permet d’assurer les portages et optimisation dans cet environnement.

Le réseau d’interconnexion est un réseau Infiniband FDR non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,5 PO utiles et d’une bande passante de 10 GO/sec. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM.La solution a été intégrée par Lenovo et Serviware, elle est entrée en production au mois de septembre 2015.

Le cluster Kraken

Le cluster Kraken comprend 4 284 coeurs répartis dans 119 noeuds de calcul disposant chacun de 2 processeurs Intel 18 coeurs Xeon Gold 6140 (Skylake) à 2.3 Ghz. La puissance crête du calculateur est de 315 Tflop/s. Les 119 noeuds de la partition “noeuds fins” sont dotés de 96 GO de mémoire, ils sont appuyés par trois noeuds de post-traitement dotés de 384 GO de mémoire et d’une carte Nvidia Tesla M60 et d’un noeud doté de 768 GO de mémoire destiné au traitement des maillages les plus importants.

Le réseau d’interconnexion est un réseau Intel Omnipath non bloquant.Un système de fichier parallèle GPFS met à disposition des utilisateurs un espace disque de travail d’une capacité de 0,25 PO utiles. L’environnement logiciel comprend les outils de développement Intel, les debuggers DDT et TotalView, le gestionnaire de travaux SLURM. La solution a été intégrée par Lenovo et NeoTekno, elle est entrée en production au mois de mai 2018.

Serveur de fichiers centralisé

Un serveur NFS central d'une capacité utile de 1.2 PO est accessible depuis l'ensemble des calculateurs et des postes de travail. Il a pour fonction d'assurer un service d'archivage secondaire utilisé par les serveurs internes et externes en hébergeant les résultats de simulation numérique qu'il est nécessaire de conserver.La solution technique est portée par deux NSD GPFS en frontal d’une baie DDN SFA7700.

Support aux activités de veille technologique

Les partenaires technologiques soutiennent nos activités de veille par la mise à disposition de ressources :

  • deux plateformes Intel Xeon-PHI mises à disposition par Intel Corporation dans le cadre du programme Intel Parallel Computing Centers dont le Cerfacs fait partie.
  • une plateforme Bi-socket ARM dans le cadre d’une collaboration avec LENOVO

Ces ressources nous permettent de porter nos solveurs sur ces nouvelles technologies avec le support de nos partenaires technologiques.

Les calculateurs externes

Les calculateurs externes de nos partenaires Météo-France et du CEA CCRT apportent un complément de puissance à nos ressources internes. Grâce à de nombreuses collaboration et le soutien de Genci, Prace et Incite le Cerfacs accède à plusieurs calculateurs externes:

Genci permet à nos doctorants d'accéder aux ressources des centres nationaux :

  • Bull Occigen (3.5 PFlop/s – 36° rang mondial au Top500 de juin 2015) au CINES
  • IBM iDataPlex (233 Tflop/s) and BG/Q (1.3 Pflop/s – 60° rang mondial au Top500 de juin 2015) à l'Idris
  • Bull Curie (1.6 PFlop/s – 44° rang mondial au Top500 de juin 2015) au CEA

Prace attribute des ressources permettant de supporter nos simulations frontières :

  • Fermi : IBM BG/Q (2 PFlop/s – 32° rang mondial au Top500 de juin 2015) à CINECA
  • Curie : BULL (1.6 Pflop/s s – 33° rang mondial au Top500 de juin 2015) au CEA