Ceci est une ancienne révision du document !
Description matérielle de CALI
Cet article décrit la configuration matérielle du cluster CALI.
Avant-propos
Le cluster est hétérogène :
une base matérielle commune a été acquise en 2014, constituant l'ossature commune
des ajouts de noeuds de calcul ont éré réalisés par divers laboratoires
Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de partitions différentes.
Résumé des noeuds
Generation | noeuds | Processeur | Mémoire | GPU | Infiniband | Feature slurm |
Gen. 2014 | (19) node[01,03-12,21-28] | 2 Xeon Ivy Bridge E5-2650v2, 8 cœurs | 128 Go | – | Oui (QDR) | Xeon-E5-2650-v2 , Infiniband |
Gen. 2014 | (1) node29 | 2 Xeon Ivy Bridge E5-2650v2, 8 cœurs | 128 Go | 3 K20 | Oui | Xeon-E5-2650-v2 , Infiniband , GPU , K20 |
Gen. 2016 | (11) node[46-54,56-57] | 2 Xeon Haswell E5-2630v4, 10 cœurs | 128 Go | – | Oui (QDR) | Xeon-E5-2630-v4 , Infiniband |
Gen. 2016 | (1) node58 | 2 Xeon Haswell E5-2630v4, 10 cœurs | 128 Go | 4 K40m | Oui (QDR) | Xeon-E5-2630-v4 , Infiniband , GPU , K40m |
Gen. 2017 | (4) node[59-62] | 2 Xeon Haswell http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHzE5-2630 v4, 10 cœurs | 128 Go | – | Oui (QDR) | Xeon-E5-2630-v4 , Infiniband |
Gen. 2018 | (2) node[63-64] | 2 Xeon Skylake Silver 4108, 8 cœurs | 96 Go | 8 RTX 1080 Ti | – | Xeon-4108 , GPU , GTX1080Ti |
Gen. 2018 | (1) node65 | 2 Xeon Skylake Silver 4114, 10 cœurs | 192 Go | 8 RTX 1080 Ti | – | Xeon-4114 , GPU , GTX1080Ti |
Gen. 2019 | (1) node66 | 2 Xeon Skylake Silver 4108, 8 cœurs | 256 Go | – | – | Xeon-4108 |
Nœud frontal
Le nœud frontal sert de point d'accès au cluster, via des connexions SSH ou x2go
Matériel
Nœuds de calcul
Les nœuds de calcul sont les serveurs qui exécutent les jobs lorsque l'ordonnanceur (slurm) le décide.
Plusieurs ensemble de nœud de calcul différents cohabitent.
Génération 2014
Série node[01,03-12,21-28]
:
2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
mémoire 128 Go – 8 Go/cœur
disque local 1 To SATA, espace utilisable via /tmp
Réseau Infiniband QLogic IBA7322 QDR
Partitions associées : rapide
, normal
, cluster
, cluster-nopreempt
GPGPU génération 2014
Un nœud node29
2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
mémoire 128 Go – 8 Go/cœur
disque local 1 To SATA, espace utilisable via /tmp
trois cartes NVidia Tesla K20m (architecture Kepler, capacités 3.x)
Réseau Infiniband QLogic IBA7322 QDR
Partitions associées : gpu
Génération 2016 / 2017
Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM.
Série node[46-54,56-57]
, node[59-62]
2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
mémoire 128 Go
disque local 1 To SATA, espace utilisable via /tmp
Réseau Infiniband QLogic IBA7322 QDR
Partitions associées : cluster-e5v4
, cluster-e5v4-umr850
, cluster-e5v4-xlim-electro
GPGPU génération 2016
node58
2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
mémoire 128 Go – 8 Go/cœur
disque local 1 To SATA, espace utilisable via /tmp
quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x)
Réseau Infiniband QLogic IBA7322 QDR
Puissance crête théorique des 4 cartes K40 : 17,16 TFlops
Partitions associées : gpu
, gpu-umr850
Nœuds GPU 2018 (2)
Un noeud : node65
– Financé par IRCER (UMR CNRS 7315)
Partitions associées : gpu
, gpu-ircer-gtx1080
Nœuds GPU 2018
Deux noeuds : node63
et node64
– Financés par l'UMR 1248 (ex-850) de l'intitut GEIST
Partitions associées : gpu
, gpu-umr1248-gtx1080
Noeud E5V4 XLIM 2019
Un noeud : node66
– Financé par XLIM
Partitions associées : xlim-cc
Réseau Infiniband
Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts.
Notre réseau est basé sur l'architecture Intel True Scale QDR (débit 40 Gb/s) – maintenant obsolète et non maintenue par le constructeur
Réseau ethernet interne
Deux commutateurs Gb ethernet “empilés”
Quelques photos