Cet article décrit la configuration matérielle du cluster CALI.

Le cluster est hétérogène :

• une base matérielle commune a été acquise en 2014, constituant l'ossature commune
• des ajouts de noeuds de calcul ont éré réalisés par divers laboratoires
• un réseau d'interconnexion rapide Infiniband interconnecte la plupart des noeuds, mais pas les derniers acquis

Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de partitions différentes.

Le nœud frontal sert de point d'accès au cluster, via des connexions SSH ou x2go

Matériel

• Deux processeurs E5-2620 v2 (Hyper-Threading activé)
• Mémoire 32 Go
• Réseau Infiniband QLogic IBA7322 QDR

Les nœuds de calcul sont les serveurs qui exécutent les jobs lorsque l'ordonnanceur (slurm) le décide.

Plusieurs ensemble de nœud de calcul différents cohabitent.

Série node[01,03-12,21-28] :

• 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
• mémoire 128 Go – 8 Go/cœur
• disque local 1 To SATA, espace utilisable via /tmp
• Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : rapide, normal, cluster, cluster-nopreempt

Un nœud node29

• 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
• mémoire 128 Go – 8 Go/cœur
• disque local 1 To SATA, espace utilisable via /tmp
• trois cartes NVidia Tesla K20m (architecture Kepler, capacités 3.x)
• Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : gpu

Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM.

Série node[46-54,56-57], node[59-62]

• 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
• mémoire 128 Go
• disque local 1 To SATA, espace utilisable via /tmp
• Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : cluster-e5v4, cluster-e5v4-umr850, cluster-e5v4-xlim-electro

node58

• 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
• mémoire 128 Go – 8 Go/cœur
• disque local 1 To SATA, espace utilisable via /tmp
• quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x)
• Réseau Infiniband QLogic IBA7322 QDR

Puissance crête théorique des 4 cartes K40 : 17,16 TFlops

Partitions associées : gpu, gpu-umr850

Un noeud : node65 – Financé par IRCER (UMR CNRS 7315)

• 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz
• mémoire 192 Go
• disques locaux : 2 x SATA 2 To
• Pas de réseau Infiniband
• 8 GPU NVidia GTX 1080Ti

Partitions associées : gpu, gpu-ircer-gtx1080

Deux noeuds : node63 et node64 – Financés par l'UMR 1248 (ex-850) de l'intitut GEIST

• 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz
• mémoire 96 Go
• disques locaux : SSD 480 Go (utilisable pendant un job sous /tmp/ssd) + SATA 2 To
• Pas de réseau Infiniband
• 8 GPU NVidia GTX 1080Ti

Partitions associées : gpu, gpu-umr1248-gtx1080

Un noeud : node66 – Financé par XLIM

• 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz
• mémoire 256 Go
• disques locaux : 2 x SATA 1 To
• Pas de réseau Infiniband

Partitions associées : xlim-cc

Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts.

Notre réseau est basé sur l'architecture Intel True Scale QDR (débit 40 Gb/s) – maintenant obsolète et non maintenue par le constructeur

• Commutateur Intel True Scale Edge Switch 12300
• Technologie QDR

Deux commutateurs Gb ethernet “empilés”