Outils pour utilisateurs

Outils du site


materiel-cali2

Voir cette page sous forme de diaporama.

Description matérielle de CALI

Cet article décrit la configuration matérielle du cluster CALI.

Avant-propos

Le cluster est hétérogène :

  • une base matérielle commune a été acquise en 2014, constituant l'ossature commune
  • des ajouts de noeuds de calcul ont éré réalisés par divers laboratoires

Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de partitions différentes.

En résumé

Nœud frontal

Le nœud frontal sert de point d'accès au cluster, via des connexions SSH ou x2go

Matériel

  • Deux processeurs E5-2620 v2 (Hyper-Threading activé)
  • Mémoire 32 Go
  • Réseau Infiniband QLogic IBA7322 QDR

Nœuds de calcul

Les nœuds de calcul sont les serveurs qui exécutent les jobs lorsque l'ordonnanceur (slurm) le décide.

Plusieurs ensemble de nœud de calcul différents cohabitent.

Génération 2014

Série node[01,03-12,21-28] :

  • 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
  • mémoire 128 Go – 8 Go/cœur
  • disque local 1 To SATA, espace utilisable via /tmp
  • Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : rapide, normal, cluster, cluster-nopreempt

GPGPU génération 2014

Un nœud node29

  • 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
  • mémoire 128 Go – 8 Go/cœur
  • disque local 1 To SATA, espace utilisable via /tmp
  • trois cartes NVidia Tesla K20m (architecture Kepler, capacités 3.x)
  • Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : gpu

Génération 2016 / 2017

Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM.

Série node[46-54,56-57], node[59-62]

  • 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
  • mémoire 128 Go
  • disque local 1 To SATA, espace utilisable via /tmp
  • Réseau Infiniband QLogic IBA7322 QDR

Partitions associées : cluster-e5v4, cluster-e5v4-umr850, cluster-e5v4-xlim-electro

GPGPU génération 2016

node58

  • 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
  • mémoire 128 Go – 8 Go/cœur
  • disque local 1 To SATA, espace utilisable via /tmp
  • quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x)
  • Réseau Infiniband QLogic IBA7322 QDR

Puissance crête théorique des 4 cartes K40 : 17,16 TFlops

Partitions associées : gpu, gpu-umr850

Nœuds GPU 2018 (2)

Un noeud : node65 – Financé par IRCER (UMR CNRS 7315)

  • 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz
  • mémoire 192 Go
  • disques locaux : 2 x SATA 2 To
  • Pas de réseau Infiniband
  • 8 GPU NVidia GTX 1080Ti

Partitions associées : gpu, gpu-ircer-gtx1080

Nœuds GPU 2018

Deux noeuds : node63 et node64 – Financés par l'UMR 1248 (ex-850) de l'intitut GEIST

  • 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz
  • mémoire 96 Go
  • disques locaux : SSD 480 Go (utilisable pendant un job sous /tmp/ssd) + SATA 2 To
  • Pas de réseau Infiniband
  • 8 GPU NVidia GTX 1080Ti

Partitions associées : gpu, gpu-umr1248-gtx1080

Noeud E5V4 XLIM 2019

Un noeud : node66 – Financé par XLIM

  • 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz
  • mémoire 256 Go
  • disques locaux : 2 x SATA 1 To
  • Pas de réseau Infiniband

Partitions associées : xlim-cc

Réseau Infiniband

Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts.

Notre réseau est basé sur l'architecture Intel True Scale QDR (débit 40 Gb/s) – maintenant obsolète et non maintenue par le constructeur :!:

  • Commutateur Intel True Scale Edge Switch 12300
  • Technologie QDR

Réseau ethernet interne

Deux commutateurs Gb ethernet “empilés”

Quelques photos

materiel-cali2.txt · Dernière modification: 2022/09/14 17:31 de montap01