Ci-dessous, les différences entre deux révisions de la page.
Les deux révisions précédentes Révision précédente Prochaine révision | Révision précédente | ||
materiel-cali2 [2022/09/14 17:22] montap01 [Usage] |
materiel-cali2 [2024/03/25 15:42] montap01 |
||
---|---|---|---|
Ligne 5: | Ligne 5: | ||
===== Avant-propos ===== | ===== Avant-propos ===== | ||
Le cluster est hétérogène : | Le cluster est hétérogène : | ||
- | * une base matérielle commune a été acquise en 2014, constituant l' | + | * une base matérielle commune a été acquise en 2014 |
- | * des //ajouts// de noeuds de calcul ont éré réalisés par divers laboratoires | + | * des //ajouts// de noeuds de calcul ont été réalisés par divers laboratoires |
+ | * un réseau d' | ||
- | Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L' | + | Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L' |
- | ++++ En résumé | | + | ===== Résumé des noeuds ===== |
- | ^ Generation | + | __Notes sur les colonnes slurm__ |
- | | | + | * La liste des partitions indiquée ici **n' |
- | | | + | * Les // |
- | | | + | |
- | | | + | ^ Date ^ Noeuds |
- | | | + | | 2014 | (19) node[01, |
- | | | + | | 2014 | (1) node29 |
- | | | + | | 2016 | (11) node[46-54, |
- | | | + | | 2016 | (1) node58 |
+ | | 2017 | (4) node[59-62] | ||
+ | | <del>2018</ | ||
+ | | <del>2018</ | ||
+ | | 2019 | (1) node66 | 2 Xeon [[https:// | ||
+ | |||
+ | Note : (mars 2024) les noeuds 2018 avec 8 GPU chacun ont été transférés sur la cluster CALI v3 | ||
- | ++++ | ||
===== Nœud frontal ===== | ===== Nœud frontal ===== | ||
- | Le nœud frontal | + | Le nœud frontal |
- | + | ||
- | ==== Matériel ==== | + | __Matériel__ |
* Deux processeurs E5-2620 v2 (Hyper-Threading activé) | * Deux processeurs E5-2620 v2 (Hyper-Threading activé) | ||
* Mémoire 32 Go | * Mémoire 32 Go | ||
* Réseau Infiniband QLogic IBA7322 QDR | * Réseau Infiniband QLogic IBA7322 QDR | ||
- | * Alimentation redondante | ||
- | |||
- | ==== Usage ==== | ||
- | Le frontal sert : | ||
- | * de point d' | ||
- | * à contrôler l' | ||
- | |||
===== Nœuds de calcul ===== | ===== Nœuds de calcul ===== | ||
Ligne 45: | Ligne 43: | ||
Plusieurs ensemble de nœud de calcul différents cohabitent. | Plusieurs ensemble de nœud de calcul différents cohabitent. | ||
- | ==== Noeud E5V4 XLIM 2019 ==== | + | ==== Noeuds génération 2014 ==== |
- | Un noeud : '' | + | Série |
+ | ++++ Voir les détails | | ||
- | | + | * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) |
- | | + | * mémoire |
- | * mémoire | + | * disque local 1 To SATA, espace utilisable via /tmp |
- | * disques locaux : 2 x SATA 1 To | + | * Réseau |
- | * Pas de réseau | + | ++++ |
- | * Alimentation redondante | + | |
- | Soit un total de 2 processeurs, 16 cœurs, 256 Go de mémoire. | + | Affectation slurm : |
+ | * __Partitions communes__ : '' | ||
+ | ==== Noeud GPU (K20) génération 2014 ==== | ||
+ | Un nœud '' | ||
+ | ++++ Voir les détails | | ||
+ | * 2 processeurs | ||
+ | * mémoire 128 Go -- 8 Go/cœur | ||
+ | * disque local 1 To SATA, espace utilisable via /tmp | ||
+ | * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x) | ||
+ | * Réseau Infiniband QLogic IBA7322 QDR | ||
+ | ++++ | ||
- | __Partitions | + | Affectation slurm : |
+ | * __Partitions | ||
- | + | ==== Noeuds génération 2016 / 2017 ==== | |
- | ==== Nœuds GPU 2018 (2) ==== | + | |
- | Un noeud : '' | + | |
- | + | ||
- | * 1 serveurs bi-socket | + | |
- | * 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz | + | |
- | * mémoire 192 Go | + | |
- | * disques locaux : 2 x SATA 2 To | + | |
- | * Pas de réseau Infiniband | + | |
- | * Alimentation redondante | + | |
- | * 8 GPU NVidia GTX 1080Ti | + | |
- | + | ||
- | Soit un total de 2 processeurs, | + | |
- | + | ||
- | __Partitions associées__ : '' | + | |
- | + | ||
- | ==== Nœuds GPU 2018 ==== | + | |
- | Deux noeuds : '' | + | |
- | + | ||
- | * 2 serveurs bi-socket | + | |
- | * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz | + | |
- | * mémoire 96 Go | + | |
- | * disques locaux : SSD 480 Go (utilisable pendant un job sous '' | + | |
- | * Pas de réseau Infiniband | + | |
- | * Alimentation redondante | + | |
- | * 8 GPU NVidia GTX 1080Ti | + | |
- | + | ||
- | Soit un total de 4 processeurs, | + | |
- | + | ||
- | __Partitions associées__ : '' | + | |
- | + | ||
- | ==== Génération 2016 ==== | + | |
Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l' | Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l' | ||
- | Série '' | + | Série '' |
- | + | ++++ Voir les détails | | |
- | * 4 châssis avec 4 serveurs bi-socket (CM Asus Z10PH-D16) | + | |
* 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs) | * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs) | ||
* mémoire 128 Go | * mémoire 128 Go | ||
* disque local 1 To SATA, espace utilisable via /tmp | * disque local 1 To SATA, espace utilisable via /tmp | ||
* Réseau Infiniband QLogic IBA7322 QDR | * Réseau Infiniband QLogic IBA7322 QDR | ||
- | * Alimentation redondante | + | ++++ |
- | + | ||
- | Soit un total de 32 processeurs, | + | |
- | __Partitions | + | Affectation slurm : |
+ | * __Partitions | ||
+ | * __Partitions privatives__ : '' | ||
- | ==== GPGPU génération 2016 ==== | + | ==== Noeuds GPU (K40m) |
'' | '' | ||
+ | ++++ Voir les détails | | ||
* 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs) | * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs) | ||
* mémoire 128 Go – 8 Go/cœur | * mémoire 128 Go – 8 Go/cœur | ||
Ligne 114: | Ligne 92: | ||
* quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x) | * quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x) | ||
* Réseau Infiniband QLogic IBA7322 QDR | * Réseau Infiniband QLogic IBA7322 QDR | ||
- | * Alimentation redondante | ||
Puissance crête théorique des 4 cartes K40 : 17,16 TFlops | Puissance crête théorique des 4 cartes K40 : 17,16 TFlops | ||
+ | ++++ | ||
- | __Partitions | + | Affectation slurm : |
- | ==== Génération 2014 ==== | + | * __Partitions |
- | Série | + | * __Partitions privatives__ : '' |
- | * 7 châssis avec 4 serveurs bi-socket (CM ASUS Z9PH-D16) | + | ==== Noeud E5V4 XLIM 2019 ==== |
- | * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) | + | Un noeud : '' |
- | * mémoire | + | ++++ Voir les détails | |
- | * disque local 1 To SATA, espace utilisable via /tmp | + | * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz |
- | * Réseau | + | * mémoire |
- | * Alimentation redondante | + | * disques locaux : 2 x SATA 1 To |
+ | * Pas de réseau | ||
+ | ++++ | ||
- | Soit un total de 56 processeurs, 448 cœurs, 3584 Go de mémoire et une puissance crête théorique de 9,318 TFlops. | + | Affectation slurm : |
+ | * __Partitions communes__ : '' | ||
+ | * __Partitions privatives__ : '' | ||
- | __Partitions associées__ : '' | ||
- | ==== GPGPU génération 2014 ==== | ||
- | Un nœud '' | ||
- | * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) | ||
- | * mémoire 128 Go -- 8 Go/cœur | ||
- | * disque local 1 To SATA, espace utilisable via /tmp | ||
- | * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x) | ||
- | * Réseau Infiniband QLogic IBA7322 QDR | ||
- | * Alimentation redondante | ||
- | |||
- | Puissance crête théorique des cartes GPU : 10,5 TFlops. | ||
- | |||
- | __Partitions associées__ : '' | ||
===== Réseau Infiniband ===== | ===== Réseau Infiniband ===== | ||
Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts. | Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts. | ||
- | Notre réseau est basé sur l' | + | Notre réseau est basé sur l' |
* Commutateur Intel True Scale Edge Switch 12300 | * Commutateur Intel True Scale Edge Switch 12300 | ||
* Technologie QDR | * Technologie QDR | ||
- | * Alimentation redondante | ||
===== Réseau ethernet interne ===== | ===== Réseau ethernet interne ===== | ||
- | * Deux commutateurs | + | Deux commutateurs Gb ethernet " |
- | * Tous les serveurs sont en double attachement réseau, avec aggrégation (LACP) des liens | + | |
- | + | ||
- | ===== Alimentation électrique ===== | + | |
- | Le cluster est entièrement redondé électriquement, | + | |
===== Quelques photos ===== | ===== Quelques photos ===== | ||
{{: | {{: | ||
{{: | {{: |