Calcul en Limousin

Outils pour utilisateurs

Outils du site

Piste: • comsol • mkl
materiel-cali2

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
Dernière révision Les deux révisions suivantes
materiel-cali2 [2022/09/14 17:22]
montap01 [Usage] 		materiel-cali2 [2023/01/03 18:17]
montap01 [Résumé des noeuds]
Ligne 5: Ligne 5:
 ===== Avant-propos ===== ===== Avant-propos =====
 Le cluster est hétérogène :  Le cluster est hétérogène : 
-  * une base matérielle commune a été acquise en 2014, constituant l'ossature commune +  * une base matérielle commune a été acquise en 2014 
-  * des //ajouts// de noeuds de calcul ont éré réalisés par divers laboratoires+  * des //ajouts// de noeuds de calcul ont été réalisés par divers laboratoires 
 +  * un réseau d'interconnexion rapide //Infiniband// interconnecte la __plupart__ des noeuds, mais pas les derniers acquis
  
-Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes.+Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes, et possibilité de demander des //features//.
  
  
-++++ En résumé |+===== Résumé des noeuds ===== 
 + 
 +__Notes sur les colonnes slurm__  
 +  * La liste des partitions indiquée ici **n'est pas exhaustive**, seulement les partitions ouvertes à tous et généralistes sont indiquées. Voir la page [[slurm:partitions]] ou la description détaillée des noeuds ci-après 
 +  * Les //features// slurm permettent, quand on lance un job, de forcer sa localisation sur les noeuds possédant la //feature// demandée. Par exemple, dans la partition ''normal'', vous voulez exécuter votre code uniquement sur les noeuds avec processeur ''Xeon-E5-2650-v2'' -> ajoutez ''%%--constraint=Xeon-E5-2650-v2%%'' comme option pour le batch 
 + 
 +^ Date ^ Noeuds ^ Processeur ^ Mémoire ^ GPU ^ Infiniband ^ Partitions slurm ^ //Feature// slurm ^ 
 +| 2014 | (19) node[01,03-12,21-28]       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' | ''Xeon-E5-2650-v2'', ''Infiniband'', ''NoPreemption'' | 
 +| 2014 | (1) node29       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 [[https://www.nvidia.com/content/PDF/kepler/tesla-k20-active-bd-06499-001-v03.pdf | NVidia K20]] | Oui | ''gpu'' |''Xeon-E5-2650-v2'', ''Infiniband'', ''GPU'', ''K20'', ''NoPreemption'' | 
 +| 2016 | (11) node[46-54,56-57]       | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | 
 +| 2016 | (1) node58      | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 [[https://international.download.nvidia.com/tesla/pdf/tesla-k40-passive-board-spec.pdf | K40m]] | Oui (QDR) | ''gpu'' |''Xeon-E5-2630-v4'', ''Infiniband'', ''GPU'', ''K40m'' | 
 +| 2017 | (4) node[59-62]  | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | 
 +| 2018 | (2) node[63-64] | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs  | 96 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4108'', ''GPU'', ''GTX1080Ti'' | 
 +| 2018 | (1) node65 | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs  | 192 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4114'', ''GPU'', ''GTX1080Ti'' | 
 +| 2019 | (1) node66 | 2 Xeon [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | ''normal'', ''rapide'' | ''Xeon-4108'' |
  
-^ Generation ^ noeuds ^ Processeur ^ Mémoire ^ GPGPU ^ Infiniband ^ 
-|  Gen. 2014 | (19) node[01,03-12,21-28]       | 2 Xeon //Ivy Bridge// [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) |  
-|  Gen. 2014 | (1) node29       | 2 Xeon //Ivy Bridge// [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 K20 | Oui |  
-|  Gen. 2016 | (11) node[46-54,56-57]       | 2 Xeon //Haswell// [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | 
-|  Gen. 2016 | (1) node58      | 2 Xeon //Haswell// [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 K40m | Oui (QDR) | 
-|  Gen. 2017 | (4) node[59-62]  | 2 Xeon //Haswell// [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHzE5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | 
-|  Gen. 2018 | (2) node[63-64] | 2 Xeon //Skylake// [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs  | 96 Go | 8 RTX 1080 Ti | -- | 
-|  Gen. 2018 | (1) node65 | 2 Xeon //Skylake// [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs  | 192 Go | 8 RTX 1080 Ti | -- | 
-|  Gen. 2019 | (1) node66 | 2 Xeon //Skylake// [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | 
  
-++++ 
 ===== Nœud frontal ===== ===== Nœud frontal =====
-Le nœud frontal servt de point d'accès au cluster. +Le nœud frontal sert de point d'accès au cluster, via des connexions SSH ou x2go
- +
  
-==== Matériel ====+__Matériel__
   * Deux processeurs E5-2620 v2 (Hyper-Threading activé)   * Deux processeurs E5-2620 v2 (Hyper-Threading activé)
   * Mémoire 32 Go   * Mémoire 32 Go
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
-  * Alimentation redondante 
- 
-==== Usage ==== 
-Le frontal sert : 
-  * de point d'entrée pour les utilisateurs (connexion par SSH ou NX) 
-  * à contrôler l'exécution des travaux (via [[slurm:les-bases | l'ordonnanceur slurm]]) 
- 
  
 ===== Nœuds de calcul ===== ===== Nœuds de calcul =====
Ligne 45: Ligne 42:
 Plusieurs ensemble de nœud de calcul différents cohabitent. Plusieurs ensemble de nœud de calcul différents cohabitent.
  
-==== Noeud E5V4 XLIM 2019 ==== +==== Noeuds génération 2014 ==== 
-Un noeud : ''node66'' -- Financé par XLIM+Série ''node[01,03-12,21-28]''  
 +++++ Voir les détails |
  
-  * 1 serveurs bi-socket +  * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) 
-  * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz +  * mémoire 128 Go -- 8 Go/cœur 
-  * mémoire 256 Go  +  * disque local 1 To SATA, espace utilisable via /tmp 
-  * disques locaux : 2 x SATA 1 To +  * Réseau Infiniband QLogic IBA7322 QDR 
-  * Pas de réseau Infiniband  +++++
-  * Alimentation redondante+
  
-Soit un total de 2 processeurs, 16 cœurs, 256 Go de mémoire.+Affectation slurm : 
 +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
 +==== Noeud GPU (K20) génération 2014 ==== 
 +Un nœud ''node29'' 
 +++++ Voir les détails | 
 +  * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) 
 +  * mémoire 128 Go -- 8 Go/cœur 
 +  * disque local 1 To SATA, espace utilisable via /tmp 
 +  * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x) 
 +  * Réseau Infiniband QLogic IBA7322 QDR 
 +++++
  
-__Partitions associées__ : ''xlim-cc''+Affectation slurm : 
 +  * __Partitions communes__ : ''gpu''
  
- +==== Noeuds génération 2016 / 2017 ====
-==== Nœuds GPU 2018 (2) ==== +
-Un noeud : ''node65'' -- Financé par IRCER (UMR CNRS 7315) +
- +
-  * 1 serveurs bi-socket +
-  * 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz +
-  * mémoire 192 Go  +
-  * disques locaux : 2 x SATA 2 To +
-  * Pas de réseau Infiniband  +
-  * Alimentation redondante +
-  * 8 GPU NVidia GTX 1080Ti +
- +
-Soit un total de 2 processeurs, 20 cœurs, 192 Go de mémoire. Puissance crête théorique : 8*11,340 TFlops = 90,7 TFlops +
- +
-__Partitions associées__ : ''gpu-ircer-gtx1080'' +
- +
-==== Nœuds GPU 2018 ==== +
-Deux noeuds : ''node63'' et ''node64'' -- Financés par l'UMR 1248 (ex-850) de l'intitut GEIST +
- +
-  * 2 serveurs bi-socket +
-  * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz +
-  * mémoire 96 Go  +
-  * disques locaux : SSD 480 Go (utilisable pendant un job sous ''/tmp/ssd'') + SATA 2 To +
-  * Pas de réseau Infiniband  +
-  * Alimentation redondante +
-  * 8 GPU NVidia GTX 1080Ti +
- +
-Soit un total de 4 processeurs, 32 cœurs, 192 Go de mémoire, 16 GPGPU. Puissance crête théorique : 16*11,340 TFlops = 181,44 TFlops +
- +
-__Partitions associées__ : ''gpu-umr1248-gtx1080'' +
- +
-==== Génération 2016 ====+
 Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM. Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM.
  
-Série ''node46'' à ''node57'' et ''node59'' à ''node62'' : +Série ''node[46-54,56-57]'', ''node[59-62]'' 
- +++++ Voir les détails |
-  * 4 châssis avec 4 serveurs bi-socket (CM Asus Z10PH-D16)+
   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
   * mémoire 128 Go    * mémoire 128 Go 
   * disque local 1 To SATA, espace utilisable via /tmp   * disque local 1 To SATA, espace utilisable via /tmp
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
-  * Alimentation redondante+++++
  
-Soit un total de 32 processeurs, 320 cœurs, 1536 Go de mémoire. Puissance crête théorique : 32*1,689.6 TFlop/s = 54 TFlops+Affectation slurm : 
 +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
 +  * __Partitions privatives__ : ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro''
  
-__Partitions associées__ : ''cluster-e5v4'', ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro'' +==== Noeuds GPU (K40m) génération 2016 ====
- +
-==== GPGPU génération 2016 ====+
  
 ''node58'' ''node58''
 +++++ Voir les détails |
   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
   * mémoire 128 Go – 8 Go/cœur   * mémoire 128 Go – 8 Go/cœur
Ligne 114: Ligne 91:
   * quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x)   * quatre cartes NVidia Tesla K40m (architecture Kepler, capacités 3.x)
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
-  * Alimentation redondante 
  
 Puissance crête théorique des 4 cartes K40 : 17,16 TFlops Puissance crête théorique des 4 cartes K40 : 17,16 TFlops
 +++++
  
-__Partitions associées__ : ''gpu-umr850'' +Affectation slurm : 
-==== Génération 2014 ==== +  * __Partitions communes__ : ''gpu'' 
-Série ''node01'' à ''node28'' :+  * __Partitions privatives__ : ''gpu-umr850''
  
-  * 7 châssis avec 4 serveurs bi-socket (CM ASUS Z9PH-D16) +==== Nœuds GPU (GTX 1080 Ti) 2018 ==== 
-  * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) +  * ''node63'', ''node64'' -- Financés par l'UMR 1248 (ex-850) de l'intitut GEIST 
-  * mémoire 128 Go -- 8 Go/cœur +  * ''node65'' -- Financé par IRCER (UMR CNRS 7315)
-  * disque local 1 To SATA, espace utilisable via /tmp +
-  * Réseau Infiniband QLogic IBA7322 QDR +
-  * Alimentation redondante+
  
-Soit un total de 56 processeurs, 448 cœurs, 3584 Go de mémoire et une puissance crête théorique de 9,318 TFlops.+++++ Voir les détails | 
 +  * CPU respectives : 
 +    * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz 
 +    * 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz 
 +  * mémoire  
 +    * 96 Go 
 +    * 192 Go 
 +  * disques locaux :  
 +    * SSD 480 Go (utilisable pendant un job sous ''/tmp/ssd'') + SATA 2 To 
 +    *  2 x SATA 2 To 
 +  * Pas de réseau Infiniband  
 +  * 8 GPU NVidia GTX 1080Ti 
 +++++
  
-__Partitions associées__ : ''rapide'', ''normal'', ''cluster'', ''cluster-nopreempt'' +Affectation slurm : 
-==== GPGPU génération 2014 ==== +  * __Partitions communes__ : ''gpu'' 
-Un nœud ''node29'' +  * __Partitions privatives__ : ''gpu-umr1248-gtx1080'', ''gpu-ircer-gtx1080''
-  * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs) +
-  * mémoire 128 Go -- 8 Go/cœur +
-  * disque local 1 To SATA, espace utilisable via /tmp +
-  * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x) +
-  * Réseau Infiniband QLogic IBA7322 QDR +
-  * Alimentation redondante+
  
-Puissance crête théorique des cartes GPU : 10,5 TFlops. 
  
-__Partitions associées__ : ''gpu''+==== Noeud E5V4 XLIM 2019 ==== 
 +Un noeud : ''node66'' -- Financé par XLIM 
 +++++ Voir les détails | 
 +  * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz 
 +  * mémoire 256 Go  
 +  * disques locaux : 2 x SATA 1 To 
 +  * Pas de réseau Infiniband  
 +++++ 
 + 
 +Affectation slurm : 
 +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
 +  * __Partitions privatives__ : ''xlim-cc'' 
  
 ===== Réseau Infiniband ===== ===== Réseau Infiniband =====
 Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts. Le réseau interne Infiniband est un réseau avec une grande bande passante et une très faible latence. Il offre ainsi des communications très performantes pour les applications de calcul parallèle distribué (MPI) qui utilisent les ressources de plusieurs nœuds de calcul distincts.
  
-Notre réseau est basé sur l'architecture [[http://www.intel.com/content/www/us/en/infiniband/truescale-infiniband.html | Intel True Scale]] QDR (débit 40 Gb/s)+Notre réseau est basé sur l'architecture [[http://www.intel.com/content/www/us/en/infiniband/truescale-infiniband.html | Intel True Scale]] QDR (débit 40 Gb/s) -- maintenant obsolète et non maintenue par le constructeur :!:
  
   * Commutateur Intel True Scale Edge Switch 12300   * Commutateur Intel True Scale Edge Switch 12300
   * Technologie QDR   * Technologie QDR
-  * Alimentation redondante 
  
 ===== Réseau ethernet interne ===== ===== Réseau ethernet interne =====
-  * Deux commutateurs HP Gb ethernet "empilés" +Deux commutateurs Gb ethernet "empilés"
-  * Tous les serveurs sont en double attachement réseau, avec aggrégation (LACP) des liens +
- +
-===== Alimentation électrique ===== +
-Le cluster est entièrement redondé électriquement, avec deux circuits électriques séparés.+
  
 ===== Quelques photos ===== ===== Quelques photos =====
 {{:dsc_0376.jpg?200 |}} {{:dsc_0376.jpg?200 |}}
 {{:dsc_0379.jpg?200 |}} {{:dsc_0379.jpg?200 |}}
materiel-cali2.txt · Dernière modification: 2024/03/25 15:42 de montap01

Outils de la page

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki