Calcul en Limousin

Outils pour utilisateurs

Outils du site

Piste:
materiel-cali2

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
materiel-cali2 [2022/12/21 11:42]
montap01 [Avant-propos] 		materiel-cali2 [2024/03/25 15:42] (Version actuelle)
montap01
Ligne 5: Ligne 5:
 ===== Avant-propos ===== ===== Avant-propos =====
 Le cluster est hétérogène :  Le cluster est hétérogène : 
-  * une base matérielle commune a été acquise en 2014, constituant l'ossature commune +  * une base matérielle commune a été acquise en 2014 
-  * des //ajouts// de noeuds de calcul ont éré réalisés par divers laboratoires+  * des //ajouts// de noeuds de calcul ont été réalisés par divers laboratoires
   * un réseau d'interconnexion rapide //Infiniband// interconnecte la __plupart__ des noeuds, mais pas les derniers acquis   * un réseau d'interconnexion rapide //Infiniband// interconnecte la __plupart__ des noeuds, mais pas les derniers acquis
  
-Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes.+Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes, et possibilité de demander des //features//.
  
  
 ===== Résumé des noeuds ===== ===== Résumé des noeuds =====
  
 +__Notes sur les colonnes slurm__ 
 +  * La liste des partitions indiquée ici **n'est pas exhaustive**, seulement les partitions ouvertes à tous et généralistes sont indiquées. Voir la page [[slurm:partitions]] ou la description détaillée des noeuds ci-après
 +  * Les //features// slurm permettent, quand on lance un job, de forcer sa localisation sur les noeuds possédant la //feature// demandée. Par exemple, dans la partition ''normal'', vous voulez exécuter votre code uniquement sur les noeuds avec processeur ''Xeon-E5-2650-v2'' -> ajoutez ''%%--constraint=Xeon-E5-2650-v2%%'' comme option pour le batch
  
- +^ Date ^ Noeuds ^ Processeur ^ Mémoire ^ GPU ^ Infiniband ^ Partitions slurm ^ //Feature// slurm ^ 
-^ Date ^ Noeuds ^ Processeur ^ Mémoire ^ GPU ^ Infiniband ^ Partitions slurm(*) ^ //Feature// slurm ^ +| 2014 | (19) node[01,03-12,21-28]       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' | ''Xeon-E5-2650-v2'', ''Infiniband'', ''NoPreemption'' | 
-| 2014 | (19) node[01,03-12,21-28]       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' | ''Xeon-E5-2650-v2'', ''Infiniband'' | +| 2014 | (1) node29       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 [[https://www.nvidia.com/content/PDF/kepler/tesla-k20-active-bd-06499-001-v03.pdf | NVidia K20]] | Oui | ''gpu'' |''Xeon-E5-2650-v2'', ''Infiniband'', ''GPU'', ''K20'', ''NoPreemption'' |
-| 2014 | (1) node29       | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 K20 | Oui | ''gpu'' |''Xeon-E5-2650-v2'', ''Infiniband'', ''GPU'', ''K20'' |+
 | 2016 | (11) node[46-54,56-57]       | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | | 2016 | (11) node[46-54,56-57]       | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' |
-| 2016 | (1) node58      | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 K40m | Oui (QDR) | ''gpu'' |''Xeon-E5-2630-v4'', ''Infiniband'', ''GPU'', ''K40m'' |+| 2016 | (1) node58      | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 [[https://international.download.nvidia.com/tesla/pdf/tesla-k40-passive-board-spec.pdf | K40m]] | Oui (QDR) | ''gpu'' |''Xeon-E5-2630-v4'', ''Infiniband'', ''GPU'', ''K40m'' |
 | 2017 | (4) node[59-62]  | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | | 2017 | (4) node[59-62]  | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' |
-| 2018 | (2) node[63-64] | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs  | 96 Go | 8 RTX 1080 Ti | -- | ''gpu'' |''Xeon-4108'', ''GPU'', ''GTX1080Ti'' | +| <del>2018</del> | <del>(2) node[63-64]</del> | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs  | 96 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4108'', ''GPU'', ''GTX1080Ti'' | 
-| 2018 | (1) node65 | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs  | 192 Go | 8 RTX 1080 Ti | -- | ''gpu'' |''Xeon-4114'', ''GPU'', ''GTX1080Ti'' |+| <del>2018</del> | <del>(1) node65</del> | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs  | 192 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4114'', ''GPU'', ''GTX1080Ti'' |
 | 2019 | (1) node66 | 2 Xeon [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | ''normal'', ''rapide'' | ''Xeon-4108'' | | 2019 | (1) node66 | 2 Xeon [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | ''normal'', ''rapide'' | ''Xeon-4108'' |
 +
 +Note : (mars 2024) les noeuds 2018 avec 8 GPU chacun ont été transférés sur la cluster CALI v3
  
 ===== Nœud frontal ===== ===== Nœud frontal =====
Ligne 39: Ligne 43:
 Plusieurs ensemble de nœud de calcul différents cohabitent. Plusieurs ensemble de nœud de calcul différents cohabitent.
  
-==== Génération 2014 ==== +==== Noeuds génération 2014 ==== 
-Série ''node[01,03-12,21-28]'' :+Série ''node[01,03-12,21-28]''  
 +++++ Voir les détails |
  
   * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)   * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
Ligne 46: Ligne 51:
   * disque local 1 To SATA, espace utilisable via /tmp   * disque local 1 To SATA, espace utilisable via /tmp
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
 +++++
  
-__Partitions associées__ : ''rapide'', ''normal'', ''cluster'', ''cluster-nopreempt'' +Affectation slurm : 
- +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
-==== GPGPU génération 2014 ====+==== Noeud GPU (K20) génération 2014 ====
 Un nœud ''node29'' Un nœud ''node29''
 +++++ Voir les détails |
   * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)   * 2 processeurs Intel Xeon E5-2650 v2 (8 coeurs)
   * mémoire 128 Go -- 8 Go/cœur   * mémoire 128 Go -- 8 Go/cœur
Ligne 56: Ligne 63:
   * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x)   * trois cartes NVidia Tesla K20m (architecture //Kepler//, capacités 3.x)
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
 +++++
  
-__Partitions associées__ : ''gpu''+Affectation slurm : 
 +  * __Partitions communes__ : ''gpu''
  
-==== Génération 2016 / 2017 ====+==== Noeuds génération 2016 / 2017 ====
 Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM. Cette série de noeuds a été financé par le laboratoire INSERM UMR 850 de l'intitut GEIST et par XLIM.
  
 Série ''node[46-54,56-57]'', ''node[59-62]'' Série ''node[46-54,56-57]'', ''node[59-62]''
 +++++ Voir les détails |
   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
   * mémoire 128 Go    * mémoire 128 Go 
   * disque local 1 To SATA, espace utilisable via /tmp   * disque local 1 To SATA, espace utilisable via /tmp
   * Réseau Infiniband QLogic IBA7322 QDR   * Réseau Infiniband QLogic IBA7322 QDR
 +++++
  
-__Partitions associées__ : ''cluster-e5v4'', ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro''+Affectation slurm : 
 +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
 +  * __Partitions privatives__ : ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro''
  
-==== GPGPU génération 2016 ====+==== Noeuds GPU (K40m) génération 2016 ====
  
 ''node58'' ''node58''
 +++++ Voir les détails |
   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)   * 2 processeurs Intel Xeon E5-2630 v4 (10 coeurs)
   * mémoire 128 Go – 8 Go/cœur   * mémoire 128 Go – 8 Go/cœur
Ligne 81: Ligne 94:
  
 Puissance crête théorique des 4 cartes K40 : 17,16 TFlops Puissance crête théorique des 4 cartes K40 : 17,16 TFlops
 +++++
  
-__Partitions associées__ : ''gpu'', ''gpu-umr850'' +Affectation slurm : 
- +  * __Partitions communes__ : ''gpu'' 
-==== Nœuds GPU 2018 (2) ==== +  * __Partitions privatives__ : ''gpu-umr850''
-Un noeud : ''node65'' -- Financé par IRCER (UMR CNRS 7315) +
- +
-  * 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz +
-  * mémoire 192 Go  +
-  * disques locaux : 2 x SATA 2 To +
-  * Pas de réseau Infiniband  +
-  * 8 GPU NVidia GTX 1080Ti +
- +
-__Partitions associées__ : ''gpu'', ''gpu-ircer-gtx1080'' +
- +
-==== Nœuds GPU 2018 ==== +
-Deux noeuds : ''node63'' et ''node64'' -- Financés par l'UMR 1248 (ex-850) de l'intitut GEIST +
- +
-  * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz +
-  * mémoire 96 Go  +
-  * disques locaux : SSD 480 Go (utilisable pendant un job sous ''/tmp/ssd'') + SATA 2 To +
-  * Pas de réseau Infiniband  +
-  * 8 GPU NVidia GTX 1080Ti +
- +
-__Partitions associées__ : ''gpu'', ''gpu-umr1248-gtx1080''+
  
 ==== Noeud E5V4 XLIM 2019 ==== ==== Noeud E5V4 XLIM 2019 ====
 Un noeud : ''node66'' -- Financé par XLIM Un noeud : ''node66'' -- Financé par XLIM
 +++++ Voir les détails |
   * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz   * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz
   * mémoire 256 Go    * mémoire 256 Go 
   * disques locaux : 2 x SATA 1 To   * disques locaux : 2 x SATA 1 To
   * Pas de réseau Infiniband    * Pas de réseau Infiniband 
 +++++
  
-__Partitions associées__ : ''xlim-cc''+Affectation slurm : 
 +  * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' 
 +  * __Partitions privatives__ : ''xlim-cc''
  
  
materiel-cali2.1671619347.txt.gz · Dernière modification: 2022/12/21 11:42 de montap01

Outils de la page

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki