| Les deux révisions précédentes
Révision précédente
Prochaine révision
|
Révision précédente
|
materiel-cali2 [2022/12/21 11:58]
montap01 |
materiel-cali2 [2024/03/25 15:42] (Version actuelle)
montap01 |
| ===== Avant-propos ===== | ===== Avant-propos ===== |
| Le cluster est hétérogène : | Le cluster est hétérogène : |
| * une base matérielle commune a été acquise en 2014, constituant l'ossature commune | * une base matérielle commune a été acquise en 2014 |
| * des //ajouts// de noeuds de calcul ont éré réalisés par divers laboratoires | * des //ajouts// de noeuds de calcul ont été réalisés par divers laboratoires |
| * un réseau d'interconnexion rapide //Infiniband// interconnecte la __plupart__ des noeuds, mais pas les derniers acquis | * un réseau d'interconnexion rapide //Infiniband// interconnecte la __plupart__ des noeuds, mais pas les derniers acquis |
| |
| Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes. | Les matériels ajoutés par des laboratoires sont accessibles à tout le monde, mais le laboratoire propriétaire est prioritaire et les jobs en cours seront suspendus ou tués. L'hétérogénéité du cluster est gérée au niveau de l'ordonnanceur slurm via l'utilisation de //partitions// différentes, et possibilité de demander des //features//. |
| |
| |
| ===== Résumé des noeuds ===== | ===== Résumé des noeuds ===== |
| |
| __Colonnes slurm__ | __Notes sur les colonnes slurm__ |
| * La liste des partitions indiquée ici **n'est pas exhaustive**, seulement les partitions ouvertes à tous et généralistes sont indiquées. Voir la page [[:slurm:partitions-qos]] ou la description détaillée des noeuds ci-après | * La liste des partitions indiquée ici **n'est pas exhaustive**, seulement les partitions ouvertes à tous et généralistes sont indiquées. Voir la page [[slurm:partitions]] ou la description détaillée des noeuds ci-après |
| * Les //features// slurm permettent, quand on lance un job, de forcer sa localisation sur les noeuds possédant la //feature// demandée. Par exemple, dans la partition ''normal'', vous voulez exécuter votre code uniquement sur les noeuds avec processeur ''Xeon-E5-2650-v2'' | * Les //features// slurm permettent, quand on lance un job, de forcer sa localisation sur les noeuds possédant la //feature// demandée. Par exemple, dans la partition ''normal'', vous voulez exécuter votre code uniquement sur les noeuds avec processeur ''Xeon-E5-2650-v2'' -> ajoutez ''%%--constraint=Xeon-E5-2650-v2%%'' comme option pour le batch |
| |
| ^ Date ^ Noeuds ^ Processeur ^ Mémoire ^ GPU ^ Infiniband ^ Partitions slurm(*) ^ //Feature// slurm ^ | ^ Date ^ Noeuds ^ Processeur ^ Mémoire ^ GPU ^ Infiniband ^ Partitions slurm ^ //Feature// slurm ^ |
| | 2014 | (19) node[01,03-12,21-28] | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' | ''Xeon-E5-2650-v2'', ''Infiniband'' | | | 2014 | (19) node[01,03-12,21-28] | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' | ''Xeon-E5-2650-v2'', ''Infiniband'', ''NoPreemption'' | |
| | 2014 | (1) node29 | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 K20 | Oui | ''gpu'' |''Xeon-E5-2650-v2'', ''Infiniband'', ''GPU'', ''K20'' | | | 2014 | (1) node29 | 2 Xeon [[http://ark.intel.com/fr/products/75269/Intel-Xeon-Processor-E5-2650-v2-20M-Cache-2_60-GHz | E5-2650v2]], 8 cœurs | 128 Go | 3 [[https://www.nvidia.com/content/PDF/kepler/tesla-k20-active-bd-06499-001-v03.pdf | NVidia K20]] | Oui | ''gpu'' |''Xeon-E5-2650-v2'', ''Infiniband'', ''GPU'', ''K20'', ''NoPreemption'' | |
| | 2016 | (11) node[46-54,56-57] | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | | | 2016 | (11) node[46-54,56-57] | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | |
| | 2016 | (1) node58 | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 K40m | Oui (QDR) | ''gpu'' |''Xeon-E5-2630-v4'', ''Infiniband'', ''GPU'', ''K40m'' | | | 2016 | (1) node58 | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630v4]], 10 cœurs | 128 Go | 4 [[https://international.download.nvidia.com/tesla/pdf/tesla-k40-passive-board-spec.pdf | K40m]] | Oui (QDR) | ''gpu'' |''Xeon-E5-2630-v4'', ''Infiniband'', ''GPU'', ''K40m'' | |
| | 2017 | (4) node[59-62] | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | | | 2017 | (4) node[59-62] | 2 Xeon [[http://ark.intel.com/fr/products/92981/Intel-Xeon-Processor-E5-2630-v4-25M-Cache-2_20-GHz | E5-2630 v4]], 10 cœurs | 128 Go | -- | Oui (QDR) | ''normal'', ''rapide'' |''Xeon-E5-2630-v4'', ''Infiniband'' | |
| | 2018 | (2) node[63-64] | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs | 96 Go | 8 RTX 1080 Ti | -- | ''gpu'' |''Xeon-4108'', ''GPU'', ''GTX1080Ti'' | | | <del>2018</del> | <del>(2) node[63-64]</del> | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz/specifications.html | Silver 4108]], 8 cœurs | 96 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4108'', ''GPU'', ''GTX1080Ti'' | |
| | 2018 | (1) node65 | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs | 192 Go | 8 RTX 1080 Ti | -- | ''gpu'' |''Xeon-4114'', ''GPU'', ''GTX1080Ti'' | | | <del>2018</del> | <del>(1) node65</del> | 2 Xeon [[https://www.intel.fr/content/www/fr/fr/products/sku/123550/intel-xeon-silver-4114-processor-13-75m-cache-2-20-ghz/specifications.html | Silver 4114]], 10 cœurs | 192 Go | 8 [[https://www.nvidia.com/en-gb/geforce/graphics-cards/geforce-gtx-1080-ti/specifications/ | GTX 1080 Ti]] | -- | ''gpu'' |''Xeon-4114'', ''GPU'', ''GTX1080Ti'' | |
| | 2019 | (1) node66 | 2 Xeon [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | ''normal'', ''rapide'' | ''Xeon-4108'' | | | 2019 | (1) node66 | 2 Xeon [[https://ark.intel.com/content/www/us/en/ark/products/123544/intel-xeon-silver-4108-processor-11m-cache-1-80-ghz.html | Silver 4108]], 8 cœurs | 256 Go | -- | -- | ''normal'', ''rapide'' | ''Xeon-4108'' | |
| |
| | Note : (mars 2024) les noeuds 2018 avec 8 GPU chacun ont été transférés sur la cluster CALI v3 |
| |
| ===== Nœud frontal ===== | ===== Nœud frontal ===== |
| |
| Affectation slurm : | Affectation slurm : |
| * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'', ''cluster-nopreempt'' | * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' |
| ==== Noeud GPU (K20) génération 2014 ==== | ==== Noeud GPU (K20) génération 2014 ==== |
| Un nœud ''node29'' | Un nœud ''node29'' |
| |
| Affectation slurm : | Affectation slurm : |
| * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'', ''cluster-nopreempt'' | * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' |
| * __Partitions privatives__ : ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro'' | * __Partitions privatives__ : ''cluster-e5v4-umr850'', ''cluster-e5v4-xlim-electro'' |
| |
| * __Partitions communes__ : ''gpu'' | * __Partitions communes__ : ''gpu'' |
| * __Partitions privatives__ : ''gpu-umr850'' | * __Partitions privatives__ : ''gpu-umr850'' |
| |
| ==== Nœuds GPU (GTX 1080 Ti) 2018 ==== | |
| * ''node63'', ''node64'' -- Financés par l'UMR 1248 (ex-850) de l'intitut GEIST | |
| * ''node65'' -- Financé par IRCER (UMR CNRS 7315) | |
| |
| ++++ Voir les détails | | |
| * CPU respectives : | |
| * 2 processeurs Intel(R) Xeon(R) Silver 4108 CPU @ 1.80GHz | |
| * 2 processeurs Intel(R) Xeon(R) Silver 4114 CPU @ 2.20GHz | |
| * mémoire | |
| * 96 Go | |
| * 192 Go | |
| * disques locaux : | |
| * SSD 480 Go (utilisable pendant un job sous ''/tmp/ssd'') + SATA 2 To | |
| * 2 x SATA 2 To | |
| * Pas de réseau Infiniband | |
| * 8 GPU NVidia GTX 1080Ti | |
| ++++ | |
| |
| Affectation slurm : | |
| * __Partitions communes__ : ''gpu'' | |
| * __Partitions privatives__ : ''gpu-umr1248-gtx1080'', ''gpu-ircer-gtx1080'' | |
| |
| |
| ==== Noeud E5V4 XLIM 2019 ==== | ==== Noeud E5V4 XLIM 2019 ==== |
| |
| Affectation slurm : | Affectation slurm : |
| * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'', ''cluster-nopreempt'' | * __Partitions communes__ : ''rapide'', ''normal'', ''cluster'' |
| * __Partitions privatives__ : ''xlim-cc'' | * __Partitions privatives__ : ''xlim-cc'' |
| |
