Différences

Ci-dessous, les différences entre deux révisions de la page.

--- cali2-b:start [2022/02/15 19:05]
montap01 [Intégration avec SLURM]
+++ cali2-b:start [2023/01/03 15:23] (Version actuelle)
montap01
@@ Ligne 1: / Ligne 1: @@
 ~~SLIDESHOW yatil~~
 ====== CALI VERSION 2-B ======
-Une évolution logicielle est en préparation sur CALI. Le //système// passe à un équivalent RedHat 8 ([[https://almalinux.org/ | AlmaLinux]] 8.5).
+Une évolution logicielle majeure est passée en production sur CALI le 14 septembre 2022. Le //système// est un équivalent RedHat 8 ([[https://almalinux.org/ | AlmaLinux]] 8.6).
-Une phase transitoire est en cours, avec d'un côté, le cluster CALI dans son ancienne version (version ''2'') ; et d'un autre côté son successeur, noté en version ''2-B''. Les noeuds de calcul existants ont été répartis entre les deux versions.
+Vous trouverez ici les éléments importants à prendre en compte. Dans la suite, nous indiquons les différences entre l'ancienne version et la nouvelle.
-Vous trouverez ici les éléments importants à prendre en compte pendant cette période.
+===== Connexion aux clusters =====
-===== Connexion à CALI 2-B =====
+==== Connexion au "nouveau" cluster CALI 2-B =====
-Nom DNS pour se connecter : ''cali2-b.unilim.fr''
+Nom DNS pour se connecter  : ''cali.unilim.fr''
-Comme sur CALI2, la connexion est possible :
+La connexion est possible :
   * Par SSH
   * Par X2GO
 ===== Espaces de stockage =====
 ==== Home directory ====
-Le //home directory// **n'est pas le même**
+Le //home directory// **n'est plus le même**. Vous pouvez retrouver l'ancien //home directory// en allant dans le sous-dossier ''~/old-home'' (lien présent à la racine de votre nouveau home directory)
-  * Vous pouvez retrouver l'ancien //home directory// en allant dans le sous-dossier ''~/old-home'' (lien présent à la racine de votre nouveau home directory)
-  * Depuis CALI2, vous ne pouvez pas accéder au home de CALI2-B
 ==== Espace scratch ====
 L'espace scratch existe toujours :
-  * Identique à celui de CALI2
+  * Identique à celui de CALI2-A
-  * Accessible via le lien ''~/scratch'' présent dans votre home directory
+  * Accessible comme avant via le lien ''~/scratch'' présent dans votre home directory
 ===== Choix de l'environnement logiciel -- Les modules =====
-Comme sur CALI, la commande ''module'' permet de sélectionner un environnement logiciel, pour mettre à disposition un logiciel avec une certaine version.
+La commande ''module'' permet (comme précédemment) de sélectionner un environnement logiciel, pour utiliser un logiciel avec une certaine version.
-A la différence de CALI2, aucun module n'est chargé par défaut. Sur CALI2, certains modules (compilateurs Intel, Intel MPI) étaient chargés par défaut -- **ce n'est plus le cas**.
+A la différence de l'ancienne version du cluster, //aucun module n'est chargé par défaut//. Sur CALI2-A, certains modules (compilateurs Intel, Intel MPI) étaient chargés par défaut -- **ce n'est plus le cas**.
 ===== Slurm =====
-L'environnement Slurm est relativement identique à CALI2, afin de faciliter la transition :
+L'environnement Slurm est relativement identique à CALI2-A, afin de faciliter la transition :
   * mêmes partitions
   * mêmes limites
+Cependant, des modifications ont été apportées pour permettre d'utiliser plus facilement tous les noeuds disponibles.
+==== Partition GPU ====
+La partition ''gpu'' **a été étendue à tous les noeuds avec GPU** (qu'ils soient communs ou "privatifs", càd propriété de certaines équipes de recherche).
+  * elle donne maintenant accès à des cartes K20, K40m ou GTX 1080 Ti
+  * le type de carte voulue peut être précisé dans le job -- modifier la réservation pour ajouter le type : ''%%--gres=gpu:K20:1%%'' ou ''%%--gres=gpu:K40m:1%%'' ou ''%%--gres=gpu:GTX1080Ti:1%%''
+  * les cartes K40m et GTX1080Ti sont mises à disposition par des laboratoires qui les ont financés -- en contre-partie, s'ils en ont besoin, vos jobs seront //pré-emptés// en les arrêtant (kill) et en les remettant dans la queue
+==== Partitions CPU ====
+Les 3 partitions principales à utiliser pour du calcul CPU sont ''rapide'', ''normal'' et ''cluster''
+  * Ces partitions ont été étendues à des noeuds plus récents
+  * Tous ces noeuds ont un réseau Infiniband
+  * Comme pour les gpu, vous pouvez préciser le type de processeur, principalement ''Xeon-E5-2630-v4'' pour les noeuds "récents" ou ''Xeon-E5-2650-v2'' pour les noeuds d'origine -- La sélection se fait avec l'option ''%%--constraint=%%//TYPE//''
 ===== Compilateurs =====
 ==== Suite GNU ====
-  * Vous disposez nativement de la suite GNU (gcc, g++, gfortran), en version 9, de la distribution AlmaLinux 8
+  * Vous disposez nativement de la suite GNU (gcc, g++, gfortran), en version 8.5, de la distribution AlmaLinux
-  * Si vous avez besoin d'autres versions, les //modules// permettent de choisir une autre version -- récupérées de CALI2 -- voir les versions disponibles avec ''module avail gcc''
+  * Si vous avez besoin d'autres versions, les //modules// permettent de choisir une autre version -- récupérées de CALI2-A -- voir les versions disponibles avec ''module avail gcc''
 ==== Suite INTEL ====
   * Les anciennes versions des compilateurs Intel sont toujours disponibles -- voir les versions disponibles avec ''module avail intel/composer''
-  * Une nouvelle version, la suite OneAPI, a été installée :!: pour la charger, la commande est simplement ''module load compiler''
+  * Une nouvelle version, la suite OneAPI, a été installée -- pour la charger, la commande est simplement ''module load compiler''
 ===== MPI =====
-Comme sur CALI2, deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI
+Deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI
@@ Ligne 53: / Ligne 65: @@
 Une partie des noeuds du cluster est relié par un réseau haute performance Infiniband, de technologie //QLogic TrueScale// ou //Intel Infinipath//. Cette technologie a été abandonnée par Intel, et mal supportée à l'heure actuelle.
-La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée ''psm''. Hors elle ne fonctionne pas sur CALI2-B. Il faut alors se "rabattre" soit sur l'API ''verbs'', soit sur le mode ''tcp''.
+La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée ''psm''. Hors elle ne fonctionne pas avec la nouvelle version. Il faut alors se "rabattre" soit sur l'API ''verbs'', soit sur le mode ''tcp''.
@@ Ligne 66: / Ligne 78: @@
 </file>
+Si vous avez besoin de déboguer la couche OpenMPI, vous pouvez ajouter ces variables :
+<file bash>
+export OMPI_MCA_pml_base_verbose=10
+export OMPI_MCA_mtl_base_verbose=10
+export OMPI_MCA_btl_base_verbose=10
+</file>
 ==== Intel MPI ====
 __Avertissement__ La librairie Intel MPI semble moins efficace qu'OpenMPI en l'absence de support de psm. A tester pour votre code.
 Plusieurs versions sont disponibles :
-  * les ancienns versions de CALI2 sont toujours disponibles -- voir les versions avec ''module avail mpi/impi''
+  * les ancienns versions de CALI2-A sont toujours disponibles -- voir les versions avec ''module avail mpi/impi''
   * une version issue de OneAPI est aussi disponible : ''module load mpi/2021.3.0''
@@ Ligne 80: / Ligne 98: @@
 export I_MPI_DEBUG=4
 </file>
 ==== Intégration avec SLURM ====
-Comme sur CALI2, il est conseillé de lancer les programmes MPI via ''srun''
+Comme sur CALI2-A, il est conseillé de lancer les programmes MPI via ''srun''
 ===== Logiciels disponibles =====
-Les anciens logiciels de CALI2 ont été recopiés et sont donc accessibles via les //modules//. **Cependant, la plupart risquent de ne pas fonctionner sur CALI2-B** :!:
+Les anciens logiciels de CALI2-A ont été recopiés et sont donc toujours accessibles via les //modules//. **Cependant, la plupart risquent de ne pas fonctionner sur CALI2-B** car l'environnement système n'est plus le même :!:
+  * Si vous obtenez une erreur ''error while loading shared libraries: libiomp5.so'', chargez le module pour les compilateurs Intel : ''module load compiler''
+  * Si vous obtenez une autre erreur ''error while loading shared libraries: ...so'', chargez le module suivant : ''module load compat/centos-6''
-Nous vous invitons donc à nous signaler les logiciels qui sont toujours nécessaires pour vos calculs et qui ne fonctionnent plus, et nous les ré-installerons dès que possible.
+Si ces mesures ne sont pas suffisantes, signalez-nous le logiciel nécessaire pour vos calculs et l'erreur précise obtenue.
-__Note__ Nous vous rappelons aussi que sous Linux, vous pouvez installer tous les logiciels souhaités dans vos espaces disques, suivant votre degré de familiarité avec ce système.
+__Note__ Nous vous rappelons aussi que sous Linux, vous pouvez installer tous les logiciels souhaités dans vos espaces disques, en totale autonomie -- suivant votre degré de familiarité avec ce système.

Calcul en Limousin

Outils pour utilisateurs

Outils du site

Différences

Outils de la page