Ceci est une ancienne révision du document !
Une évolution logicielle est en préparation sur CALI. Le système passe à un équivalent RedHat 8 ( AlmaLinux 8.5).
Une phase transitoire est en cours, avec d'un côté, le cluster CALI dans son ancienne version (version 2
) ; et d'un autre côté son successeur, noté en version 2-B
. Les noeuds de calcul existants ont été répartis entre les deux versions.
Vous trouverez ici les éléments importants à prendre en compte pendant cette période.
Nom DNS pour se connecter : cali2-b.unilim.fr
Comme sur CALI2, la connexion est possible :
Le home directory n'est pas le même
~/old-home
(lien présent à la racine de votre nouveau home directory)L'espace scratch existe toujours :
~/scratch
présent dans votre home directory
Comme sur CALI, la commande module
permet de sélectionner un environnement logiciel, pour mettre à disposition un logiciel avec une certaine version.
A la différence de CALI2, aucun module n'est chargé par défaut. Sur CALI2, certains modules (compilateurs Intel, Intel MPI) étaient chargés par défaut – ce n'est plus le cas.
L'environnement Slurm est relativement identique à CALI2, afin de faciliter la transition :
module avail gcc
module avail intel/composer
module load compiler
Comme sur CALI2, deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI
Une partie des noeuds du cluster est relié par un réseau haute performance Infiniband, de technologie QLogic TrueScale ou Intel Infinipath. Cette technologie a été abandonnée par Intel, et mal supportée à l'heure actuelle.
La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée psm
. Hors elle ne fonctionne pas sur CALI2-B. Il faut alors se “rabattre” soit sur l'API verbs
, soit sur le mode tcp
.
Trois versions sont réellement disponibles :
module load mpi/openmpi-x86_64
module load mpi/openmpi/3.1.6
ou mpi/openmpi/4.1.2
La configuration qui semble optimale avec OpenMPI est d'utiliser la couche PML ucx
– par exemple en positionnant la variable suivante dans vos jobs slurm :
export OMPI_MCA_pml=ucx
Avertissement La librairie Intel MPI semble moins efficace qu'OpenMPI en l'absence de support de psm. A tester pour votre code.
Plusieurs versions sont disponibles :
module avail mpi/impi
module load mpi/2021.3.0
Comme sur CALI2, il est conseillé de lancer les programmes MPI via srun