Ceci est une ancienne révision du document !
Une évolution logicielle est en préparation sur CALI. Le système passe à un équivalent RedHat 8 ( AlmaLinux 8.5).
Une phase transitoire est en cours, avec d'un côté, le cluster CALI dans son ancienne version (version 2
) ; et d'un autre côté son successeur, noté en version 2-B
. Les noeuds de calcul existants ont été répartis entre les deux versions.
Vous trouverez ici les éléments importants à prendre en compte pendant cette période.
Nom DNS pour se connecter : cali2-b.unilim.fr
Comme sur CALI2, la connexion est possible :
Le home directory n'est pas le même
~/old-home
(lien présent à la racine de votre nouveau home directory)L'espace scratch existe toujours :
~/scratch
présent dans votre home directory
Comme sur CALI, la commande module
permet de sélectionner un environnement logiciel, pour mettre à disposition un logiciel avec une certaine version.
A la différence de CALI2, aucun module n'est chargé par défaut. Vous aviez sur CALI2 le chargement de modules pour les compilkateurs Intel, ce n'est plus le cas.
L'environnement Slurm est relativement identique à CALI2, afin de faciliter la transition :
module avail gcc
module avail intel/composer
module load compiler
Comme sur CALI2, deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI
Une partie des noeuds du cluster est relié par un réseau haute performance Infiniband, de technologie QLogic TrueScale ou Intel Infinipath. Cette technologie a été abandonnée par Intel, et mal supportée à l'heure actuelle.
La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée psm
. Hors elle ne fonctionne pas sur CALI2-B. Il faut alors se “rabattre” soit sur l'API verbs
, soit sur le mode tcp
.
Trois versions sont réellement disponibles :
module load mpi/openmpi-x86_64
module load mpi/openmpi/3.1.6
ou mpi/openmpi/4.1.2
La configuration qui semble optimale avec OpenMPI est d'utiliser la couche PML ucx
– par exemple en positionnant la variable suivante dans vos jobs slurm :
export OMPI_MCA_pml=ucx
Avertissement La librairie Intel MPI semble moins efficace qu'OpenMPI en l'absence de support de psm. A tester pour votre code.
Plusieurs versions sont disponibles :
module avail mpi/impi
module load mpi/2021.3.0
Comme sur CALI2, il est conseillé de lancer les programmes MPI via srun