Une évolution logicielle est en préparation sur CALI. Le système passe à un équivalent RedHat 8 ( AlmaLinux 8.5).

Une phase transitoire est en cours, avec d'un côté, le cluster CALI dans son ancienne version (version 2) ; et d'un autre côté son successeur, noté en version 2-B. Les noeuds de calcul existants ont été répartis entre les deux versions.

Vous trouverez ici les éléments importants à prendre en compte pendant cette période.

Nom DNS pour se connecter : cali2-b.unilim.fr

Comme sur CALI2, la connexion est possible :

• Par SSH
• Par X2GO

Le home directory n'est pas le même

• Vous pouvez retrouver l'ancien home directory en allant dans le sous-dossier ~/old-home (lien présent à la racine de votre nouveau home directory)
• Depuis CALI2, vous ne pouvez pas accéder au home de CALI2-B

L'espace scratch existe toujours :

• Identique à celui de CALI2
• Accessible via le lien ~/scratch présent dans votre home directory

Comme sur CALI, la commande module permet de sélectionner un environnement logiciel, pour mettre à disposition un logiciel avec une certaine version.

A la différence de CALI2, aucun module n'est chargé par défaut. Sur CALI2, certains modules (compilateurs Intel, Intel MPI) étaient chargés par défaut – ce n'est plus le cas.

L'environnement Slurm est relativement identique à CALI2, afin de faciliter la transition :

• mêmes partitions
• mêmes limites

• Vous disposez nativement de la suite GNU (gcc, g++, gfortran), en version 9, de la distribution AlmaLinux 8
• Si vous avez besoin d'autres versions, les modules permettent de choisir une autre version – récupérées de CALI2 – voir les version disponibles avec module avail gcc

• Les anciennes versions des compilateurs Intel sont toujours disponibles – voir les versions disponibles avec module avail intel/composer
• Une nouvelle version, la suite OneAPI, a été installée pour la charger, la commande est simplement module load compiler

Comme sur CALI2, deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI

Une partie des noeuds du cluster est relié par un réseau haute performance Infiniband, de technologie QLogic TrueScale ou Intel Infinipath. Cette technologie a été abandonnée par Intel, et mal supportée à l'heure actuelle.

La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée psm. Hors elle ne fonctionne pas sur CALI2-B. Il faut alors se “rabattre” soit sur l'API verbs, soit sur le mode tcp.

Trois versions sont réellement disponibles :

• celle livrée par AlmaLinux 8 – à charger avec module load mpi/openmpi-x86_64
• deux versions (3.1 et 4.1) recompilées – à charger avec module load mpi/openmpi/3.1.6 ou mpi/openmpi/4.1.2

La configuration qui semble optimale avec OpenMPI est d'utiliser la couche PML ucx – par exemple en positionnant la variable suivante dans vos jobs slurm :

export OMPI_MCA_pml=ucx 

Avertissement La librairie Intel MPI semble moins efficace qu'OpenMPI en l'absence de support de psm. A tester pour votre code.

Plusieurs versions sont disponibles :

• les ancienns versions de CALI2 sont toujours disponibles – voir les versions avec module avail mpi/impi
• une version issue de OneAPI est aussi disponible : module load mpi/2021.3.0

Comme sur CALI2, il est conseillé de lancer les programmes MPI via srun