Une évolution logicielle est en préparation sur CALI. Le système passe à un équivalent RedHat 8 ( AlmaLinux 8.5).

Une phase transitoire est en cours, avec d'un côté, le cluster CALI dans son ancienne version (version 2) ; et d'un autre côté son successeur, noté en version 2-B. Les noeuds de calcul existants ont été répartis entre les deux versions.

Vous trouverez ici les éléments importants à prendre en compte pendant cette période.

Nom DNS pour se connecter : cali2-b.unilim.fr

Comme sur CALI2, la connexion est possible :

• Par SSH
• Par X2GO

Le home directory n'est pas le même

• Vous pouvez retrouver l'ancien home directory en allant dans le sous-dossier ~/old-home (lien présent à la racine de votre nouveau home directory)
• Depuis CALI2, vous ne pouvez pas accéder au home de CALI2-B

L'espace scratch existe toujours :

• Identique à celui de CALI2
• Accessible via le lien ~/scratch présent dans votre home directory

Comme sur CALI, la commande module permet de sélectionner un environnement logiciel, pour mettre à disposition un logiciel avec une certaine version.

A la différence de CALI2, aucun module n'est chargé par défaut. Sur CALI2, certains modules (compilateurs Intel, Intel MPI) étaient chargés par défaut – ce n'est plus le cas.

L'environnement Slurm est relativement identique à CALI2, afin de faciliter la transition :

• mêmes partitions
• mêmes limites

• Vous disposez nativement de la suite GNU (gcc, g++, gfortran), en version 9, de la distribution AlmaLinux 8
• Si vous avez besoin d'autres versions, les modules permettent de choisir une autre version – récupérées de CALI2 – voir les versions disponibles avec module avail gcc

• Les anciennes versions des compilateurs Intel sont toujours disponibles – voir les versions disponibles avec module avail intel/composer
• Une nouvelle version, la suite OneAPI, a été installée pour la charger, la commande est simplement module load compiler

Comme sur CALI2, deux familles de librairies MPI sont mises à disposition : OpenMPI et Intel MPI

Une partie des noeuds du cluster est relié par un réseau haute performance Infiniband, de technologie QLogic TrueScale ou Intel Infinipath. Cette technologie a été abandonnée par Intel, et mal supportée à l'heure actuelle.

La meilleure façon de faire fonctionner ce réseau consiste à utiliser une API appelée psm. Hors elle ne fonctionne pas sur CALI2-B. Il faut alors se “rabattre” soit sur l'API verbs, soit sur le mode tcp.

Trois versions sont réellement disponibles :

• celle livrée par AlmaLinux 8 – à charger avec module load mpi/openmpi-x86_64
• deux versions (3.1 et 4.1) recompilées – à charger avec module load mpi/openmpi/3.1.6 ou mpi/openmpi/4.1.2

La configuration qui semble optimale avec OpenMPI est d'utiliser la couche PML ucx – par exemple en positionnant la variable suivante dans vos jobs slurm :

export OMPI_MCA_pml=ucx 

Avertissement La librairie Intel MPI semble moins efficace qu'OpenMPI en l'absence de support de psm. A tester pour votre code.

Plusieurs versions sont disponibles :

• les ancienns versions de CALI2 sont toujours disponibles – voir les versions avec module avail mpi/impi
• une version issue de OneAPI est aussi disponible : module load mpi/2021.3.0

Pour utiliser verbs, vous devez positionner la variable suivante (par exemple dans vos jobs slurm) :

export FI_PROVIDER=verbs
# Et si vous voulez avoir des informations de "debogage":
export FI_LOG_LEVEL=99
export I_MPI_DEBUG=4 

Comme sur CALI2, il est conseillé de lancer les programmes MPI via srun

Les anciens logiciels de CALI2 ont été recopiés et sont donc accessibles via les modules. Cependant, la plupart risquent de ne pas fonctionner sur CALI2-B

Nous vous invitons donc à nous signaler les logiciels qui sont toujours nécessaires pour vos calculs et qui ne fonctionnent plus, et nous les ré-installerons dès que possible.

Note Nous vous rappelons aussi que sous Linux, vous pouvez installer tous les logiciels souhaités dans vos espaces disques, suivant votre degré de familiarité avec ce système.