Cet article traite du choix de la Fabric par la librairie Intel MPI.

• Sous ce terme, on désigne un type de “réseau” de communication ( à détailler)
• La librairie Intel MPI est capable d'utiliser plusieurs Fabric différentes

http://www.scientificcomputing.com/articles/2011/09/infiniband-architecture-impact-cpu-utilization

Verbs et PSM sont seux approches différentes pour les communications MPI sur IB

• date des origines d'IB
• interface entre les protocoles de haut niveau et le HCA (Host Controler, carte IB)
• orienté connexion ⇒ lourd
• conséquence, a besoin de HCA avec capacité d'offload
• conçu pour des I/O à la base
• MPI a été ensuite adapté pour utiliser Verbs directement … mais ce n'est pas très adapté

• Performance Scaled Messaging
• postérieur à Verbs
• écrit pour MPI (et donc très bien adapté)
• réside en user space sous forme d'une librairie
• beaucoup plus léger que Verbs
• utilise un découpage des rôles différents de Verbs : la partie “transport” est exécutée par le driver, et non par le HCA. Il n'utilise pas de technologie d'offload

• Ce type de Fabric concerne seulement les machines à mémoires partagées, comme son nom l'indique
• Utilisable pour des communication au sein d'un nœud de calcul

• Utilise le protocole réseau TCP, développé à l'origine pour TCP/IP
• Lent …
• Peut fonctionner
  • sur ethernet
  • sur Infiniband à travers la couche “IPoIB” (IP over Infiniband) qui est activée sur CALI
• A réserver aux anciens nœuds de calcul sans connexion IB

• Direct Access Programming Library
• Protocole de couche haute pour réseau Infiniband
• N'est pas conseillé

Fabric utilisées :

$ echo $I_MPI_FABRICS
shm:tmi

PSM est un TMI Provider. Sélectionné via la configuration du fichier /opt/software/intel/impi_latest/etc64/tmi.conf

• Pourquoi ne pas utiliser DAPL ?
• Est-ce que le RDMA fonctionne ?