Calcul en Limousin

Outils pour utilisateurs

Outils du site

Piste:
slurm:priorite

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
slurm:priorite [2015/06/11 11:21]
montap01 [Âge] 		slurm:priorite [2023/01/03 15:26] (Version actuelle)
montap01 ↷ Liens modifiés en raison d'un déplacement.
Ligne 10: Ligne 10:
   * Fichier de configuration : [[http://slurm.schedmd.com/slurm.conf.html | slurm.conf]]   * Fichier de configuration : [[http://slurm.schedmd.com/slurm.conf.html | slurm.conf]]
   * Commande pour visualiser la priorité : [[http://slurm.schedmd.com/sprio.html | sprio]]   * Commande pour visualiser la priorité : [[http://slurm.schedmd.com/sprio.html | sprio]]
 +  * Commande pour visualiser le fair-share : [[http://slurm.schedmd.com/sprio.html | sshare]]
 +  * Commande pour voir les mesures d'utilisation : [[http://slurm.schedmd.com/sreport.html | sreport]]
  
  
  
 ===== Critères de calcul ===== ===== Critères de calcul =====
-Dans notre configuration, 3 critères sont pris en compte pour le calcul de la priorité (utilisation du plugin //multi-factor//) :  +Dans notre configuration, 2 critères sont pris en compte pour le calcul de la priorité (utilisation du plugin //multi-factor//) : 
-  * L'âge+
   * Le partage équitable (//fair-share//)   * Le partage équitable (//fair-share//)
   * La partition   * La partition
Ligne 26: Ligne 27:
   * Option ''-l'' : affichage format long   * Option ''-l'' : affichage format long
   * Option ''-u USER'' : filtre sur un utilisateur   * Option ''-u USER'' : filtre sur un utilisateur
-  * Option ''-o "%.9i %.14u %.8Y %.8A %.8a %.8F %.8f %.8P %.8p"'' : affichage détaillé+  * Option ''%%-o "%.9i %.14u %.8Y %.8A %.8a %.8F %.8f %.8P %.8p"%%'' : affichage détaillé
 ==== Formule de calcul ==== ==== Formule de calcul ====
   Job_priority =   Job_priority =
- (PriorityWeightAge) * (age_factor) + 
  (PriorityWeightFairshare) * (fair-share_factor) +  (PriorityWeightFairshare) * (fair-share_factor) +
  (PriorityWeightPartition) * (partition_factor) +  (PriorityWeightPartition) * (partition_factor) +
Ligne 39: Ligne 39:
  
 Les poids de chaque facteur doivent être suffisamment élevé pour que les valeurs de priorité diffèrent. Les poids de chaque facteur doivent être suffisamment élevé pour que les valeurs de priorité diffèrent.
-==== Âge ==== 
-  * Dépend du temps d'attente du job 
-  * Poids de ce critère : 10000 
-  * La valeur varie au cours du temps 
-  * La valeur maximale (1.0) est atteinte au bout de 7 jours d'attente 
  
 ==== Partition ==== ==== Partition ====
   * Une priorité est assignée à chaque partition   * Une priorité est assignée à chaque partition
-  * Poids : 1000+  * Poids : 30000
   * La valeur ne varie pas au cours du temps   * La valeur ne varie pas au cours du temps
-  * Voir l'article [[partitions-qos]] pour connaître les valeurs attribuées+  * Voir l'article [[partitions]] pour connaître les valeurs attribuées
  
 ==== Fair-share ==== ==== Fair-share ====
   * Ce facteur est calculé en fonction de l'utilisation réelle par un usager et de la proportion de ressources qui lui a été attribuée   * Ce facteur est calculé en fonction de l'utilisation réelle par un usager et de la proportion de ressources qui lui a été attribuée
-  * Poids : 1000+  * Poids : 70000
   * Les ressources mesurées sont uniquement le temps CPU   * Les ressources mesurées sont uniquement le temps CPU
   * La valeur varie en fonction du temps et des ressources réellement consommées   * La valeur varie en fonction du temps et des ressources réellement consommées
Ligne 64: Ligne 59:
  
 Le facteur partition est calculé par normalisation de la valeur de priorité de la partition choisie par rapport à la valeur maximale de toutes les partitions. Le facteur partition est calculé par normalisation de la valeur de priorité de la partition choisie par rapport à la valeur maximale de toutes les partitions.
-==== rapide / 24h / cluster ==== +==== rapide / normal / cluster ==== 
-  * Sur la partie "commune" du cluster, la politique retenue est de donner une forte priorité aux jobs rapides, une priorité moyenne aux jobs de moins de 24H, et une priorité faible qux jobs "longs" (durée maximale : 30 jours) +  * Sur la partie "commune" du cluster, la politique retenue est de donner une forte priorité aux jobs rapides, une priorité moyenne aux jobs "normaux" (moins de 48H), et une priorité faible qux jobs "longs" (durée maximale : 30 jours) 
-  * La priorisation est construite par l'utilisation de 3 partitions différentes+  * La priorisation est construite par l'utilisation de partitions différentes
     * qui se chevauchent (contiennent les mêmes nœuds)     * qui se chevauchent (contiennent les mêmes nœuds)
     * avec des priorités différentes     * avec des priorités différentes
Ligne 78: Ligne 73:
  
 ===== Fair-share ===== ===== Fair-share =====
-  * Comme nous l'avons vu, le //fair-share// est un des trois facteurs de calcul de la priorité +  * Comme nous l'avons vu, le //fair-share// est un des deux facteurs de calcul de la priorité 
   * Il est basé sur la mesure l'activité passée (temps CPU consommé), via le mécanisme d'//accounting// (comptabilité) de slurm   * Il est basé sur la mesure l'activité passée (temps CPU consommé), via le mécanisme d'//accounting// (comptabilité) de slurm
   * Le calcul du facteur est fait en comparaison    * Le calcul du facteur est fait en comparaison 
-    * à une allocation donnée+    * à une part donnée (//share//)
     * à l'utilisation des autres usagers     * à l'utilisation des autres usagers
   * Comme tout facteur, la valeur calculée sera un réel dans [0; 1.0]   * Comme tout facteur, la valeur calculée sera un réel dans [0; 1.0]
Ligne 91: Ligne 86:
   * La mesure des ressources consommées par un job, pour un utilisateur (//user//) sera imputé sur un //account//, une //ligne de crédit//   * La mesure des ressources consommées par un job, pour un utilisateur (//user//) sera imputé sur un //account//, une //ligne de crédit//
   * Les //account// sont organisés sous une forme hiérarchique : organisme / institut / labo par exemple   * Les //account// sont organisés sous une forme hiérarchique : organisme / institut / labo par exemple
-  * On affecte une valeur de //share// à chaque //account//, représentant **la proportion de ressources allouées à cet account en comparaison des autres de même niveau**+  * On affecte un nombre de parts (//share//) à chaque //account//, représentant **la proportion de ressources allouées à cet account en comparaison des autres de même niveau**
  
 ==== Account niveaux 1 et 2 et poids ==== ==== Account niveaux 1 et 2 et poids ====
  
-^partenaires | 100 (10%) ^ cistem | 1 (50%) | +^partenaires | 100 (10%) ^ cistem | 1 (50% des partenaires) [5% du total]| 
-^ :::        | :::       ^ ingenomix | 1 (50%) | +^ :::        | :::       ^ ingenomix | 1 (50%) [5%] | 
-^unilim      | 900 (90%) ^ XLIM | 283 (28,3 %) | +^unilim      | 900 (90%) ^ XLIM | 283 (28,3 %) [25,4%] | 
-^:::         | :::       ^ IPAM | 283 (28,3 %) | +^:::         | :::       ^ IPAM | 283 (28,3 %) [25,4%] | 
-^:::         | :::       ^ GEIST | 283 (28,3 %) | +^:::         | :::       ^ GEIST | 283 (28,3 %) [25,4%] | 
-^:::         | :::       ^ SHS | 150 (15% %) | +^:::         | :::       ^ SHS | 150 (15%) [13,5%]| 
- +
 ==== Account par labo (niveau 3) ==== ==== Account par labo (niveau 3) ====
   * Sous chaque institut, un autre account existe, par laboratoire   * Sous chaque institut, un autre account existe, par laboratoire
Ligne 107: Ligne 102:
  
 ==== Share par utilisateur ==== ==== Share par utilisateur ====
-  * Chaque +  * Tous les utilisateurs d'un account (labo dans notre cas) ont la même part 
 +  * Donc au sein d'un labo, un utilisateur ayant plus consommé de ressources qu'un autre sera moins prioritaire 
 + 
 + 
 + 
 +==== Utilisation passée ==== 
 +  * L'utilisation passée est atténuée au fil du temps 
 +  * La demi vie est fixée à : 90 jours 
 +  * Pour atteindre la part d'utilisation attribuée chaque //account//, l'usage d'un utilisateur est corrigé par l'utilisation des autres utilisateurs et des autres comptes (usage effectif) 
 +  * Autrement dit, la consommation de ressources par les autres membres du laboratoire, et par les autres laboratoires de l'institut, va affecter la priorité d'un utilisateur 
 + 
 +==== Consulter l'utilisation comptabilisée ==== 
 +  * La commande ''sreport'' affiche les valeurs d'utilisation enregistrées 
 +  * Utilisez la commande ''sreport-summary'' pour une vue synthétique sur 30 jours 
 + 
 +==== Consulter la valeur du fair-share ==== 
 +  * La commande ''sshare'' affiche les informations sur les parts (//share//) allouées, l'utilisation mesurée, effective et la valeur du facteur de fair-share 
 +  * Avec l'option ''-u USER'' : affich les infos pour un utilisateur
slurm/priorite.1434014512.txt.gz · Dernière modification: 2015/06/11 11:21 de montap01

Outils de la page

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki