Calcul en Limousin

Outils pour utilisateurs

Outils du site

Piste:
logiciels:gromacs

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentes Révision précédente
Prochaine révision 		Révision précédente
logiciels:gromacs [2014/10/15 11:57]
fabre21 [Benchmarks] 		logiciels:gromacs [2019/01/28 11:27] (Version actuelle)
fabrep03 [Performance]
Ligne 9: Ligne 9:
     * 5.0.2 avec support OpenMP et MPI     * 5.0.2 avec support OpenMP et MPI
     * 5.0.2 avec support OpenMP et GPU NVidia (:!: compilé avec Intel composer 2013)     * 5.0.2 avec support OpenMP et GPU NVidia (:!: compilé avec Intel composer 2013)
 +    * 5.0.4, en simple et double précision, avec MPI ou sans
 +    * 2016 avec support OpenMP et MPI
 +    * 2018.4 avec support OpenMP et MPI
 +    * 2019 avec support OpenMP, MPI, nouvelles SIMD et GPU avec CUDA 10.0
  
 ===== Utilisation ===== ===== Utilisation =====
  
-Voir les manuels d'utilisation sur http://www.gromacs.org/Documentation/Manual+Voir les manuels d'utilisation sur http://manual.gromacs.org/documentation/current/index.html
  
-Pour une discussion sur la parallélisation :  http://www.gromacs.org/Documentation/Acceleration_and_parallelization 
 ==== Sélection de la version ==== ==== Sélection de la version ====
 Pour sélectionner la version voulue : utiliser les [[..:modules]] Pour sélectionner la version voulue : utiliser les [[..:modules]]
  
 Par exemple :  Par exemple : 
-  module load gromacs/5.0.2-mpi +  module load gromacs/2019
- +
-:!: Si vous utilisez la version GPU, vous devez faire +
-  module unload intel/composer +
-  module load intel/composer/xe_2013_sp1.2.144 +
-  module load gromacs/5.0.2-gpu+
  
 +Un seul fichier module existe. Le nom de l'exécutable change en fonction du mode de fonctionnement souhaité :
 +  * ''gmx'' pour la version sans MPI en simple précision
 +  * ''mdrun_mpi'' pour la version avec MPI et partition ''normal'' et assimilées
 +  * ''mdrun_avx2'' pour la version avec MPI et partition ''cluster-e5v4'' et assimilées
 +  * ''mdrun_gpu'' pour la version GPU pour les K20 (non testée)
 +  * ''mdrun_gpu_avx2'' pour la version GPU pour les K40 (non testé) et les GTX1080TI
  
 ===== Performance ===== ===== Performance =====
-Les benchmarks suivants ont été réalisés sur une simulation de DHFR (une petite protéine), qui est couramment utilisée pour des benchmarks. Le système contient environ 23000 atomes. +La dernière version (2019 ou plus) est à privilégier, car les performances sont bien meilleures qu'avec les anciennes. 
-Il est possible de paralléliser de deux manières différentes : +
-  * avec MPI, qui est performant pour partager un job au sein d'un ou plusieurs noeuds +
-  * avec openMP, qui peut être performant pour partager des coeurs au sein d'un processus MPI sur un même noeud. +
-Voici un tableau des performances relevées avec Gromacs 5.0.2 compilé avec les compilateurs intel :+
  
-  nb_coeurs      ntasks(MPI)     cpus-per-task(openMP)    GPU      Performance(ns/day) +J'ai effectué de nombreux benchmarks et on en tire des enseignements intéressants. Le mieux est de consulter la présentation de ces résultats de benchmark. M'écrire à [[gabin.fabre@unilim.fr]] pour en discuter.
-          2               2                          1      0       10.955 +
-          4               4                          1      0       14.817 +
-          8               8                          1      0       21.747 +
-         16              16                          1      0       64.457 +
-         32              32                          1      0      110.067 +
-         64              64                          1      0      156.836 +
-        128             128                          1      0      268.282 +
-        256             256                          1      0      255.346 #ici, on dépasse la limite de 100 atomes par coeur. Ça devrait mieux fonctionner avec un plus gros système +
-        256             128                          2      0      291.507 # pour un grand nombre de coeurs, il devient intéressant de diminuer le nombre de processus MPI au profit d'openMP +
-          8               1                          8      1       82.490 +
-          8               2                          4      2       82.217 # la puissance à 2 GPU est limitée par le nombre de coeurs +
-         16               2                          8      2      118.781 +
-         16               1                         16      1      112.530 # pas d'intérêt d'utiliser les 2 CPU pour 1 GPU, mais on constate également la limite du nombre de CPU. +
-          +
-Ne sont présentées ici que les configurations les plus rapides. En effet, sur CPU uniquement, openMP n'est efficace que pour des gros systèmes sur un grand nombre de coeurs. Avec moins de 256 coeurs, on constate une dégradation de performance quel que soit le nombre de threads openMP par processus MPI.+
  
-Avec des GPU, c'est différent. Il faut utiliser au moins un processus thread-MPI par GPU. Ensuite, on ajuste le nombre de threads openMP pour obtenir le nombre de coeurs voulu. En pratique, utiliser plus d'un thread-MPI par GPU dégrade la performance.+{{:logiciels:gromacs_2019_benchmarks.pdf|}}
  
-On constate qu'avec GPU on semble être limité par le nombre de CPU. À noter qu'il n'est pas possible d'utiliser plus que 16 coeurs (la partition Slurm ne contient que le noeud GPU). Ce comportement peut aussi être différent pour des plus gros sytèmes. 
 ===== Exemples de fichiers batch slurm ===== ===== Exemples de fichiers batch slurm =====
 ==== Sur CPU ==== ==== Sur CPU ====
 +
   #!/bin/bash   #!/bin/bash
-  #SBATCH --partition=cluster +  #SBATCH --partition=normal 
-  #SBATCH --qos=cluster +  #SBATCH --ntasks=16
-  #SBATCH --ntasks=32+
   #SBATCH --cpus-per-task=1   #SBATCH --cpus-per-task=1
   #SBATCH --threads-per-core=1   #SBATCH --threads-per-core=1
   #SBATCH --mem-per-cpu=1000   #SBATCH --mem-per-cpu=1000
-  #SBATCH --time=10-00:00:00+  #SBATCH --time=2-00:00:00 
 +  #SBATCH --nodes=1-4
      
-  module load gromacs +  # the --nodes option sets the minimum and maximum number of cores. It is good to set the maximum to ntasks/16 to limit jobs spread on many many nodes. 
 +   
 +  module load gromacs
   export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK   export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK
 +  mdrun="srun --kill-on-bad-exit=1 mdrun_mpi" #without the option, the job hangs and is not terminated when it fails.
 +  grompp="gmx grompp" # for gromacs version 5 and later
      
-  WORKDIR="$HOME/scratch/$SLURM_JOB_ID"+  if [ -r "state.cpt" ] ; then 
 +  # if state.cpt exists in the current directory, that means we are in scratch and the calculation has run already 
 +  restart="TRUE" 
 +  else 
 +  restart="FALSE" 
 +  fi 
 +  # restart="FALSE" # you can force a restart or not with this line
      
 +  if [ "$restart" == "TRUE" ] ; then
 +  MIN=false # we assume min step is done the first day
 +  #WORKDIR has to be where the data is, i.e. in scratch / inside the results.* folder. So submit this batch file from there.
 +  WORKDIR="$PWD"
 +  sleep 30 # to make sure all processes from the previous job are killed
 +  restartoptions="-cpi state.cpt -append"
 +  else # options for the beginning of the run
   MIN=true   MIN=true
-  grompp=grompp +  simname=`basename $PWD` 
-  mdrun="srun mdrun_mpi" +  WORKDIR="$HOME/scratch/gromacs/run.$SLURM_JOB_ID.gromacs.$simname" 
-  +  #
   # Directory used to store the results   # Directory used to store the results
-  mkdir $WORKDIR || { +  # 
-          echo "ERROR Creating the working directory" +  mkdir -p $WORKDIR || { 
-          exit 1+  echo "ERROR Creating the working directory" 
 +  exit 1
   }   }
-   
   cp * $WORKDIR   cp * $WORKDIR
 +  ln -sfn $WORKDIR "results.$SLURM_JOB_ID" # create symbolic link to scratch
 +  cd $WORKDIR
 +  restartoptions=""
 +  fi
 +  
   cd $WORKDIR   cd $WORKDIR
      
   if [ $MIN = "true" ]; then   if [ $MIN = "true" ]; then
      
-    $grompp -f em.mdp -c md.gro -n md.ndx -p md.top -o em.tpr +  $grompp -f em.mdp -c md.gro -n md.ndx -p md.top -o em.tpr 
-    $mdrun -s em.tpr -o em.trr -c em.gro -e em.edr -g em.log+  $mdrun -s em.tpr -o em.trr -c em.gro -e em.edr -g em.log
      
-    $grompp -f pr.mdp -c em.gro -n md.ndx -p md.top -r em.gro -o pr.tpr +  $grompp -f pr.mdp -c em.gro -n md.ndx -p md.top -r em.gro -o pr.tpr 
-    $mdrun -s pr.tpr -o pr.trr -c pr.gro -e pr.edr -g pr.log+  $mdrun -s pr.tpr -o pr.trr -c pr.gro -e pr.edr -g pr.log
      
-    mv pr.gro 0.gro+  mv pr.gro 0.gro
      
   fi   fi
      
 +  #use the following line if you want to prolong a simulation that crashed or terminated normally.
 +  #if you just want to finish it after a crash, comment it.
 +  #adjust the -until option to the total amount of ps you want to have.
 +  #gmx convert-tpr -s md.tpr -o md.tpr -until 1000000
 +  
 +  # tricky part: submit the same job, that will only be run after the current one crashes.
 +  sbatch -d afternotok:$SLURM_JOB_ID $0
 +  
 +  if [ "$restart" == "FALSE" ] ; then
   $grompp -f md.mdp -c 0.gro -n md.ndx -p md.top -o md.tpr   $grompp -f md.mdp -c 0.gro -n md.ndx -p md.top -o md.tpr
-  $mdrun -s md.tpr -o md.trr -x md.xtc -c md_out.gro -e md.edr -g md.log +  fi 
-  rm -f md.trr # remove the uncompressed trajectory after the calculation +   
-  rm -f \#* # remove backup files+  #the -cpi option will use your checkpoint to restart the calculation and continue writing to your files. 
 +  $mdrun -s md.tpr -o md.trr -x md.xtc -c md_out.gro -e md.edr -g md.log $restartoptions 
 +   
 +  rm -f md.trr # remove the big file (>1GB) after the calculation 
 +  rm -f #* # remove the backup files
  
 ===== Exemple de fichier batch slurm sur GPU ===== ===== Exemple de fichier batch slurm sur GPU =====
logiciels/gromacs.1413367063.txt.gz · Dernière modification: 2014/10/15 11:57 de fabre21

Outils de la page

Sauf mention contraire, le contenu de ce wiki est placé sous les termes de la licence suivante : CC Attribution-Share Alike 4.0 International
CC Attribution-Share Alike 4.0 International Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki