Поддержка пользователей

h1. Система очередей

Для доступа к ресурсам кластера используется система управления вычислительными ресурсами "SLURM":https://slurm.schedmd.com/.

{{toc}}

Система выполняет как традиционные команды PBS (qsub, qstat), так и специфические команды SLURM.

h2. Структура кластера

Структура и состояние кластера отображается командой "@sinfo@":https://slurm.schedmd.com/sinfo.html

<pre>

PARTITION AVAIL  TIMELIMIT  NODES  STATE NODELIST

fogs         up   infinite      2  alloc fog[2,8]

fogs         up   infinite      6   idle fog[1,3-7]

fms          up   infinite      1  alloc fm1

fms          up   infinite      3   idle fm[2-4]

preempt      up   infinite      4  alloc fm1,fog[2,8],mathserv

preempt      up   infinite     10   idle fm[2-4],fog[1,3-7],ts

preempt      up   infinite      1   down gis-eng3

all*         up   infinite      4  alloc fm1,fog[2,8],mathserv

all*         up   infinite     10   idle fm[2-4],fog[1,3-7],ts

all*         up   infinite      1   down gis-eng3

</pre>

В структуре кластера выделены два подраздела fogs и fms, представляющие собой однородные кластеры 

|_. подраздел |_. число узлов |_. основной процессор |_. коммуникация |_. сопроцессор |

| fogs | 8 | 2x AMD O2435 | InfiniBand DDR | нет |

| fms  | 4 | 2x Intel Xeon X5675 | Gigabit Ethernet | 4x NVIDIA Tesla C2070 |

Все узлы кластера объединены в раздел @all@. Раздел @preempt@ выделен для служебных задач.

Узел @gis-eng3@ служит головным узлом кластера и выведен из под управления SLURM.

h2. Интерактивный режим

h3. Команды SLURM

Для работы в интерактивном режиме необходимо

# Зарезервировать ресурсы командой "@salloc@":https://slurm.schedmd.com/salloc.html

# Выполнять команды в рамках выделенных ресурсов командой "@srun@":https://slurm.schedmd.com/srun.html

# Освободить ресурсы командой @exit@

Примеры:

h4. Пример 1. Запуск нескольких команд на одном узле из раздела @fms@

<pre>

(gis-eng3)$ salloc -N1 -p fms --exclusive 

salloc: Granted job allocation 19877

(gis-eng3)$ srun /bin/hostname

fm2.cl.localnet

(gis-eng3)$ srun gcc --version

gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-28)

Copyright (C) 2015 Free Software Foundation, Inc.

This is free software; see the source for copying conditions.  There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

(gis-eng3)$ exit

exit

salloc: Relinquishing job allocation 19877

</pre>

h4. Пример 2. Запуск интерпретатора команд на узле

<pre>

(gis-eng3)$ salloc -N1 -p fms --exclusive

salloc: Granted job allocation 19878

(gis-eng3)$ srun --pty /bin/bash

(fm2)$ /bin/hostname

fm2.cl.localnet

(fm2)$ gcc --version

gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-28)

Copyright (C) 2015 Free Software Foundation, Inc.

This is free software; see the source for copying conditions.  There is NO

warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

(fm2)$ exit

exit

(gis-eng3)$ exit

exit

salloc: Relinquishing job allocation 19878

</pre>

Этот вариант удобен, если выполняемые команды требуют установки переменных окружения.

h4. Пример 3. Запуск команды одной строкой

<pre>

(gis-eng3)$ srun -N1 -p fms /bin/hostname

fm2.cl.localnet

</pre>

h3. Команды PBS

Команда @qsub -I@ эквивалентна команде @salloc@

h4. Пример 4. Запуск команды в интерактивном режиме с помощью qsub и srun

<pre>

(gis-eng3)$ qsub -I

salloc: Granted job allocation 19880

(gis-eng3)$ srun /bin/hostname

fm2.cl.localnet

(gis-eng3)$ exit

exit

salloc: Relinquishing job allocation 19880

</pre>

h2. Пакетный режим

h3. Команды SLURM

Для резервирования ресурсов и запуска задач в пакетном режиме используется команда "@sbatch@":https://slurm.schedmd.com/sbatch.html.

Аргументы для команды можно включить в текст скрипта пакетной задачи:

<pre>

#!/bin/bash

#SBATCH --nodes=1

#SBATCH --ntasks=1

#SBATCH --cpus-per-task=12

#SBATCH --partition=fms

srun /bin/hostname

</pre>

Поставить задачу в очередь на выполнение можно командой

<pre>

sbatch slurm-test.job

</pre>

Когда ресурсы освободятся, этот скрипт выполнится на одном из узлов из раздела @fms@.

h3. Команды PBS

<pre>

$ qsub qsub-test.sh

</pre>

Скрипт @qsub-test.sh@ может использовать в качестве синтаксиса резервирования ресурсов как синтаксис Torque, так и синтаксис PBS Professional

<pre>

#!/bin/bash

# Using Torque syntax

#PBS -q fms

#PBS -l nodes=1:ppn=12

/bin/hostname

</pre>

<pre>

#!/bin/bash

# Using PBS Professional syntax

#PBS -q fms

#PBS -l select=1:ncpus=12

/bin/hostname

</pre>

При успешной постановке в очередь будет показан id, присвоенный задаче.

Команда @qsub scriptname@ эквивалентна команде с учетом трансляции директив @#PBS@ в директивы @#SLURM@

<pre>/usr/bin/sbatch -e scriptname.e%A -o scriptname.o%A scriptname 2>&1</pre>

h2. Просмотр состояния очереди

h3. Команды SLURM

Для отображения состояния очереди используется команда "@squeue@":https://slurm.schedmd.com/squeue.html

Формат отображения представлен ниже

<pre>

JOBID PARTITION     NAME     USER ST       TIME  NODES NODELIST(REASON)

19074   preempt gitlab-c     root  R 16-00:42:19      1 fog8

19246       all jupyter-    user1  R 15-04:20:50      1 fog2

19257       all jupyter-    user2  R 14-23:24:30      1 fm1

19868       all  taverna    user3  R     5:10:41      1 mathserv

</pre>

h3. Команды PBS

Команда @qstat@ отображает список задач в очереди в формате, привычном пользователям PBS

<pre>

Job id              Name             Username        Time Use S Queue          

------------------- ---------------- --------------- -------- - ---------------

19074               gitlab-ci        root            16:00:45 R preempt        

19246               jupyter-         user1           15:04:24 R all            

19257               jupyter-         user2           14:23:28 R all            

19868               taverna          user3           00:05:14 R all            

</pre>