Операционная система: Scientific Linux 6.9

Файловые системы: NFS4, EOS 4.1.20, CVMFS 2.4.2

Управление переменными окружения: MODULE 3.2.10

Планировщик: SLURM 16.05

SLURM – менеджер ресурсов и планировщик заданий для вычислительных кластеров, управляющий доступными вычислительными узлами. Настройки планировщика SLURM позволяют управлять очередью для заданий, общей загрузкой ресурсов в процессе выполнения заданий, распределять нагрузку по выделенным узлам. Так же пакет содержит инструменты для мониторинга и сбора статистики использования кластера.

Настройки планировщика SLURM позволяют распределить вычислительные узлы по группам (очередям). Таким образом в таблице приведены типы очередей, количество узлов в очереди и характеристики узлов:

Название очередиКоличество узловХарактеристики узлов
interactive*12x Intel Xeon E5-2695 v2, ОЗУ 128 Гб, NVIDIA K20X, Intel Xeon Phi 5110P;
cpu32x Intel Xeon E5-2695 v2, ОЗУ 128 Гб;
gpu12x Intel Xeon E5-2695 v2, ОЗУ 128 Гб, 3x NVIDIA K40;
gpuK8022x Intel Xeon E5-2695 v3, ОЗУ 512 Гб, 2x NVIDIA K80;
phi12x Intel Xeon E5-2695 v2, ОЗУ 128 Гб, 2x Intel Xeon Phi 7120P;
long42x Intel Xeon E5-2695 v2, ОЗУ 128 Гб, 3x NVIDIA K40;
tut12x Intel Xeon E5-2695 v3, ОЗУ 512 Гб, 2x NVIDIA K80;

*  Очередь используется по-умолчанию.

Процессоры и вычислительные ускорители доступные на кластере

Intel Xeon Processors

ХарактеристикиE5-2695 v2E5-2695 v3
Количество ядер1214
Тактовая частота2.4 гГц2.3 гГц
Макс. расч. мощность 115 Вт120 Вт

NVIDIA Tesla GPUs

ХарактеристикиK20XK40(Atlas)K80
Количество CUDA ядер 268828804992
Тактовая частота0.732 гГц0.745 гГц0.875 гГц
Макс. пропускная способность памяти250 Гб/с288 Гб/с480 Гб/с
Макс. расч. мощность235 Вт245 Вт300 Вт
Макс. объем памяти6 Гб12 Гб24 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой 3.9 Тфлопс 4.2 Тфлопс8.7 Тфлопс
Пиковая производительность для вычислений двойной точности с плавающей точкой1.3 Тфлопс1.43Тфлопс2.91Тфлопс

Intel Xeon Phi Coprocessors

Характеристики5110P7120P
Количество ядер6061
Тактовая частота1.053 гГц0.745 гГц
Макс. пропускная способность памяти225 Гб/с300 Гб/с
Макс. расч. мощность225 Вт300 Вт
Макс. объем памяти8 Гб16 Гб
Пиковая производительность для вычислений одинарной точности с плавающей точкой2.0 Тфлопс2.4 Тфлопс
Пиковая производительность для вычислений двойной точности с плавающей точкой1.0 Тфлопс1.2 Тфлопс

Далее следует описание доступных для подключения программных модулей.

Однопоточное и многопоточное программирование

Название модуляC,C++,Fortan
hlit/cuda/5.5
hlit/cuda/6.0
hlit/cuda/6.5
hlit/cuda/7.0
hlit/cuda/7.5
hlit/cuda/8.0
hlit/cuda/9.0
nvcc
hlit/gcc/4.8.4
hlit/gcc/4.9.3
hlit/gcc/6.2.0
gcc, g++, gfortran
hlit/openmpi/1.6.5
hlit/openmpi/1.8.8
hlit/openmpi/1.10.4
hlit/openmpi/2.0.1
-qopenmp (Intel), -fopenmp (GNU)
hlit/intel/2016.1.150
hlit/intel/2017.2.050
hlit/intel/2018.0.033
icc, icpc, mpiicc, mpiicpc, ifort, mpiifort

Специализированное программное обеспечение и библотеки

hlit/alps/2.2.b4
hlit/alps/2.3.0
hlit/gamess/16hlit/magma/2.2.0hlit/root/5.34.36
hlit/root/6.06.06
hlit/root/6.09.02
hlit/boost/1.62hlit/geant4/10.02.p02
hlit/geant4/10.03.p01-qt
hlit/geant4/10.03.p01-x11
hlit/namd/2.11hlit/scotch/6.0.4
hlit/cln/1.3.4hlit/ginac/1.7.2hlit/opencv/2.4.9hlit/tcl/8.6.6
hlit/cmake/3.4.1
hlit/cmake/3.9.1
hlit/gnuplot/5.0.6hlit/pandaroot/
jan16-v15.07a_nov15
hlit/zeromq/4.1.3
hlit/zeromq/4.1.5
hlit/zeromq/4.2.1
hlit/czmq/3.0.2
hlit/czmq/3.0.3
hlit/czmq/4.0.2
hlit/gromacs/4.6.7
hlit/gromacs/5.1.4
hlit/petsc/3.7.4hlit/zlib/1.2.8
hlit/fairroot/16.06
hlit/fairroot/v15.07a_nov15
hlit/intel/2.7.12-python
hlit/intel/3.5.2-python
hlit/pythia8/8215hlit/zyre/2.0.0
hlit/fairsoft/may16p1
hlit/fairsoft/nov15
hlit/java/jdk-1.6.0_45
hlit/java/jdk-1.7.0_60
hlit/java/jdk-1.8.0_05
hlit/python/3.5.3
hlit/python/sl6-gcc44/2.7.13
hlit/python/sl6-gcc49/2.7.13
hlit/fftw/3.3.5hlit/lammps/30jul-16hlit/qt/5.9.0