1. На каждом компьютере, входящем в кластер, завести пользователя с одним и тем же именем (например, MPIUSER) и паролем (я дал ему пароль "1"), с ограниченными привилегиями.
2. На главном компьютере (в моем случае это, разумеется, ILYA) создать сетевую папку (например, COMMON). Следует озаботиться, чтобы пользователь MPIUSER имел к ней полный доступ.
3. В той же папке создать файл, содержащий имя пользователя, от чьего имени будут запускаться процессы, а также его пароль. В моем случае содержимое этого файла должно быть таким:
mpiuser
1
Я назвал это файл lgn.
После всех этих действий запуск MPI программы test осуществить можно как
>mpirun -pwdfile \ILYA\COMMON\lgn -hosts 2 ILYA 1 EKATERINA 1 \ILYA\COMMON\test.exe
Изменив соответствующие опции, можно запускать различное число процессов. Например
>mpirun -pwdfile \ILYA\COMMON\lgn -hosts 2 ILYA 3 EKATERINA 3 \ILYA\COMMON\test.exe
На рисунке виден результат такого вызова. Вывод от различных процессов выделяется различным цветом, поскольку опция -nocolor отключена. Обратите внимание на то, что последовательность номер выводимой строки вовсе не совпадает с номером процесса. Этот порядок будет меняться от случая к случаю.
На этом рисунке запечатлен Диспетчер задач при запуске на компьютере EKATERINA четырех процессов. Установлен приоритет по умолчанию.
Утилита MPIRegister.exe.
Поскольку компьютеры ILYA и EKATERINA объединены в локальную сеть, у меня нет никаких проблем с безопасностью. Пароль для пользователя mpiuser хранится в открытом виде в файле lgn. Увы, так можно делать далеко не всегда. Если компьютеры, входящие в кластер, являются частью более разветвленной сети, или, более того, используют подключение к Internet, так поступать не просто не желательно, а недопустимо.
В таких случаях следует хранить пароль пользователя, от имени которого будут запускаться процессы, в системном реестре Windows в зашифрованном виде. Для этого предназначена программа MPIRegister.exe.
Опции таковы
| mpiregister |
| Запрашивает имя пользователя и пароль (дважды). После ввода спрашивает, сделать ли установки постоянными. При ответе 'yes' данные будут сохранены на диске, а иначе — останутся в оперативной памяти и при перезагрузке будут утеряны. |
| mpiregister -remove |
| Удаляет данные о пользователе и пароле. |
| mpiregister -validate |
| Проверяет правильность сохраненных данных. |
Запускать mpiregister следует только на главном компьютере. Загрузчик приложения mpirun без опции -pwdfile будет запрашивать данные, сохраненные программой mpiregister. Если таковых не обнаружит, то запросит имя пользователя и пароль сам.
Сейчас, когда заработала простейшая программа, можно начать осваивать функции обмена данными — именно то, что позволяет осуществить взаимодействие между процессами.
Функции двухточечного обмена.
Блокирующая передача (прием) — означает, что программа приостанавливает свое выполнение, до тех пор, пока передача (прием) не завершится. Это гарантирует именно тот порядок выполнения операций передачи (приема), который задан в программе.
Блокирующая передача осуществляется с помощью функции MPI_Send.
function MPI_Send( buf : pointer;
count : longint;
datatype : MPI_Datatype;
destination : longint;
tag : longint;
comm : MPI_Comm) : longint;
Осуществляет передачу count элементов указанного типа процессу под номером destination.
| buf | — адрес первого элемента в буфере передачи |
| count | — количество передаваемых элементов в буфере |
| datatype | — MPI-тип этих элементов |
| destination | — ранг процесса-получателя (принимает значения от нуля до n-1, где n — полное число процессов) |
| tag | — тег сообщения |
| comm | — коммуникатор |
В качестве MPI-типа следует указать один из нижеперечисленных типов. Большинству базовых типов паскаля соответствует свой MPI-тип. Все они перечислены в следующей таблице. Последний столбец указывает на число байт, требуемых для хранения одной переменной соответствующего типа.
| MPI_CHAR | shortint | 1 |
| MPI_SHORT | smallint | 2 |
| MPI_INT | longint | 4 |
| MPI_LONG | longint | 4 |
| MPI_UNSIGNED_CHAR | byte | 1 |
| MPI_UNSIGNED_SHORT | word | 2 |
| MPI_UNSIGNED | longword | 4 |
| MPI_UNSIGNED_LONG | longword | 4 |
| MPI_FLOAT | single | 4 |
| MPI_DOUBLE | double | 8 |
| MPI_LONG_DOUBLE | double | 8 |
| MPI_BYTE | untyped data | 1 |
| MPI_PACKED | составной тип | - |
Переменная tag — вспомогательная целочисленная переменная.
MPI-тип MPI_PACKED используется при передаче данных производных типов (сконструированных из базовых типов). Их рассмотрение выходит за рамки данной статьи.
Функция MPI_Recv реализует блокирующий прием данных.
function MPI_Recv( buf : pointer;
count : longint;
datatype : MPI_Datatype;
source : longint;
tag : longint;
comm : MPI_Comm;
var status : MPI_Status) : longint;
| buf | — начальный адрес буфера приема |
| count | — максимальное количество принимаемых элементов в буфере |
| datatype | — MPI-тип этих элементов |
| source | — ранг источника |
| tag | — тег сообщения |
| comm | — коммуникатор |
| status | — статус обмена |
Эта функция осуществляет запрос на получение данных. При ее вызове процесс будет ожидать поступления данных от процесса под номером source. Если таковой не последует, то это приведет к повисанию программы (тупик). Так что при использовании этих функций следует проявлять бдительность.
Число принятых элементов может быть меньше значения переменной count. Если же посылаемые данные имеют больший размер, то будет выведено предупреждение об обрывании передачи.
Возвращаемая переменная status содержит информацию о передаче. Например, ее можно использовать, чтобы определить фактическое количество принятых элементов. Для этого используется функция MPI_Get_count
function MPI_Get_count(var status : MPI_Status;
datatype : MPI_Datatype;
var count : longint) : longint;
Число фактически принятых элементов — в возвращаемой переменной count.
Использование функций двухточечного обмена.
В следующем примере вычисление значений элементов массива "разводится" по двум процессам
uses mpi;
const num = 10;
var
teg, numprocs, myid : longint;
i : longint;
status : MPI_Status;
z, x : double;
arr : array[0..num] of double;
function f( x : double) : double;
begin
f := sqr(x);
end;
begin
MPI_Init(argc,argv);
teg := 0;
MPI_Comm_size(MPI_COMM_WORLD, numprocs);
MPI_Comm_rank(MPI_COMM_WORLD, myid);
for i := 0 to num do
case myid of
0:
if i mod 2 = 0 then arr[i] := f(1.0*i)
else
begin
MPI_Recv(@x,1,MPI_DOUBLE,1,teg,MPI_COMM_WORLD,status);
arr[i] := x
end;
1:
if i mod 2 = 1 then
begin
z := f(1.0*i);
MPI_Send(@z,1,MPI_DOUBLE,0,teg,MPI_COMM_WORLD);
end;
end; // case statement
if myid = 0 then for i := 0 to num do writeln(i,' ',arr[i]);
MPI_Finalize;
end.
Формируется массив заданного числа элементов так, что элементы с четными номерами рассчитывает процесс с myid=0, а нечетными — с myid=1. Конечно, вместо функции sqr может стоять любая другая. Программа написана, конечно же, в расчете на то, что процессов будет всего два. Поскольку значения myid, отличные от 0 и 1, не используются, процессы с такими номерами будут простаивать.
Улучшить программу, то есть написать такой ее вариант, чтобы использовались все процессы, предоставляю читателю :)
Функции коллективного обмена.
Коллективный обмен данными затрагивает не два процесса, а все процессы внутри коммуникатора.
Простейшими (и наиболее часто используемыми) разновидностями такого вида взаимодействия процессов являются рассылка MPI_Bcast и коллективный сбор данных MPI_Reduce.
function MPI_Bcast( buff : pointer;
count : longint;
datatype : MPI_Datatype;
root : longint;
comm : MPI_Comm) : longint;
| buf | — адрес первого элемента буфера передачи |
| count | — максимальное количество принимаемых элементов в буфере |
| datatype | — MPI-тип этих элементов |
| root | — ранг источника рассылки |
| comm | — коммуникатор |
Функция MPI_Bcast реализует "широковещательную передачу". Один процесс ( главный или root процесс) рассылает всем (и себе, в том числе) сообщение длины count, а остальные получают это сообщение.
function MPI_Reduce( buf : pointer;
result : pointer;
count : longint;
datatype : MPI_Datatype;
operation : MPI_Op;
root : longint;
comm : MPI_Comm) : longint;
| buf | — адрес первого элемента буфера передачи |
| count | — количество элементов в буфере передачи |
| datatype | — MPI-тип этих элементов |
| operation | — операция приведения |
| root | — ранг главного процесса |
| comm | — коммуникатор |
Функция MPI_Reduce выполняет операцию приведения над массивов данных buf, полученным от всех процессов, и пересылает результат в result одному процессу (ранг которого определен параметром root).
Как и функция MPI_Bcast, эта функция должна вызываться всеми процессами в заданном коммуникаторе, и аргументы count, datatype и operation должны совпадать.
Имеется 12 предопределенных операций приведения
| MPI_MAX | максимальное значение |
| MPI_MIN | минимальное значение |
| MPI_SUM | суммарное значение |
| MPI_PROD | значение произведения всех элементов |
| MPI_LAND | логическое "и" |
| MPI_BAND | побитовое "и" |
| MPI_LOR | логическое "или" |
| MPI_BOR | побитовое "или" |
| MPI_LXOR | логическое исключающее "или" |
| MPI_BXOR | побитовое исключающее "или" |
| MPI_MAXLOC | индекс максимального элемента |
| MPI_MINLOC | индекс минимального элемента |
Использование коллективных функций ( вычисление числа π).