Message Passing Interface (MPI) (z ang. Interfejs Transmisji Wiadomości) – protokół
komunikacyjny będący standardem przesyłania komunikatów pomiędzy procesami programów
równoległych działających na jednym lub więcej komputerach. Interfejs ten wraz z protokołem
oraz semantyką specyfikuje, jak jego elementy winny się zachowywać w dowolnej
implementacji. Celami MPI są wysoka jakość, skalowalność oraz przenośność. MPI jest
dominującym modelem wykorzystywanym obecnie w klastrach komputerów oraz
superkomputerach. Pierwsza wersja standardu ukazała się w maju 1994 r. Standard MPI
implementowany jest najczęściej w postaci bibliotek, z których można korzystać w programach
tworzonych w różnych językach programowania, np. C, C++, Ada, Fortran.

Opis

MPI jest specyfikacją biblioteki funkcji opartych na modelu wymiany komunikatów dla potrzeb
programowania równoległego. Transfer danych pomiędzy poszczególnymi procesami programu
wykonywanymi na procesorach maszyn będących węzłami klastra odbywa się za
pośrednictwem sieci.

Główny model MPI-1 nie wspiera koncepcji współdzielonej pamięci, MPI-2 wspiera (w sposób
ograniczony) rozproszony system pamięci dzielonej. Mimo tego programy MPI są bardzo często
uruchamiane na komputerach o współdzielonej pamięci.

Program w MPI składa się z niezależnych procesów operujących na różnych danych (MIMD).
Każdy proces wykonuje się we własnej przestrzeni adresowej, aczkolwiek wykorzystanie
pamięci współdzielonej też jest możliwe.

Zaletami MPI nad starszymi bibliotekami przekazywania wiadomości są przenośność oraz
prędkość. Przenośność, ponieważ MPI został zaimplementowany dla każdej architektury opartej
na rozproszonej pamięci. Prędkość, ponieważ każda implementacja jest zoptymalizowana pod
sprzęt, na którym działa. Standard udostępnia zbiór precyzyjnie zdefiniowanych metod, które
mogą być efektywnie zaimplementowane. Stał się on punktem wyjściowym do stworzenia
praktycznego, przenośnego, elastycznego i efektywnego narzędzia do przesyłania komunikatów
(ang. message passing). Standard MPI pozwala na jego zastosowanie zarówno w komputerach
równoległych, jak i heterogenicznych sieciach stacji roboczych.

Standard nie zabrania, aby poszczególne procesy były wielowątkowe. Nie są też udostępnione
mechanizmy związane z rozłożeniem obciążenia pomiędzy poszczególne procesy, z architekturą
rozkładu procesorów, z dynamicznym tworzeniem i usuwaniem procesów. Procesy są
identyfikowane poprzez ich numer w grupie w zakresie 0 .. groupsize – 1.

Główne własności MPI

•

umożliwia efektywną komunikację bez obciążania procesora operacjami kopiowania
pamięci,

•

udostępnia funkcje dla języków C/C++, Fortran oraz Ada,

•

specyfikacja udostępnia hermetyczny interfejs programistyczny, co pozwala na
skupienie się na samej komunikacji, bez wnikania w szczegóły implementacji biblioteki i
obsługi błędów,

•

definiowany interfejs zbliżony do standardów takich jak: PVM, NX czy Express,

•

udostępnia mechanizmy komunikacji punkt – punkt oraz grupowej,

•

może być używany na wielu platformach, tak równoległych jak i skalarnych, bez
większych zmian w sposobie działania.

Zalety MPI

•

dobra efektywność w systemach wieloprocesorowych,

•

dobra dokumentacja,

•

bogata biblioteka funkcji,

•

posiada status public domain,

•

przyjął się jako standard.

Wady MPI

•

statyczna konfiguracja jednostek przetwarzających,

•

statyczna struktura procesów w trakcie realizacji programu (dotyczy to implementacji

opartych na MPI-1). Wersja MPI-2 (wspierana np przez LAM 7.0.4) umożliwia
dynamiczne zarządzanie strukturą procesów biorących udział w obliczeniach –
MPI_Spawn(),

•

brak wielowątkowości.

Interfejs MPI ma na celu dostarczenie wirtualnej topologii, synchronizacji oraz funkcjonalności
komunikacji pomiędzy zestawem procesów (które zostały zmapowane do
węzłów/serwerów/instancji komputerów) w niezależny od języka sposób, przy podobnej do
niego składni. Programy MPI zawsze współpracują z procesami, aczkolwiek programiści
powszechnie odnoszą się do procesów jako procesorów. Zazwyczaj dla uzyskania maksymalnej
wydajności, każdy CPU (lub rdzeń w wielordzeniowym procesorze) ma przypisany pojedynczy
proces. Przypisanie to ma miejsce w czasie rzeczywistym przez agenta, który uruchamia
program MPI (zazwyczaj nazywany mpirun lub mpiexec).

Koncepcje

Komunikator

Komunikatory są obiektami łączącymi, tj. grupującymi procesy podczas sesji MPI. W obrębie
każdego komunikatora każdy zawarty proces ma niezależny identyfikator, zaś same procesy
organizowane są w uporządkowaną topologię.

Punkt – punkt

Szereg ważnych funkcji w API MPI dotyczy komunikacji pomiędzy dwoma określonymi
procesami. Operacje punkt – punkt są szczególnie użyteczne w nieregularnej komunikacji, np.
w architekturze opartej na równoległości danych, w której każdy procesor stale wymienia
regiony danych z innymi określonymi procesorami pomiędzy kolejnymi krokami obliczeń.
Innym przykładem jest architektura master-slave, w której master wysyła nowe dane zadania
do slave’a niezależnie od tego, czy poprzednie zostało ukończone.

Funkcje zbiorowe

Funkcje zbiorowe w API MPI dotyczą komunikacji pomiędzy wszystkimi procesami w grupie
procesów. Wywołania te są często używane na początku lub końcu dużych rozproszonych
obliczeń, gdzie każdy z procesorów operuje na części danych, po czym łączy je w wynik.

Typy danych

Wiele funkcji MPI wymaga, ażeby określić typ danych, jaki jest przesyłany pomiędzy
procesorami. Dzieje się tak, ponieważ argumentami funkcji są zmienne, nie zaś typy
definiowane. Jeśli typ danych jest standardowy, jak np. int, char, double itd., można użyć
predefiniowanych w MPI typów takich jak: MPI_INT, MPI_CHAR, MPI_DOUBLE. Dane mogą być
również w postać klas lub struktur danych. Można wykorzystywać pochodne typy danych z
typów predefiniowanych.

Komunikacja jednostronna (MPI-2)

MPI-2 definuje trzy operacje jednostronnej komunikacji: Put, Get i Accumulate, które to
umożliwiają zapis do zdalnej pamięci, odczyt z niej oraz zmniejszają liczbę operacji pamięci dla
wielu zadań. Definiowane są również trzy różne metody dla synchronizacji komunikacji –
globalna, parami oraz przy wykorzystaniu zdalnych blokad – specyfikacja nie gwarantuje
jednak, iż operacje te będą wykonywane aż do momentu punktu synchronizacji.

Dynamiczne zarządzanie procesami (MPI-2)

Kluczowym aspektem dynamicznego zarządzania procesami w MPI-2 jest zdolność procesów do
tworzenia nowych procesów bądź ustanowienia komunikacji z procesami, które rozpoczęły się
oddzielnie.

MPI I/O (MPI-2)

Równoległe I/O wprowadzone w MPI-2 jest często nazywane w skrócie MPI-IO oraz odnosi się
do zbioru funkcji przeznaczonych do ułatwienia zarządzania I/O w systemach rozproszonych w
sposób abstrakcyjny oraz umożliwienia łatwego dostępu do plików korzystając z
funkcjonalności istniejących typów pochodnych.

1. Ogólna koncepcja systemu
a) Podstawy

MPI realizuje model przetwarzania współbieżnego zwany MIMD ( Multiple Instruction Multiple
Data), a dokładniej SPMD (Single Program Multiple Data). Zakłada on, że ten sam kod
źródłowy wykonuje się jednocześnie na kilku maszynach i procesy mogą przetwarzać
równocześnie różne fragmenty danych, wymieniając informacje przy użyciu komunikatów
Takie podejście ma wiele zalet, z których najbardziej spektakularną jest chyba możliwość
współbieżnych obliczeń wykonywanych na maszynach o zupełnie różnych architekturach (np.
Linux-x86 oraz Solaris-Sparc).

Realizując ten model, MPI umożliwia:

•

Wymianę komunikatów między procesami
(Główny nacisk jest położony na wymianę danych, ale możliwe jest również wysyłanie
komunikatów kontrolnych, czy synchronizacja procesów)

•

Uzyskiwanie informacji o środowisku
(Typowy przykład to ilość aktywnych proces[-ów/-orów], czy numer aktualnego
procesu)

•

Kontrolę nad systemem
(Inicjalizacja/kończenie programu, kontrola poprawności przesyłanych komunikatów
itp.)

Wszystkie te rzeczy są realizowane przy minimalnym stopniu skomplikowania kodu
źródłowego.

b) Komunikaty

Przy przesyłaniu komunikatów między procesami MPI stara się zachować niezależność od
platformy (np. kolejności bajtów). Dla standardowych typów jest to proste, natomiast dla
typów niestandardowych MPI dostarcza funkcje pozwalające na zdefiniowanie typów
użytkownika dla potrzeb przesyłania komunikatów.
Możliwe jest adresowanie komunikatów zarówno do konkretnych procesów, jak i do
określonych grup odbiorców. Dostępne są funkcje do definiowania grup procesów i
późniejszego rozsyłania komunikatów do tych grup. Komunikaty opatrzone są tagami
pozwalającymi na późniejsze selektywne odbieranie ich z kolejki w zależności od rodzaju.
Możliwa jest wymiana komunikatów w trybie non-blocking pozwalającym na jeszcze większe
zrównoleglenie obliczeń.

c) Zaawansowana komunikacja

Główną zaletą MPI przy bardziej złożonych schematach wymiany danych jest ukrywanie przed
programistą szczegółów implementacyjnych oraz możliwość optymalizacji ścieżki przepływu
danych. Wyobraźmy sobie przykładowo, że mamy 8 procesów i pierwszy z nich ma przekazać
pewną porcję danych wszystkim pozostałym. Najprostsza możliwość:

jest oczywiście niezbyt optymalna - widać, że w ogólnym przypadku złożoność czasowa
procesu przesyłania jest zależna liniowo od liczby procesów biorących udział w tej operacji.

Kolejny przykład jest już krokiem w dobrym kierunku - przesyłanie danych trwa dwukrotnie
krócej niż poprzednio

Oczywiście i tak każdy wie, że optymalny schemat broadcastu danych w obrębie grupy
procesów wygląda następująco :)

jednak zaletą MPI jest fakt, że takie decyzje (dotyczące wyboru dróg przesyłania danych) są
ukryte przed programistą - może on po prostu założyć, że dane "kiedyś" i "jakoś" dotrą na
miejsce przeznaczenia, a "kiedy" i "jak" - decyduje system i stara się to zrobić w sposób
optymalny.
Wszystkie te rozważania można również przeprowadzić przeprowadzić w odwrotną stronę - dla
agregacji danych z kilku procesorów. MPI definiuje zbiór funkcji służących do zbierania danych
z kilku procesów. Typowy przykład to obliczanie sumy elementów wektora na podstawie zbioru
sum częściowych (lub np. wyszukiwanie maksymalnego elementu).

2. Środowisko pracy

Z punktu widzenia programisty MPI składa się z dwóch części:

•

Biblioteki (do języka C lub Fortranu) zawierającej niezbędne funkcje i pliki nagłówkowe

•

Środowiska uruchamiania (runtime)

(Można tu zauważyć pewną użytkową analogię np. z Javą - program mpirun jest tu
odpowiednikiem polecenia java)

Najprostszy sposób kompilacji programu to użycie któregoś ze standardowych skryptów
dostarczanych z MPI. Są to:

•

mpicc - dla programów w C

•

mpiCC - dla programów w C++

•

mpif77 - dla programów w Fortranie 77

•

mpif90 - dla programów w Fortranie 90

Uruchamianie programów w MPI jest równie proste i sprowadza się do uruchomienia skryptu
mpirun. Jego jedynym interesującym nas w tej chwili parametrem jest -np <n>. Określa on
ilość równoległych procesów, jakie ma uruchomić system w celu wykonania obliczeń.

Przed uruchomieniem mpirun musimy upewnić się, że w naszym katalogu domowym na
wszystkich maszynach potencjalnie mogących wchodzić w grę przy wykonywaniu naszego
programu w odpowiednim katalogu znajduje się kopia pliku wykonywalnego programu.
Najczęściej w takich przypadkach stosuje się montowanie katalogów przez NFS.

Szczegóły techniczne ukryte za mechanizmem rozsyłania procesów na różne maszyny w
zasadzie nas tu nie interesują, warto może tylko wspomnieć o ADI (Abstract Device Interface).
Jest to wewnętrzny standard mpich określający sposób komunikacji między procesami na
niskim poziomie.

Zaletą używania takiego modelu jest oddzielenie części systemu zależnej od konkretnej
architektury, od części identycznej dla wszystkich. Wynika z tego na przykład, że ten sam
program uruchomiony na maszynie wieloprocesorowej może używać do komunikacji pamięci
wspólnej (shared memory), a wykonywany na klastrze kilku silnych pecetów używa TCP/IP bez
rekompilacji kodu!

3. Ważniejsze funkcje MPI

a) Podstawy

Podstawowe funkcje służące do inicjalizacji/zamykania programu oraz do wysyłania
najprostszych komunikatów (typu Point-to-point) to:

•

int MPI_Init(int *argc, char ***argv);

Funkcja inicjalizuje środowisko wykonywania programu, m.in. tworzy domyślny
komunikator MPI_COMM_WORLD. Dopiero od momentu wywołania MPI_Init można
używać pozostałych funkcji MPI.

•

int MPI_Finalize();

Funkcja zwalnia zasoby używane przez MPI i przygotowuje system do zamknięcia.

•

int MPI_Comm_rank(MPI_Comm comm, int *rank);

Funkcja pobiera numer aktualnego procesu (w obrębie komunikatora comm) i
umieszcza go w zmiennej rank.

•

int MPI_Comm_size(MPI_Comm comm, int *size);

Funkcja pobiera ilość procesów (w obrębie komunikatora comm i umieszcza ją w
zmiennej size.

•

int MPI_Send(void *msg, int count, MPI_Datatype datatype,

int dest, int tag, MPI_Comm comm);

Funkcja wysyła komunikat typu datatype do procesu numer dest oznaczony
znacznikiem tag w obrębie komunikatora comm.

Typ komunikatu jest zawarty w zmiennej datatype i może to być któryś z
predefiniowanych typów takich jak MPI_INT, MPI_FLOAT, MPI_DOUBLE, MPI_CHAR, lub
inne (zob. instrukcja), jak i typy zdefiniowane przez użytkownika (o tym jeszcze
będzie).

Tag jest liczbą w zakresie [0..MPI_TAG_UB] i określa dodatkowy typ komunikatu
wykorzystywany przy selektywnym odbiorze funkcją MPI_Recv.

•

int MPI_Recv(void *msg, int count, MPI_Datatype datatype,

int source, int tag, MPI_Comm comm,

MPI_Status *status);

Funkcja odczytuje z kolejki komunikatora comm (z ewentualnym blokowaniem do czasu
nadejścia) pierwszy komunikat od procesu source oznaczony znacznikiem tag typu
datatype. Wynik umieszczany jest w buforze msg a status operacji w zmiennej status.

Jeżeli proces ustawi source==MPI_ANY_SOURCE to odczytany będzie pierwszy
komunikat od dowolnego procesu. Podobnie, dla tag==MPI_ANY_TAG nie będzie
sprawdzany znacznik typu wiadomości.

Bufor stanu status musi zostać uprzednio stworzony przez programistę. Dla C jego
pojedynczy element składa się z trzech liczb całkowitych: MPI_SOURCE, MPI_TAG oraz
MPI_STATUS. W ogólnym przypadku bowiem (przy odbieraniu komunikatów w których
count>1) tablica status określa nam źródło i typ każdego komunikatu z osobna. Do
pobierania ilości odebranych komunikatów na podstawie zmiennej stanu służy kolejna
funkcja:

•

int MPI_Get_count(MPI_Status *status, MPI_Datatype datatype, int *count);

która umieszcza szukaną ilość w zmiennej count.

b) Rozsyłanie/zbieranie danych

•

int MPI_Bcast(void *msg, int count,

MPI_Datatype datatype, int root, MPI_Comm comm);

Funkcja rozsyła komunikat do wszystkich procesów w obrębie komunikatora comm
poczynając od procesu root. Pozostałe argumenty - podobnie jak w MPI_Send().

•

int MPI_Reduce(void *operand, void *result,

int count, MPI_Datatype datatype, MPI_Op op,

int root, MPI_Comm comm);

Bardzo ważna funkcja - pozwala wykonać na przykład sumowanie wszystkich
częściowych wyników otrzymanych w procesach i umieszczenie wyniku w zmiennej.
Argument root wskazuje dla którego procesu wynik ma być umieszczony w zmiennej
result. Oto przykład użycia tej funkcji:

MPI_Reduce(&suma_cz,&suma,1,MPI_FLOAT,MPI_SUM,0,MPI_COMM_WORLD);

Przykładowe operatory to MPI_MAX, MPI_MIN, MPI_SUM.

•

int MPI_Allreduce(void *operand, void *result,

int count, MPI_Datatype datatype, MPI_Op op,

MPI_Comm comm);

Funkcja identyczna z poprzednią, różniąca się jedynie tym, że po jej wykonaniu wynik
agregacji z użyciem operatora op znajduje się w zmiennej result we wszystkich
procesach.

•

int MPI_Scatter(void *send_buf, int send_count,

MPI_Datatype send_type, void *recv_buf,

int recv_count, MPI_Datatype recv_type,

int root, MPI_Comm comm);

Funkcja rozproszenia ("scatter") danych między procesami. Działa w ten sposób, że
proces root rozsyła zawartość send_buff między wszystkie procesy. Jest ona dzielona na
p segmentów, każdy składający się z send_count elementów. Pierwszy segment trafia
do procesu 0, drugi do procesu 1 itp. Oczywiście argumenty, których nazwy zaczynają
się na Send mają znaczenie tylko dla procesu który jest nadawcą.

•

int MPI_Gather(void *send_buf, int send_count,

MPI_Datatype send_type, void *recv_buf,

int recv_count, MPI_Datatype recv_type,

int root, MPI_Comm comm);

Każdy proces w grupie comm wysyła zawartość send_buff do procesu root. Ten proces
układa przysłane dane w recv_buff w kolejności numerów procesów.

•

int MPI_Allgather(void *send_buf, int send_count,

MPI_Datatype send_type, void *recv_buf,

int recv_count, MPI_Datatype recv_type,

MPI_Comm comm);

Funkcja ta jest analogiczna do MPI_Gather z tą różnicą, że wynik jest umieszczany w
recv_buff każdego procesu. Można tą funkcję traktować jako ciąg kolejnych wywołań
MPI_Gather każdorazowo z innym numerem procesu root

Zależność między trzema ostatnimi funkcjami ilustruje następujący rysunek:

c) Struktury danych

W zastosowaniach rzeczywistych najczęściej wysyłamy większą ilość danych, bądź to w
strukturach, albo w postaci wektorów. Przesyłanie ich w postaci oddzielnych komunikatów
powodowałoby powstanie dużego narzutu czasowego związanego z organizacją przesyłania
danych. Potrzebna jest więc możliwość "pakowania" danych i wysyłania większej ich ilości za
jednym razem.

W MPI jest to dość spory problem, gdyż najczęściej typ przesyłanych danych jest różny od
standardowych typów zdefiniowanych w bibliotece. Zdecydowano się na rozwiązanie w którym
programista ma możliwość tworzenia nowych typów danych w czasie wykonywania programu.

•

int MPI_Address(void *data, MPI_Aint *address);

Funkcja zapisuje adres zmiennej data do zmiennej address.

•

int MPI_Type_struct(int count,

int *array_of_block_lengths,

MPI_Aint *array_of_displacements,

MPI_Datatype *array_of_types,

MPI_Datatype *newtype);

Funkcja tworzy nowy typ - strukturę o count składowych. Ilość elementów każdej
składowej jest zapisana w tablicy array_of_block_lengths. Długości składowych (a
dokładniej - offsety względem początku rekordu) należy umieścić w tablicy
array_of_displacements. Typy pojedynczych danych składowych umieszczamy w
array_of_types. Wynikowy typ MPI jest umieszczany w strukturze wskazywanej przez
newtype.

•

int MPI_Type_vector(int count, int block_length,

int stride, MPI_Datatype element_type,

MPI_Datatype *newtype);

Funkcja tworzy nowy typ - wektor długości count. Każdy element wektora zawiera
block_length elementów typu element_type, elementy wektora są zaś rozdzielone
dodatkowo stride elementami tego typu.

•

int MPI_Type_contiguous(int count, MPI_Datatype oldtype,

MPI_Datatype *newtype);

Tworzenie prostszego (jednowymiarowego) wektora elementów typu oldtype długości
count.

•

int MPI_Type_indexed(int count,

int *array_of_block_lengths,

int *array_of_displacements,

MPI_Datatype element_type,

MPI_Datatype *newtype);

Jest to prostsza wersja funkcji MPI_Type_struct. Różni się tym, że wszystkie elementy
struktury mają ten sam typ bazowy (element_type) i mogą być przesunięte względem
początku o zadaną (tablica array_of_displacements) ilość elementów.

•

int MPI_Type_commit(MPI_Datatype *newtype);

Tą funkcję należy wywołać po zdefiniowaniu nowego typu przy użyciu którejś z
poprzednich funkcji - dopiero wtedy zacznie on być widziany przez MPI.

d) Grupowanie danych

Istnieje również prostsza metoda wysyłania większej ilości danych za jednym zamachem -
polega ona na tym, że przed każdą operacją typu MPI_Send() ręcznie pakujemy wszystkie
dane do jednego obszaru pamięci, a druga strona po odebraniu komunikatu może je
rozpakować w analogiczny sposób. Odpowiednie funkcje mają następującą postać:

•

int MPI_Pack(void *pack_data, int in_count,

MPI_Datatype datatype, void *buffer,

int size, int *position_ptr, MPI_Comm comm);

Parametr pack_data powinien zawierać in_count elementów typu datatype. Parametr
position_ptr zawiera adres początkowy w buforze wyjściowym buffer i po wykonaniu
funkcji jego wartość jest uaktualniana (dodawana jest długość zapisanych danych).
Parametr size określa rozmiar obszaru pamięci wskazywanej przez buffer.

•

int MPI_Unpack(void *buffer, int size,

int *position_ptr, void *unpack_data, int count,

MPI_Datatype datatype, MPI_Comm comm);

Funkcja odwrotna do poprzedniej - rozpakowuje count elementów typu datatype ze
zmiennej buffer począwszy od pozycji position do obszaru pamięci wskazywanego przez
unpack_data i odpowiednio uaktualnia zmienną position.

e) Synchronizacja

Podstawową (i najczęściej stosowaną) funkcją MPI służącą do synchronizacji procesów jest

•

int MPI_Barrier(MPI_Comm comm);

Wywołanie jej w pewnym miejscu programu powoduje, będzie on czekał, aż wszystkie
pozostałe jego instancje dojdą do tego miejsca i dopiero potem ruszy dalej.

Komunikacja non-blocking

MPI umożliwia, oprócz klasycznej komunikacji typu MPI_Send/ MPI_Recv również przesyłanie
wiadomości bez blokowania programu. W skrócie wygląda to tak, że po wywołaniu funkcji
MPI_Isend program może wykonywać inne czynności (oczywiście nie zmieniające bufora
wysyłanego komunikatu), natomiast w chwili, gdy chce się upewnić, że komunikat został już
wysłany w całości, wywołuje MPI_Wait, lub MPI_Test.

W podobny sposób realizowany jest odbiór komunikatów bez blokowania - analogiczna funkcja
nosi nazwę MPI_Irecv.