T2-1 – Modele obliczeń

rozproszonych.

Systemy NOW, COW, pula

procesorów,

klaster, GRID.

T2-1 – Modele obliczeń
rozproszonych

2

Marek Nowak



Zasady funkcjonowania opisano m.in. w książce Coulouris G. i inni „Systemy
rozproszone. Zasady i projektowanie.”, WNT, 1998 i późniejsze wydania.



Powyższy rysunek zamieszczono ww. pozycji literaturowej.

Model obliczeniowy – Stacja robocza

= Serwer (1/2)

T2-1 – Modele obliczeń
rozproszonych

3

Marek Nowak



Inna alternatywna nazwa:
NOW (Network of Workstations),



COW (Cluster of Workstations) jest rozwinięciem koncepcji
NOW realizowanym na sprzęcie z wyższej półki niż NOW.

Model obliczeniowy – Stacja robocza

= Serwer (2/2)

T2-1 – Modele obliczeń
rozproszonych

4

Marek Nowak



Zasady funkcjonowania opisano m.in. w książce Coulouris G. i inni „Systemy
rozproszone. Zasady i projektowanie.”, WNT, 1998 i późniejsze wydania.



Powyższy rysunek zamieszczono ww. pozycji literaturowej.

Model obliczeniowy – Pula

procesorów

T2-1 – Modele obliczeń
rozproszonych

5

Marek Nowak

Klaster – definicje – przykłady



Klaster - grupa połączonych jednostek komputerowych,
które współpracują ze sobą w celu udostępnienia
zintegrowanego środowiska pracy.



Klaster jest typem rozproszonego lub równoległego
systemu przetwarzającego składającego sie ze zbioru
połączonych ze sobą siecią komputerów (węzłów)
współpracujących ze sobą, jak jeden zintegrowany zasób.

T2-1 – Modele obliczeń
rozproszonych

6

Marek Nowak



Ze względu na rodzaj świadczonych usług, klastry dzieli się na:

- klastry wysokiej dostępności (ang. high availability cluster – HA):

- stosuje się stabilne i wypróbowane technologie, lecz nieco
starsze,
- ciągły dostęp do danych i usług,
- wiele synchronicznie pracujących węzłów operujących na tych
samych danych,
- każdy z węzłów może w razie awarii zastąpić dowolny z
pozostałych w sposób niezauważalny dla użytkownika,
- przykłady: Solaris, Windows Cluster Server, Linux z jądrem
nowszym niż 2.4.x i funkcją „virtual server”.

- klastry wysokiej wydajności (ang. high performance cluster – HPC):

- stosuje się mniej stabilne i wypróbowane technologie,
- w większości przypadków klastry obliczeniowe  niekomercyjne

zastosowania  testowanie nowych rozwiązań.

Klastry – rodzaje (1/2)

T2-1 – Modele obliczeń
rozproszonych

7

Marek Nowak



Ze względu na rodzaj świadczonych usług, klastry dzieli się na
(cd.):

- klastry równoważenia obciążenia (ang. load balancing cluster – LB):

- stosuje się stabilne i wypróbowane technologie, lecz nieco
starsze,
- każdy z węzłów wykonuje własne zadania z puli zadań
skierowanych do całego klastra,
- w przeciwieństwie do klastrów wydajnościowych źródło zadań do
wykonania znajduje się poza klastrem,
- przykłady: farma serwerów WWW z programowym albo
sprzętowym load balancer’em.



W praktyce rozwiązania klastrowe mają charakter mieszany i
wykonują dla pewnych aplikacji funkcje wydajnościowe, przy
jednoczesnym odgrywaniu roli niezawodnościowej i/lub
równoważenia obciążenia, np. serwery WWW, poczty.

Klastry – rodzaje (2/2)

T2-1 – Modele obliczeń
rozproszonych

8

Marek Nowak

Klaster obliczeniowy – warstwowy

model architektury

T2-1 – Modele obliczeń
rozproszonych

9

Marek Nowak



Usługi komunikacyjne.



System kolejkowania.



Usługi plikowe:
- lokalne systemy plików: ext2/ext3/ext4, XFS, JFS, ReiserFS,
- sieciowe systemy plików: NFS, PVFS, GPFS, TerraFS, Lustre,
IBRIX, GFS,
- rozproszone systemy plików: AFS, DFS, Coda.



Równoważenie obciążenia.

Middleware – SSI (Single System

Image)

T2-1 – Modele obliczeń
rozproszonych

1
0

Marek Nowak

System zarządzający - System

kolejkowania



Kolejkowanie zadań.



Wybieranie i szeregowanie zadań.



Monitorowanie zasobów.



Zarządzanie zasobami.



Zarządzanie kontami.



Przykłady:

- Condor – systemy UNIX’owe i Windows, migracja procesów,

- Torque – oparty na PBS (Portable Batch System), PBS zgodny

z POSIX, używany np. NASA, obsługa do 2500 procesorów,

- SGE (Sun Grid Engine) – pierwotnie dla systemu Solaris,

obecnie także Linux (np. CentOS) dobrze integruje się ze

środowiskami równoległymi LAM i MPICH,

- DQS (Distributed Queueing System) – heterogeniczne klastry;

dostępny dla Linuxa i AIX; komercyjna wersja to CODINE;



- MOSIX – dostępny dla Linuxa, obsługuje NOW, COW i

Beowulf.

T2-1 – Modele obliczeń
rozproszonych

1
1

Marek Nowak



ARS (Adaptive Resource Sharing),



PPM (Preemptive Process Migration),



Klastrowy system plików oMFS z DFSA (Direct File System
Access).



Równoważenie obciążenia (ang. Load Balancing, Load
Sharing).

Ex. SSI w openMOSIX

T2-1 – Modele obliczeń
rozproszonych

1
2

Marek Nowak



Commodity cluster – klaster zbudowany przy użyciu
ogólnodostępnych podzespołów, co najczęściej oznacza
podzespoły komputerów PC dla architektury x86.



Klastry te charakteryzują się większą liczbą węzłów niż
procesorów w pojedynczym węźle.



Rodzaje klastrów commodity cluster:

- sieci stacji roboczych (NOW) – żaden z węzłów nie jest

uprzywilejowany i każdy ma taki sam zestaw
oprogramowania,

- klastry typu Beowulf – występuje jeden (lub więcej)

wydzielony węzeł zarządzający/dostępowy i wiele węzłów
obliczeniowych; całość najczęściej działa pod kontrolą
systemu operacyjnego Linux (buduje się także klastry
bazujące na systemach Windows).

Klastry komputerów PC - Commodity

clusters (1/3)

T2-1 – Modele obliczeń
rozproszonych

1
3

Marek Nowak



Klastry komputerów PC – odpowiedź na rosnące
zapotrzebowanie na tanią moc obliczeniową,



Rozwinięcie koncepcji sieci stacji roboczych (NOW),



Podstawowa wada systemów NOW to niespójność systemu,
tzn. każdy węzeł jest widziany jako niezależny system, co
utrudnia wykorzystanie jako środowiska do uruchamiania
zadań równoległych,



Wdrożenie SSI zapewnia postrzeganie klastra jako
pojedynczej, wieloprocesorowej maszyny.

Klastry komputerów PC - Commodity

clusters (2/3)

T2-1 – Modele obliczeń
rozproszonych

1
4

Marek Nowak



Rodzaje klastrów komputerów PC (ze względu na sprzęt):

- klasa I – do budowy użyte podzespoły dostępne „z półki”

(OTS – Off The Shelf), czyli popularne komponenty
komputerów PC z siecią komunikacyjną Ethernet,

- klasa II – wykorzystuje droższe technologie (dedykowane

chipset’y, sieci Myrinet, Infiniband, etc.) w celu uzyskania
wyższej wydajności.

Klastry komputerów PC - Commodity

clusters (3/3)

T2-1 – Modele obliczeń
rozproszonych

1
5

Marek Nowak

Klastry – sieci komunikacyjne



Powszechnie stosowane standardy sieci w klastrach to:
- Ethernet – 1 Gb/s i 10 Gb/s,
- Myrinet,
- InfiniBand,
- SCI/Dolphin (ANSI/IEEE 1592-1992),

- cLAN – przełączniki klastrowe wykorzystują
implementację VIA (Virtual Interface Architecture);
dostępne są 8- i 30-portowe przełączniki, oferujące
przepustowość równą 1 Gb/s na porcie (w dwu kierunkach),
- QsNet – mimo dużych kosztów często wybierana do
największych klastrów; przepustowość rzędu Mb/s;
opóźnienie około 5 μs.

T2-1 – Modele obliczeń
rozproszonych

1
6

Marek Nowak

Klastry – sieci komunikacyjne –

Myrinet

- wg

http://www.myri.com/myrinet/overvi

ew

T2-1 – Modele obliczeń
rozproszonych

1
7

Marek Nowak

Klastry – sieci komunikacyjne –

InfiniBand

- wg

http://infiniband.sourceforge.net

T2-1 – Modele obliczeń
rozproszonych

1
8

Marek Nowak

Klastry – sieci komunikacyjne –

porównanie

wg Tomaś A. „Projektowanie klastrów

komputerów PC oraz metody zwiększania

ich wydajności i niezawodności”, 2006

T2-1 – Modele obliczeń
rozproszonych

1
9

Marek Nowak

Klasyfikacja klastrów

- wg Sterling T. et al. How to Build

Beowulf

T2-1 – Modele obliczeń
rozproszonych

2
0

Marek Nowak

Ex. Beowulf

T2-1 – Modele obliczeń
rozproszonych

2
1

Marek Nowak

Ex. co najmniej COW

T2-1 – Modele obliczeń
rozproszonych

2
2

Marek Nowak



Ukryty zostaje rozproszony i heterogeniczny charakter
zasobów klastra.



Klaster bazujący na SSI udostępnia zasoby niezależnie od ich
fizycznej lokalizacji (np. zdalne procedury, globalny system
plików, migracja lokalnych zasobów).



SSI może być implementowany w kilku warstwach:
- sprzętowa – np. Digital/Compaq Memory Channel,
Distributed Shared Memory,
- systemu operacyjnego – np. SCO UnixWare, Sun Solaris
MC, GLUnix, MOSIX,
- środowisk programistycznych – np. PVM, CODINE,
- aplikacji.

SSI (Single System Image) w

szczegółach (1/3)

T2-1 – Modele obliczeń
rozproszonych

2
3

Marek Nowak



Pełne SSI dostarcza:
- pojedynczy punkt dostępu – np. użytkownik może połączyć się z
klastrem jako host wirtualny,
- pojedynczy interfejs użytkownika,
- pojedyncza przestrzeń procesu – unikatowy PID w obrębie
całego klastra,
- pojedyncza przestrzeń pamięci – np. DSM – własność
życzeniowa,
- pojedyncza przestrzeń WE/WY – operacje WE/WY na lokalnych i
odległych dyskach, urządzenia itp.
- pojedyncza hierarchia plików,
- usługa pojedynczych wirtualnych połączeń sieciowych –
dowolny węzeł może uzyskać połączenie sieciowe w całej domenie
klastra,
- pojedynczy system zarządzania zadaniami – np. LSF, CODINE,
- pojedynczy punkt kontroli i zarządzania,
- migracja procesów – szczególna własność niektórych SSI (np.
MOSIX).

SSI (Single System Image) w

szczegółach (2/3)

T2-1 – Modele obliczeń
rozproszonych

2
4

Marek Nowak



SSI dla użytkownika końcowego oraz właściciela klastra
pozwala na:
- użytkownik końcowy nie wie, w jakim miejscu klastra
wykonuje się jego aplikacja,
- SSI zapewnia użytkowanie zasobów w sposób
przezroczysty,
- jednorodna składnia poleceń mimo heterogeniczności
oprogramowania systemowego,
- uproszczenie zarządzania systemem – spadek kosztów
utrzymania,
- solidna podstawa do rozwoju standardowego
oprogramowania i narzędzi.

SSI (Single System Image) w

szczegółach (3/3)

T2-1 – Modele obliczeń
rozproszonych

2
5

Marek Nowak

Przykład klastra

T2-1 – Modele obliczeń
rozproszonych

2
6

Marek Nowak

CLUSTERIX - Polski klaster (GRID ?)

T2-1 – Modele obliczeń
rozproszonych

2
7

Marek Nowak



System, który integruje i zarządza zasobami będącymi pod
kontrolą różnych domen (od instytucji po system operacyjny)
i połączonymi siecią komputerową.



GRID używa standardowych, otwartych protokołów i
interfejsów ogólnego przeznaczenia (odkrywania i dostępu
do zasobów, autoryzacji, uwierzytelniania) oraz dostarcza
usług odpowiedniej jakości (QoS – Quality of Service, oferuje
usługi wyższego poziomu).

GRID - definicja

T2-1 – Modele obliczeń
rozproszonych

2
8

Marek Nowak



GRID – próbuje połączyć rozproszone wyspy zasobów
komputerowych w „single vast computing resource”.



[Foster i Kesselman] Analogicznie do publicznych usług
(energia, woda, gaz) technologia GRID zmierza do
dostarczenia rozbudowanych, zwartych, trwałych i niedrogich
usług dostępu do zasobów komputerowych dostępnych w
trybie na żądanie.



GRID’y zasadniczo dzielą się na:
- GRID’y obliczeniowe – udostępniają pulę rozproszonych
zasobów obliczeniowych (mocy obliczeniowej),
- GRID’y danych – udostępniają dostęp do rozproszonych
zasobów dyskowych (danych).



GRID’y obejmują dużej skali, wieloinstytucjonalne rozwiązania
współdzielenia zasobów w celu dostarczenia wysokiej
wydajności przetwarzania.

GRID – określenie pojęcia

- wg Weijia Jia, Wanlei Zhou „Distributed

Network Systems”, Springer 2005.

T2-1 – Modele obliczeń
rozproszonych

2
9

Marek Nowak



Klaster wymaga SSI, GRID nie wymaga (jednak jest mile
widziany).



Klaster skupia się na wydajności zrównoleglonych obliczeń,
GRID koncentruje się na współdzieleniu zasobów.



Geograficznie klaster jest umieszczony w centralnej
lokalizacji, GRID jest rozproszony po wielu lokalizacjach.



W klastrze mówi się o heterogeniczności maszyn, w praktyce
stosuje się homogeniczny sprzęt, GRID w zasadzie z definicji
posiada heterogeniczny sprzęt i zasoby.

Różnica między klastrem a GRID’em

- wg Weijia Jia, Wanlei Zhou „Distributed

Network Systems”, Springer 2005.

T2-1 – Modele obliczeń
rozproszonych

3
0

Marek Nowak



Kładzie nacisk na autonomię zasobu (pozwala na zachowanie

lokalnej kontroli nad zasobami, lokalnych polityki dostępu).

Zasoby nie są zarządzane centralnie, w przeciwnym razie jest to

lokalny system zarządzania zasobami (np. SGE, LSF, PBS), a więc

klaster.



Zasobami GRID’u mogą być nie tylko komputery i sieci, także

specjalistyczne urządzenia, zbiory danych.



GRID skupia się na użytkowniku, patrzy się nie tylko z punktu

widzenia posiadacza zasobu, ale głównie z punktu widzenia

użytkownika zlecającego zadanie do wykonania, aby

zoptymalizować wykonanie aplikacji a nie użycie systemu.



Używa standardowych i otwartych protokołów, w przeciwnym razie

mamy do czynienia z systemem dedykowanym, zamkniętym.



Dostarcza nietrywialnych usług (odpowiednie QoS), nie może

wymagać od użytkownika specjalistycznej wiedzy i

skomplikowanych procedur.



Głównym założeniem technologii GRID jest rozdzielenie zadań na

poszczególne wątki.

GRID – Cechy charakterystyczne

(Założenia)

T2-1 – Modele obliczeń
rozproszonych

3
1

Marek Nowak



Zasoby GRID’u mogą być administrowane przez różne
organizacje. Udostępnianie zasobów przebiega zgodnie z
lokalną polityką zarządzania zasobami stosowaną w danej
organizacji.



Zasoby posiadają przynajmniej niektóre z poniższych cech:
- rozproszone geograficzne,
- heterogeniczne sprzętowo i programowo,
- dynamiczne (dostępność zmienna w czasie),
- potencjalnie zawodne,
- posiadane i zarządzane przez różne organizacje,
- różne wymagania i polityki bezpieczeństwa,
- różne polityki zarządzania zasobami,
- połączone heterogeniczną siecią (różne warstwy, protokoły
komunikacyjne, topologie).

GRID – Zasoby – Cechy

charakterystyczne