Janina Mincer-Daszkiewicz
Systemy rozproszone
MSUI, II rok
Materiały i rysunki zaczerpnięto z
następujących z
ródeł
1. Ian Foster, What is the grid? A three point checklist, 2002.
2. Susan Schwarz, An overview of grid computing, prezentacja
3. Ed Seidel, Introduction to grid computing, prezentacja
4. Rajkumar Buyya, Grid Computing, prezentacja, www.gridbus.org
5. Ian Foster, strona domowa, www-fp.mcs.anl.gov/~foster/
6. Strona domowa projektu Globus, www.globus.org
7. Prace Fostera, www.globus.org/research/papers.html#OGSA
8. Inne strony: www.grid.org, www.gridcomputing.com,
www.gridforum.org
Co to jest grid?
" Grid obliczeniowy to infrastruktura sprzętowa i programowa,
która w sposób niezawodny, spójny, rozproszony i tani zapewnia
dostęp do zasobów obliczeniowych.
" Grid zapewnia ściśle kontrolowane współdzielenie zasobów i
rozwiązywanie problemów w dynamicznych organizacjach
wirtualnych, w skład których wchodzi wiele różnych instytucji.
To właśnie precyzyjnie zdefiniowane reguły współdzielenia (kto,
co, pod jakimi warunkami) określają zbiór jednostek i instytucji,
które tworzą wirtualną organizację.
" Współdzielenie nie dotyczy prostej wymiany plików, lecz raczej
bezpośredniego dostępu do komputerów, oprogramowania,
danych i innych zasobów.
" Wspólna infrastruktura i wymiana jest możliwa dzięki
standardowym protokołom
Grid jest systemem, który ...
" koordynuje dostęp do zasobów, które nie podlegają centralnej
kontroli ...
(grid integruje i steruje zasobami i użytkownikami, którzy istnieją w różnych
domenach, rozwiązując problemy bezpieczeństwa, członkostwa, rozliczania
itp., które pojawiają się w takich okolicznościach; wpp mamy do czynienia
z systemem lokalnego zarządzania)
" ... przy użyciu standardowych, otwartych, protokołów i
interfejsów ogólnego przeznaczenia ...
(gridy buduje się z zastosowaniem ogólnych protokołów, rozwiązujących
problemy autentykacji, autoryzacji, lokalizowania zasobów, dostępu do
zasobów; standardowych i otwartych; wpp mamy system ukierunkowany na
konkretne zastosowanie)
" ... w celu dostarczenia usługi o niebanalnej jakości
(jakość może dotyczyć czasu odpowiedzi, przepustowości, bezpieczeństwa,
wspólnego przydziału zasobów różnych typów zgodnie z żądaniami użytk.)
Co zatem NIE JEST gridem, a co JEST?
" Systemy takie jak Sun Grid Engine, Platform Load Sharing
Facility, Veridian Portable Batch System po zainstalowaniu na
komputerze równoległym lub sieci lokalnej zapewniają wysoką
jakość usługi  nie są to gridy, gdyż posiadają pełną wiedzę o
stanie systemu i żądań użytkowników oraz całkowicie nimi sterują
" Web nie jest (jeszcze) gridem  posługuje się co prawda
otwartymi i standardowymi protokołami, ale nie koordynuje
dostępu do zasobów na tyle, by zapewnić pożądaną jakość usług
" Przykłady (prawie) gridów: wielowęzłowe procesy szeregujące
jak Platform MultiCluster; rozproszone systemy obliczeniowe jak
Condor, Entropia, UnitedDevices; systemy P2P jak Gnutella;
rozproszona instalacja Storage Resource Broker (wspiera
rozproszony dostęp do zasobów)
" Znakomita analogia: Electric Power Grid
Ewolucja, nie rewolucja
Grid można postrzegać jako rozwiązanie, które wyrosło z
wielu innych, znanych i popularnych, w drodze ewolucji:
" Jak Web, gridy ukrywają złożoność
" Inaczej niż Web, który głównie wspiera komunikację, gridy umożliwiają pełną
współpracę przy realizacji wspólnych celów biznesowych
" Jak P2P, obliczenia gridowe umożliwiają użytkownikom współdzielenie
plików
" Inaczej niż P2P, gridy wspierają współdzielenie na zasadzie wielu-do-wielu,
nie tylko plików, ale także innych zasobów
" Jak klastry i rozproszone obliczenia, gridyłączą zasoby obliczeniowe
" Inaczej iż klastry i rozproszone obliczenia, które wymagają fizycznej
bliskości i jednorodnego środowiska operacyjnego, gridy mogą być
rozproszone geograficznie i niejednorodne
" Jak technologie wirtualizacji, gridy wspierają wirtualizację zasobów IT
" Inaczej niż technologie wirtualizacji, które wirtualizują pojedynczy system,
gridy wirtualizują rozrzucone zasoby IT
Cardiff/UK
Cardiff/UK
Portsmoth/UK
Portsmoth/UK
Manchester, UK
Manchester, UK
Cambridge, UK
Cambridge, UK
TI-Tech/Tokyo
TI-Tech/Tokyo
ETL/Tsukuba
ETL/Tsukuba
AIST/Tsukuba
AIST/Tsukuba
ANL/Chicago EUROPE: Kasetsart/Bangkok
ANL/Chicago EUROPE: Kasetsart/Bangkok
USC-ISC/LA ZIB/Germany
USC-ISC/LA ZIB/Germany
UTK/Tennessee PC2/Germany
UTK/Tennessee PC2/Germany
UVa/Virginia AEI/Germany
UVa/Virginia AEI/Germany
Dartmouth/NH Lecce/Italy
Dartmouth/NH Lecce/Italy Singapore
BU/Boston CNR/Italy Singapore
BU/Boston CNR/Italy
UCSD/San Diego Calabria/Italy
UCSD/San Diego Calabria/Italy
Pozman/Poland
Pozman/Poland
Lund/Sweden
Lund/Sweden
CERN/Swiss
CERN/Swiss U. Of Melbourne
CUNI/Czech R. U. Of Melbourne
CUNI/Czech R. Monash U.
Santiago/Chile Vrije: Netherlands Monash U.
Santiago/Chile Vrije: Netherlands VPAC/Melbourne
VPAC/Melbourne
U. Of Sydney
U. Of Sydney
Przykłady gridów
Przykłady gridów
" GridLab Testbed
 Dziesięć maszyn w Europie dla deweloperów narzędzi gridowych
" European Union Data Grid
 grid do zastosowań w fizyce wysokich energii, naukach środowiskowych,
bioinformatyce (www.eu-datagrid.org)
" Access Grid
 Zasoby multimedialne oraz interfejsy do środowisk wizualizacyjnych i usług
gridowych (www.accessgrid.org), używany w ponad 150 instytucjach na
świecie
" NFS PACI Grid
" TeraGrid (www.teragrid.org)
 A
ączy główne centra akademickie w USA, na potrzeby otwartych badań
naukowych
" Information Power Grid (www.ipg.nasa.gov)
 Wysokiej wydajności grid obliczeniowy NASA
Zasoby Teragrida
" Argonne National Lab (198 procesorów)
" Cal Tech (64 procesory)
" NCSA (512 procesorów)
" Pittsburg Supercomputing Center (3000
procesorów)
" San Diego Supercomputing Center (500
procesorów)
NSF PACI Grid
Access Grid
NorduGrid
Korzyści z obliczeń gridowych
" Użycie zasobów rozproszonych po całym świecie
 Dostęp do większej mocy obliczeniowej
 Lepszy dostęp do danych
 Użycie nadmiarowych cykli
" Obliczenia na nowym poziomie złożoności i nowej skali
" Lepsza współpraca wirtualnych organizacji (grup organizacji
wykorzystujących grida do współdzielenia zasobów)
Stan bieżący
" Dziesiątki projektów gridowych do obliczeń naukowych i
technicznych w akademickich środowiskach badawczych
" Porozumienie w kwestii kluczowych pojęć i technologii (Global
Grid Forum)
" Open source Globus Toolkit  standard głównych protokołów i
usług
" Dużo pieniędzy idzie na różnego rodzaju projekty gridowe
" Gwałtownie rośnie zainteresowanie biznesu
" Dalsza potrzeba rozwijania standardów udostępniania usług
gridowych
" Wymaga znacznego szkolenia użytkowników
Przygotowanie programu do wykonania
na gridzie
" Mnóstwo pracy z przygotowaniem programu
" trzeba zaadoptować nowe algorytmy do obliczeń
równoległych
" trzeba zmienić interfejs użytkownika
" Trzeba budować program na innej architekturze
" Trzeba przesłać program i dane na różne komputery
" Kwestie bezpieczeństwa i licencji
" Wymaga biegłości w administrowaniu
" W większości oparta na systemach uniksowych
Jak przebiega wykonanie programu na gridzie
" Użytkownik dostarcza żądanie poprzez GUI
" program
" system operacyjny i inne wymagania
" dane wejściowe
" Grid odnajduje i przydziela zasoby w celu spełnienia
żądania
" Grid monitoruje realizację żądania
" przenosi zadanie, gdy zasoby staną się niedostępne
lub ulegną awarii
" Grid zawiadamia użytkownika, gdy wyniki są gotowe
Warstwy oprogramowania
Przeglądarka lub okno shellowe (interfejs użytkownika)
Klient Globus na stacji roboczej użytkownika
(dostarcz zadanie)
Serwer Globus na węz
le Master (zarządca zadań)
Zarządcy kolejek i planiści na węz
le Master
Programy wykonywane na klastrach grida
Rozwój gridowych standardów
Managed shared
Research
virtual systems
Open Grid
Web services, etc.
Services Arch
Real standards
Multiple implementations
Internet
Globus Toolkit
standards
Defacto standard
Custom Single implementation
solutions
1990 1995 2000 2005 2010
Slide courtesy of Ian Foster, Argonne National Labs
Przykład usługi gridowej
1a. Request to
Registry for sources
SOAP/HTTP
of data about  x
service creation
Registry
API interactions
1b. Registry
responds with
Factory handle
2a. Request to Factory for
access to database
Factory
2c. Factory returns
handle of GDS to
Client
client
2b. Factory creates
GridDataService to manage
3a. Client queries GDS
access
with XPath, SQL, etc
XML /
Relational
Grid Data
database
Service
3c. Results of query returned to
client as XML
3b. GDS interacts with database
Główne usługi gridowe
" Bezpieczeństwo
" autentykacja: weryfikowanie tożsamości użytkownika
" autoryzacja: ustalanie i wymuszanie praw i przywilejów
użytkownika
" bezpieczeństwo grida: dostęp poprzez pojedynczy punkt
autentykacji ze stacji roboczej użytkownika
" Jednolite nazewnictwo:
" wymagane w celu przeroczystego dostępu do zasobów
niezależnie od ich położenia
" musi być unikatowe w całym gridzie
" nie należy obarczać użytkowników szczegółami dostępu do
zasobów
Usługi informacyjne
" Information and Data directory services
" dostęp do danych i informacji w całym gridzie
" standardowe metody dostępu do informacji o
obciążeniu procesora, szerokości pasma w sieci,
składowych aplikacji
" Wykrywanie i udostępnianie zasobów
" jak usługa siebie opisuje?
" jak się reklamuje? jak informuje gridowych brokerów
o swoim istnieniu?
" jak znalez
ć usługę podają zbiór jej własności?
QoS  Quality of Service
" Grid składa się z dynamicznych składowych
" składowe uruchomione z początkowym zbiorem
warunków
" jak można zachować te warunki?
" analiza zależności
" może wymagać migracji
" migruj i rozpocznij wykonanie od początku
" migruj i kontynuuj z tego samego stanu
" zachowaj informację o stanie
" punkty kontrolne
Inne usługi gridowe
" Szeregowanie
" aplikacje składają się z różnych części
" trzeba je efektywnie szeregować w dostępie do różnych
zasobów
" Obsługa zdarzeń
" Monitorowanie
" skąd wiadomo, że składowa nadal żyje: monitory typu heart
beat, sieć agentów do monitorowania grida
" Obsługa sytuacji awaryjnych i pomoc użytkownikowi
" Jednolity interfejs, rozliczanie, współpraca przy
współużytkowaniu zasobów
Potrzebne są wewnątrz gridowe protokoły
" Rozwój protokołów nadzoruje Global Grid Forum
" Powstał de facto standard: Globus Toolkit
" W trakcie definiowania jest Open Grid Services Architecture
(OGSA), która modernizuje i rozszerza protokoły wchodzące w
skład Globus Toolkit  jest to odpowiedz
na nowe wymagania,
także obejmujące usługi webowe
" OGSA cieszy się poparciem dużych firm, takich jak IBM,
Microsoft, Platform, Sun, Avaki, Entropia, United Devices
" W przyszłości żeby zasób mógł stać się częścią grida będzie
musiał implementować protokoły OGSA (tak jak zasób dostępny
w Internecie musi implementować protokół IP)
Otwarte usługi gridowe
" Połączenie usług webowych i gridowych
" WS-Resource Framework (2004)
konwencje określające zarządzanie stanem w celu umożliwienia
aplikacjom odszukiwania, sprawdzania i korzystania z zasobów
 stanowych w standardowy sposób
" Web services description language (WSDL)
Format XML do opisu usług sieciowych jako zbioru punktów końcowych
obsługujących komunikaty zawierające informację typu  dokument
lub typu  procedura
" Umożliwia różnorodne implementacje za wspólnym interfejsem
" Używa standardów do opisu, odszukania, zarządzania usługą
" Globus i inne oprogramowanie gridowe przystosowane do
używania OGS
Usługi zapewniane przez Globus Toolkit
" Bezpieczeństwo (GSI)
 usługa bezpieczeństwa (autentykacji) oparta na PKI
" Dostarczanie zadań i zarządzanie nimi (GRAM)
 jednolite dostarczanie zadań
" Usługi informacyjne (MDS)
 usługi informacyjne oparte na LDAP
" Zarządzanie zdalnymi plikami (GASS)
 usługa dostępu do zdalnej pamięci
" Katalog zdalnych danych i narzędzia do zarządzania
 wspierane przez Globus 2.0 dostarczony w 2002
Podsumowanie i wnioski
" Obliczenia gridowe staną się platformą obliczeniową nowej
generacji do rozwiązywania problemów dużej skali.
" Zarządzanie zasobami jest trudnym zadaniem, gdyż systemy
muszą dobrze dostosowywać się do potrzeb, być skalowalne,
konkurencyjne, & i zapewniać QoS.
" Istnieje już infrastruktura do obsługi przydziału zasobów i
sterowania dostępem do nich, u podłoża których leży
 obliczeniowa ekonomia
" Kluczem do sukcesu mierzonego liczbą gridowych
zastosowań jest istnienie łatwych w użyciu narzędzi do
tworzenia gridowych aplikacji