Klastrowe systemy plików
KNOW HOW
Klastrowe systemy plików
Wielkie plany
Pomysł zbudowania klastra (czyli grupy komputerów połączonych i pracu-
jących współbieżnie tak, jakby był to jeden komputer) w Linuksie zrodził
się w momencie, kiedy na naszych biurkach pojawiły się komputery, które
zastąpiły wysłużone jednostki z procesorami Pentium III. Prostota instalacji
i gotowe pakiety oprogramowania, umożliwiające zbudowanie klastra
komputerowego spowodowały, że skomplikowana procedura, którą prze-
prowadzano wyłącznie w dużych centrach komputerowych, stała się zwy-
czajną czynnością związaną z instalacją i administracją systemu.
JOS VAN WEZEL
odczas budowania klastra większość System plików jest niezbędny nym schematem systemu UNIX, tj. powinien
czynności konfiguracyjnych nie róż- Klastry wymagają pamięci, która jest do- następować poprzez wywołania open(), read(),
Pni się zbytnio od tych wykonywanych stępna dla każdego węzła. Programy pracu- write() oraz close().
na pojedynczym, autonomicznym kompute- ją w klastrze zwykle w wydzielonych obsza- Rozproszony system plików umożliwia do-
rze. W zasadzie na każdym komputerze wy- rach roboczych i muszą współużytkować stęp globalny do pamięci, tzn.  widziany przez
posażonym w system Linux ustalanie adresu dane przy pomocy wspólnego zasobu, jakim każdy luster węzłów , jak również wielokrotny
IP i pewne zmiany w środowisku uruchamia- jest system plików. Programy uruchomione dostęp jednoczesny do magazynu danych.
nia systemu są takie same. Nie jest potrzebna w klastrze najczęściej korzystają z interfej-
żadna specjalistyczna wiedza. Poza standar- su systemu plików, oferowanego przez uży- Bloki, pliki i połączenia
dowym oprogramowaniem Linuksa, będzie- wany system operacyjny. Stworzenie współ- Pliki zapisywane są przez system operacyjny
my jedynie potrzebować określonych progra- użytkowania zasobów w każdej aplikacji we fragmentach pewnej wielkości, zwanych
mów związanych z systemami rozproszony- jest po prostu bardzo trudne. Poza tym pro- blokami. Maksymalna wielkość bloku może
mi. Jeden z takich programów odpowiada za gram musi przecież działać na różnych mieć rozmiar 4 KB. System plików posiada
obsługę zadań i kontrolę obciążenia. Kolejny komputerach, gdzie zainstalowane są różne już zdefiniowaną konkretną wielkość tych blo-
pakiet oprogramowana umożliwia wykona- wersje Linuksa, a czasem nawet różne syste- ków. Tak więc w systemach plików o bloku
nie instalacji na setkach komputerów jedno- my operacyjne. Kolejnym argumentem mo- wielkości 4 KB niewielkie zmiany w plikach
cześnie. Następnym  pomocnikiem będzie że być jeszcze drastyczne zmniejszenie wy- są obsługiwane nieefektywnie. Taki system
oprogramowanie zarządzające, które pozwoli dajności całego klastra. będzie wydajniejszy w przypadku pracy z du-
kontrolować i przygotować do pracy poszcze- System plików przechowujący dane jest żą ilością danych o dużej pojemności. Jądro
gólne węzły (ang. nod) lub też cały klaster zwykle częścią każdego systemu operacyjnego. pracuje na blokach w celu zwiększenia szyb-
przy pomocy kilku prostych poleceń. Komputery z systemem Linux, pracujące kości działania, co również odbija się na pod-
W niniejszym artykule opiszemy oprogra- w kastrze, posiadają z reguły zainstalowany systemie wejścia-wyjścia (I/O). Sterowniki
mowanie, które wykorzystuje się w syste- system ext, JFS, ReiserFS lub ich odpowiedni- dysku zajmują się transferem bloków z serwe-
mach klastrowych do zapisu i odczytu da- ki, jednakże takie rozwiązanie jest ograniczone ra na dysk. System plików czuwa nad przy-
nych.  Klejem spajającym poszczególne wę- do pojedynczego węzła. Aplikacje uruchomio- dzielaniem i odpowiednim zarządzaniem blo-
zły (czyli komputery tworzące klaster) jest ne na jednym węz
le mogą być następnym ra- kami dysku.
rozproszony system plików. System ten jest zem uruchomione na zupełnie innym węz
le, Dostęp do danych systemu plików może
specjalnie zoptymalizowany do pracy w kla- ale będą wymagać tej samej przestrzeni da- preferować stosowanie bloków lub plików. Ist-
strze (system o wysokiej wydajności), czego nych. Ponadto istnieją pewne klasy aplikacji nieją rozwiązania, które wykorzystują i zwięk-
nie znajdziemy w standardowych dystrybu- równoległych, które wymagają współbieżnego szają rozmiar pamięci dyskowej, pozostawia-
cjach Linuksa. Wybór odpowiedniego dla na- dostępu do tych samych danych z kilku węzłów jąc operacje niskopoziomowe systemom pli-
szych potrzeb rozproszonego systemu plików w tym samym czasie. Dlatego też dane należy ków oraz systemy, które same zajmują się rze-
powinien zależeć od sposobu dostępu oraz udostępnić każdemu węzłowi klastra, a dostęp czywistym przechowywaniem bloków. Pierw-
ewentualnych kosztów. do danych powinien być zgodny z dobrze zna- sza metoda znacznie ułatwia implementację
52 Lipiec 2004 www.linux-magazine.pl
Klastrowe systemy plików KNOW HOW
i zapewnia przenośność, ale ogranicza przepu- ny rejestr przechowywany w i-węzłach (czyli mamy takiej na płycie głównej), podłączyć
stowość. Z kolei druga metoda obsługuje pa- w blokach informacyjnych pliku w systemie kilka dysków twardych EIDE, zainstalować
mięć bloków w rozproszonym systemie pli- plików). I-węzły zawierają m.in. informacje system Linux jako serwer NFS i nasza  czar-
ków. Pozwala to na optymalizację dostępu do o przechowywanych plikach, czyli np. roz- na skrzynka NAS jest już gotowa.
danych i dodanie funkcji, za które zwykle od- miar, datę utworzenia, typ oraz właściciela NAS jako rozproszony system plików ma
powiada menedżer partycji logicznych. Zarzą- pliku. Dane te nazywamy metadanymi. Me- pewne wady. Przepustowość w przypadku
dzanie systemem jest również dużo prostsze, tadane mogą być obsługiwane oddzielnie niewielkich plików i dostępu niesekwencyjne-
gdyż mamy pełną kontrolę nad danymi  po- z rzeczywistego kanału da- go jest niewielka  wysokie
cząwszy od dysku magazynującego dane, nych. W ten sposób możli- opóz
nienie jest spowodowa-
a skończywszy na aplikacji. we jest przekazanie obsłu- ne koniecznością przesyłania
Wiele rozwiązań służących zwiększeniu wy- gi metadanych specjalizo- wszystkich danych przez sto-
dajności systemu oferuje możliwość równole- wanemu serwerowi meta- sy Serwera/TCP/IP. Ponadto
głego odczytu i zapisu danych na wielu dyskach danych. W rozproszonych Linux posiada ograniczoną
twardych. Pliki są dzielone pomiędzy kilkana- systemach plików specjali- pojemność magazynowania
ście dysków twardych lub też pojedyncze pliki zowane serwery metada- danych ze względu na 32-bit-
zapisuje się na różnych dyskach twardych. Sy- nych zwykle odpowiedzial- owe wskaz
niki bloków, mimo
tuację pokazano na Rysunku 1. Maksymalna ne są także za blokady za- że w jądrze 2.6 zwiększono tą
przepustowość wejścia-wyjścia jest ograniczona pisu do pliku. wartość do 16 TB. Skalowal-
prędkością przesyłu danych dysku twardego Do zwiększenia wydajno- ność takiego, własnoręcznie
i można ją zwiększyć wyłącznie poprzez równo- ści systemu wykorzystywana stworzonego, sieciowego sys-
ległe zwiększenie dostępu do innych dysków. jest separacja. Operacje od- Rysunek 2: Sieciowa pamięć temu plików kończy się na
Aby uzyskać dostęp do lokalnych dysków czytu, po zlokalizowaniu masowa. jednym połączeniu siecio-
twardych w innych węzłach klastra, węzeł i uzyskaniu dostępu do rze- wym. Nawet nowoczesne łą-
musi użyć połączenia sieciowego. Połącze- czywistego pliku, nie wymagają metadanych. cza gigabitowe są niewystarczające do przeka-
nie IP/Ethernet umożliwia bezpośredni Następnie system przekierowuje przekazywa- zywania danych wejścia-wyjścia dla więcej
kontakt ze światem zewnętrznym. Czasami nie danych do specjalizowanego serwera wej- niż kilku węzłów klastra. Możliwym rozwią-
wykorzystuje się także dodatkowe połącze- ścia-wyjścia. Serwer ten, dzięki łączom o dużej zaniem byłoby tutaj wiązanie z użyciem sieci
nie sieciowe, przeznaczone wyłącznie na przepustowości, może dostarczać dane aplika- Ethernet dwóch lub więcej urządzeń w celu
potrzeby przesyłania danych pochodzących cji bardziej wydajnie, a tymczasem serwer me- zwiększenia szerokości pasma.
z systemu plików. W przypadku systemów tadanych może zająć się innymi zadaniami. W zależności od konkretnych wymagań
Linux, Enhanced Network Block Device Ponieważ metadane mają znacznie mniejsze przepustowości, kosztów i w mniejszym stop-
(http://www.it.uc3m.es/~ptb/nbd) umożliwia rozmiary, tak więc mogą być one buforowane niu bezpieczeństwa, pamięć NAS może funk-
podłączenie dysku przy pomocy sieci. Sieć w całości. Jako że obszar danych roboczych cjonować jako rozproszony system plików.
Ethernet nie jest jednak optymalnym roz- w klastrze może osiągać bardzo duże rozmiary,
wiązaniem dla systemu preferującego do- bufory serwerów plików nie będą nigdy wystar- Bezpośrednia pamięć masowa
stęp blokowy. Różnica prędkości ma swoje czająco pojemne, aby przechować wszystkie Dyski magazynujące dane umieszczone są
odzwierciedlenie głównie w kosztach takie- przychodzące dane. zwykle obok komputera, w tej samej obudo-
go sprzętu. Przykładami mogą tutaj być sie- wie lub w jej pobliżu. Dlatego też, w przeci-
ci połączeń wewnętrznych Myrinet, Infini- Sieciowa pamięć masowa, wieństwie do sieciowej pamięci masowej,
band czy Fibre Channel. Tak więc wróćmy czyli NAS system ten nazywamy bezpośrednią pamię-
do sieci Ethernet. Znane rodzaje rozproszonych systemów pli- cią masową (Rysunek 3). Odległość do maga-
ków to tzw. sieciowe systemy plików typu zynu danych jest ograniczona charakterysty-
Metadane NFS czy SMB. System plików NFS wykorzy- ką połączeń przewodowych. Fibre Channel1
System plików Linuksa przechowuje dane stywany jest głównie do łączenia umożliwił połączenie
w plikach i katalogach oraz posiada specjal- się z serwerami Network Atta- na większe odległości
ched Storage (NAS)(Rysunek 2). i wprowadził pojęcie
Wysokie wartości przepustowości warstwy połączeń.
osiągane są na specjalizowanych Technologia FC
serwerach NAS typu NetApp umożliwia bezpośred-
Exanet, Panasas lub Zambeel. Są nie podłączenie serwe-
to rozwiązania komercyjne (opa- rów do urządzenia ma-
tentowane), zoptymalizowane gazynującego dane lub
pod kątem NAS, z własnym syste- poprzez przełącznik
mem operacyjnym. W przypadku (ang. switch) FC.
Linuksa możemy wziąć dwa pro- Przełączniki mogą łą-
cesory, kontroler macierzy dysko- czyć się z kolejnymi
wej RAID na karcie PCI, kartę Rysunek 3: Bezpośrednia pa- przełącznikami, budu-
Rysunek 1: Pakietowy system plików. sieciową Ethernet 1 GB (jeżeli nie mięć masowa. jąc w ten sposób sieć
www.linux-magazine.pl Lipiec 2004 53
Klastrowe systemy plików
KNOW HOW
przechowującą dane, zwaną SAN (ang. Sto- dyny taki system opisywany w naszym artyku- podręcznej, umieszczonemu na komputerze
rage Area Network  sieć pamięci masowej), le  wszystkie inne systemy muszą próbować lokalnym, komunikowanie się z serwerem
tak jak na Rysunku 4. odzyskać połączenie z klientem (lub elemen- plików AFS.
Tam, gdzie kończą się możliwości interfej- tem klastra). W OpenAFS administrator może dołożyć
sów SCSI czy ATA, rozpoczyna się technologia Lokalne drzewo katalogów serwera jest udo- dodatkową pamięć masową lub wymienić ją na
Fibre Channel  wykorzystuje się ją głównie stępniane przy pomocy modułu eksportu. inną, bez konieczności przerywania pracy
do budowania sieci magazynujących dane (SA- Klienci instalują wyeksportowane katalogi w sieci. Ponieważ menedżer pamięci podręcz-
N2), które posiadają setki serwerów i urządzeń w dowolnym miejscu własnego systemu pli- nej znajduje się pomiędzy użytkownikiem
magazynujących. Fibre Channel to protokół ków. Komputer-klient nie ma możliwości i serwerem, przesyłanie danych do innych ser-
zoptymalizowany pod kątem urządzeń prze-  wtórnego eksportu zamontowanego systemu werów może być wykonywane przezroczyście.
chowujących informacje. Umożliwia on odcią- plików NFS. System NFS korzysta niestety ze Istnieje także specjalna wersja OpenAFS o na-
żenie protokołu, co ogranicza, w porównaniu słabego modelu zabezpieczeń, który w prakty- zwie MultiResident-AFS, która umożliwia au-
z sieciami Ethernet, przerwy w obciążeniu. ce uniemożliwia jego stosowanie w sieciach tomatyczne, nieprzerwane przesyłanie danych
globalnych (WAN). nawet do pamięci masowej, która czasowo jest
Bezpośrednia pamięć Wyeksportowane systemy plików przecho- niedostępna (w takiej sytuacji to przesyłanie
masowa przyłączona do sieci wywane są zwykle w bazie danych. Baza ta jest oczywiście wirtualne).
Biorąc pod uwagę sprzęt, magazynowane da- może być przekazywana przy pomocy NIS System OpenAFS nie jest zalecany, jeżeli
nych i tworzenie lub LDAP. System autofs wyko- potrzebujemy wysokiej przepustowości da-
sieci coraz bardziej rzystuje tą bazę danych do auto- nych w klastrze. Zaleta pamięci podręcznej,
wiążą się ze sobą. matycznego montowania właści- zwiększająca stabilność systemu, jest jed-
iSCSI to standard wej hierarchii plików. nak okupiona wolnym czasem dostępu do
definiujący proto- Współpraca autofs i sieciowej serwera plików, działającego jako proces
kół SCSI, przesyła- bazy danych sprawia, że system użytkownika.
ny przy pomocy IP. NFS jest doskonałym kandyda-
Istnieje także pro- tem do pracy w klastrze. W zasa- GPFS
tokół FC-IP, który dzie jedynym ograniczeniem jest General Parallel File System (czyli po-
definiuje IP tutaj prędkość, ale jest ona wszechny równoległy system plików) jest
w technologii Fibre Rysunek 4: Sieć pamięci masowej. w głównej mierze uzależniona od produktem komercyjnym firmy IBM.
Channel. Infini- sposobu dostępu do zasobów. GPFS jest prawdziwym równoległym syste-
band oferuje jednocześnie IP oraz FC przy po- mem plików. Dane mogą być rozproszone
mocy tego samego połączenia sprzętowego. OpenAFS na wiele dysków, a każdy z węzłów może
Obecna wysoka niezawodność takich syste- Jest to zarazem sieciowy i rozproszony sys- uzyskać dostęp do tego samego pliku w tym
mów sprawia, że dobrym kandydatem dla tem plików. Ma możliwość udostępniania samym czasie.
przesyłania blokowego może być lokalna sieć plików również w sieciach WAN i oferuje Możliwe są dwie konfiguracje dostępu: sieć
komputerowa (LAN), która zwykle obsługiwa- globalny obszar nazw. OpenAFS jest całko- SAN lub bezpośrednia pamięć masowa.
na jest przy pomocy bezpośredniej pamięci wicie wirtualny. Przechowywany jest na re- W konfiguracji SAN każdy węzeł widzi
masowej. plikowanych serwerach danych. Klienci wszystkie elementy magazynu danych udo-
tworzą sobie pamięć podręczną złożoną stępnione w GPFS. Pliki zestawiane są z blo-
Popularne rozproszone z ostatnio używanych plików, które były re- ków rozproszonych w sieci SAN i są bezpo-
systemy plików gularnie przekazywane do serwerów da- średnio dostępne dla każdego z węzłów. Kon-
W naszych rozważaniach ograniczymy się do nych. Aplikacje korzystają z tych zmagazy- figuracja bezpośrednia opiera się na szybkiej
najbardziej interesujących rozwiązań oferują- nowanych danych i pracują nadal nawet sieci wewnątrz węzła np. Ethernet lub Myri-
cych rozproszone systemy plików dla Linuksa. podczas awarii serwera danych  muszą jed- net. Bloki z lokalnych dysków twardych są
Nie wszystkie systemy zaprojektowano do wy- nak poczekać na ponowne uruchomienie rozpraszane na inne węzły. Pliki zestawiane
korzystania w klastrach, ale ich wydajność serwera w celu zachowania otwartego pliku. są przy pomocy bloków pobieranych przez
umożliwia użycie ich w tego typu modelach. AFS wywodzi się z Distributed File Sys- sieć IP z lokalnych dysków twardych dostęp-
tem (DFS), opracowanego przez firmę kon- nych węzłów. Ten sam model wykorzystywa-
NFS trolowaną przez IBM. Obecnie DFS nie jest ny jest także przez system PVFS.
NFS, jak sama nazwa wskazuje, jest siecio- już wspierany i zakończono proces jego roz- Zarządzanie systemem jest bardzo pro-
wym rozproszonym systemem plików, zorien- woju. Jest to doskonały system plików (z ste. Polecenia można wydawać z dowolnego
towanym na obsługę plików. Ponieważ system udostępnianiem plików) dla uczelni czy na- węzła. System ma możliwość podłączania
NFS uruchomiony przez protokół UDP nie wet połączeń z całym światem, gdyż jego lub odłączania dysków, równomiernej dys-
wymaga potwierdzeń w przypadku niedostęp- model zabezpieczeń został bardzo starannie trybucji dostępu do danych, zmiany roz-
ności sieci lub restartu serwera NFS  na kom- opracowany. Domenę administracyjną lub miaru bloku czy liczby możliwych i-węzłów.
puterach-klientach będzie to widoczne tylko obiekty sieci nazwano komórkami. Użyt- System nie posiada ograniczenia maksy-
jako niewielka przerwa w pracy. Klienci mogą kownicy autoryzują się sami  wysyłany jest malnego rozmiaru systemu plików, gdyż
znikać bez powiadomienia, a serwer nie bę- do nich token o określonym czasie żywotno- umożliwia konfigurację rozmiaru bloku
dzie próbował odzyskać połączenia. Jest to je- ści. Token umożliwia menedżerowi pamięci maksymalnie do 1 MB.
54 Lipiec 2004 www.linux-magazine.pl
Klastrowe systemy plików KNOW HOW
Na każdy otwarty plik przypada jeden go; nie ma narzędzia odzyskiwania systemu kach, który zapewnia dostęp do zapisu i od-
węzeł obsługujący metadane. Wszystkie wę- plików i nie istnieje na razie możliwość po- czytu wielu węzłom. Okropny kod  zbiorczy
zły mogą otrzymać dostęp do tego samego prawnej pracy serwera MDS pomimo usterek. został zmieniony i obecnie w OGFS można
pliku, ale zmiany w metadanych obsługiwa- Oryginalna metoda i prace rozwojowe prowa- korzystać z dowolnego menedżera dysków lo-
ne są przez węzeł metadanych. Do węzłów dzone od podstaw stworzyły z systemu Lustre gicznych. Zalecamy program Elom. Całkiem
próbujących uzyskać dostęp do danego pli- rozwiązanie, które może być bazą potężnego, niedawno zastąpiono też memexp modułem
ku przekazywane są blokady. Dane zapisa- a jednocześnie eleganckiego systemu. OpenDLM. Poprzednia wersja memexp była
ne i odczytywane równolegle skalują się li- głównym  punktem zapalnym wszystkich
niowo wraz z liczbą dysków i węzłów. Syste- PVFS problemów i wymagała sporych zasobów obli-
my plików GPFS mogą być eksportowane Parallel Virtual File, czyli równoległy wirtual- czeniowych. System OGFS umożliwia rozra-
z użyciem AFS lub NFS do serwerów spe- ny system plików, działa w oparciu o bloki stanie się systemów plików oraz dołączanie
cjalizowanych. Następnie poszczególne wę- i zapewnia wysoką wydajność aplikacji roz- nowych dysków twardych (poprzez osobny
zły obliczeniowe montują wyeksportowane proszonych lub równoległych. Standardowe LVM). Uszkodzenia węzłów obsługiwane są
systemy plików. środowisko aplikacji jest niewielkim klastrem przy pomocy odzyskiwania rejestru i izolowa-
GPFS jest uzależniony od bardzo kosz- (poniżej 50 węzłów), ale nie ma żadnych ogra- nia uszkodzonego węzła.
townej infrastruktury SAN, która umożli- niczeń. Węzłom wejścia-wyjścia w PVFS udo-
wia wysoką wydajność tego systemu. Konfi- stępniana jest część dysków wewnętrznych. Uwagi końcowe
guracja, w której sieć IP wykorzystywana Przestrzeń plików tych dysków jest następnie Żaden z prezentowanych tutaj systemów nie
jest do zestawiania rozproszonych kawał- rozpraszana na cały klaster, a dostęp do niego jest idealny. Dzięki odpowiedniemu opro-
ków danych, może stać się szybko wąskim można uzyskać przez sieć Ethernet, moduł ją- gramowaniu mamy możliwość wyboru spo-
gardłem ograniczającym dostęp do danych. dra oraz bibliotekę libpvfs zainstalowaną na śród różnych wariantów systemów plików,
komputerach-klientach. Klienci mogą być wę- które można zastosować w klastrze, ale ża-
LUSTRE złami IO (IOD), a jeden z nich musi być skon- den z nich nie jest panaceum na wszystkie
Lustre jest obecnie aktywnie rozwijanym figurowany jako węzeł metadanych (MDS). potrzeby użytkownika. Pakiety Open Source
systemem. Mimo że powstał on pod szyl- Pliki rozpraszane są na węzły IO. Po wstęp- są obecnie we wczesnym stadium rozwoju,
dem HP, projekt został przekazany na li- nej wymianie danych zarządzających z serwe- Lustre ma kilka istotnych problemów ze
cencji Open Source. Lustre posiada dosko- rem MDS cały ruch danych wewnątrz węzłów skalowaniem, systemowi OpenGFS brakuje
nałą dokumentację. Do konfiguracji i logo- IO jest obsługiwany indywidualnie przez wystarczająco dużej przepustowości, jak
wania wykorzystuje standardy LDAP klientów przy pomocy biblioteki libpvfs. w AFS. Tak więc Linux i społeczność Open
i XML. Jest to system plikowy (obiektowy). Dzięki niej aranżowana jest procedura skła- Source mają jeszcze trochę czasu na rozwój
Dane przechowywane w Lustre są trakto- dania plików z rozproszonych elementów. stabilnego rozwiązania klastrowego. Komer-
wane jak obiekty. Obiektami systemu pli- System PVFS obsługuje Myrinet i Infiniband cyjne oprogramowanie GPFS lub GFS (Si-
ków są (specjalne) pliki i katalogi. Właści- w komunikacji wewnątrzwęzłowej. stina) są znacznie bardziej stabilne i skalo-
wości, czyli metadane tych obiektów (roz- PVFS nie zawiera obecnie środków dla walne pod tym względem.
miar, czas utworzenia, wskaz
niki dowiązań redundancji danych. Odtworzenie uszko- Po dokonaniu wyboru nie wystarczy jed-
symbolicznych czy flagi rezerwowe), prze- dzonego węzła jest również niemożliwe. Jest nak uruchomić rpm -i i pijąc kawę po prostu
chowywane są na serwerach metadanych to potencjalny problem na poziomie zarzą- poczekać na zakończenie instalacji. Progra-
(MDS). Metadane przechowywane są od- dzania, gdyż liczba węzłów zwiększa się my muszą być dostosowane do określonego
dzielnie w stosunku do rzeczywistej zawar- z czasem. System PVFS nie jest w stanie środowiska, w jakim będą pracować. Wszyst-
tości obiektów. Serwery MDS obsługują przekroczyć ograniczeń protokołu TCP/IP kie systemy oferują funkcje, dzięki którym
tworzenie plików, zmiany ich właściwości w Linuksie (np. ograniczenia liczby jedno- możliwe jest jego odpowiednie przygotowa-
i są odpowiedzialne za obsługę obszaru cześnie otwartych gniazd systemu). System nie. Wartości domyślne nie są nigdy warto-
nazw: plik może być odnaleziony poprzez PVFS musi być zainstalowany na wszyst- ściami optymalnymi. Właściwa konfiguracja
wysłanie zapytania do serwera MDS. Po kich węzłach klastra, gdyż nie umożliwia on wymaga od administratora rozważenia ta-
otworzeniu kluczy MDS, wymianą danych eksportowania przez NFS czy AFS. kich pojęć, jak wzorzec dostępu do danych,
zajmują się Object Storage Targets (OST) Na podstawie doświadczeń zebranych optymalne ścieżki wejścia-wyjścia, możliwe
(adresaci przechowywania obiektów). Ser- w systemie PVFS1 stworzono od początki kod problemy, wielkość bloku czy elementów
wer MDS śledzi wymianę danych za pomo- PVFS2. Nowa wersja posiada rozszerzenia rozproszonych, użycie pamięci podręcznej
cą rejestru. Tworzenie i zapisywanie pliku strukturalne, typu rozpraszanie sterowane i wiele innych. Tak naprawdę zabawa zaczy-
wymaga utworzenia i-węzła na serwerze przez użytkownika oraz dystrybucja metada- na się dopiero po zakończeniu instalacji roz-
MDS, który następnie skontaktuje się nych. Umożliwia to instalację więcej niż jed- proszonego systemu plików. %
z OST w celu przydzielenia miejsca na dys- nego kontrolera metadanych, dzięki czemu
ku. W celu zwiększenia wydajności aloka- można uniknąć wad występujących we wcze-
INFO
cję można rozproszyć na kilka OST. śniejszej wersji.
[1] OpenGFS: http://www.sourceforge.net/
Przepustowość osiągana w opublikowa-
projects/opengfs
nych testach jest imponująca. Jednak nadal OpenGFS
brakuje dla Lustre pewnych istotnych narzę- OpenGFS, znany także pod nazwą OGFS, sto- [2] GFS: http://www.sistina.com
dzi serwisowych dla środowiska produkcyjne- suje raportowany system plików oparty na blo-
www.linux-magazine.pl Lipiec 2004 55