13. Inne aspekty

13. Inne aspekty

przetwarzania rozproszonego

przetwarzania rozproszonego

Lesław Sieniawski © 2010

Przetwarzanie rozproszone

Przetwarzanie rozproszone

Połączenia

sieciowe

Połączenia

sieciowe

Komputer

Komputer

Komputer

Komputer

RAM

RAM

CPU

CPU

CPU

CPU

Dane

Dane: - nośniki

- pliki
- bazy danych

Us

Us

ł

ł

ugi

ugi

Dotychczas koncentrowaliśmy się

na wykorzystaniu procesorów

i pamięci

√

√

Rozproszony dost

Rozproszony dost

ę

ę

p do danych i us

p do danych i us

ł

ł

ug

ug

Nośnik

Lokalne
nośniki
danych

Zdalny

nośnik

Nośnik

Nośnik

System plików

System plików

SZBD

SZBD

Aplikacje

W

a

rs

tw

a

f

iz

y

c

z

n

a

W

a

rs

tw

a

l

o

g

ic

z

n

a

W

a

rs

tw

a

a

p

li

k

a

c

ji

Inne komputery

Inne komputery

Zdalny

SZBD

Zdalny

system
plików

Komputer

Komputer

Usługi

Zdalne

usługi

Import do komputera

Eksport z komputera

Warstwa fizyczna

Warstwa fizyczna

No

ś

niki danych

-

dyski twarde, streamery – pami

ęć

masowa

-

Interfejsy wewn

ę

trzne i lokalne dla dysków

:

-

ATA (Advanced Technology Attachments)

-

SCSI (Small Computer Systems Interface)

-

SATA (Serial ATA)

-

SAS (Serial Attached SCSI)

-

FC (Fibre Channel)

-

Interfejsy i protokoły zdalne dla dysków

:

-

AoE (ATA over Ethernet)

-

iSCSI (Internet SCSI)

-

eSATA, xSATA, mSATA

-

FCoE (Fibre Channel over Ethernet),
FCIP (Fibre Channel IP)

-

Inne interfejsy zdalne (sieciowe)

-

InfiniBand

-

Myrinet

Komputer

Interfejsy zdalne (sieciowe)

Interfejsy lokalne

Interfejsy wewn

ę

trzne

NAS

SAN

ATA

ATA

Interfejs równoległy

, obsługa do 2 urz

ą

dze

ń

Pierwsza wersja

– Western Digital (IDE,

Integrated Drive Electronics)

Zastosowany przez Compaq

(1983)

Inne okre

ś

lenia: ATA, ATAPI, PATA

Szybko

ś

ci: m.in. ATA/33, ATA/66, ATA/100,

ATA/133

Przeznaczenie

: dyski twarde, dyski

półprzewodnikowe, czytniki optyczne,

Kabel ł

ą

cz

ą

cy 40/80 przewodowy; Limit

długo

ś

ci poł

ą

cze

ń

: 18”

zastosowanie

lokalne

Obecnie rozwój zaniechany na rzecz SATA

[źródło: http://pl.wikipedia.org]

SCSI

SCSI

Interfejs równoległy

, pocz

ą

tkowo do 8

urz

ą

dze

ń

– obecnie 16; adresy urz

ą

dze

ń

fizycznych i adresy LUN

Przeznaczenie

: pami

ę

ci dyskowe,

pami

ę

ci ta

ś

mowe, nagrywarki, skanery

Pierwotne zastosowanie

: serwery

wysokiej klasy i stacje robocze

Własny sterownik

, mo

ż

liwo

ść

wymiany

danych pomi

ę

dzy urz

ą

dzeniami bez

anga

ż

owania komputera,

Mo

ż

liwo

ść

podł

ą

czenia

zestawu dysków

do 2 komputerów

Ewolucja szybko

ś

ci

przesyłu danych:

od 5 MB/s do 640 MB/s

Ust

ę

puje miejsca

interfejsowi SAS

[źródło: http://www.alstor.com.pl]

SATA

SATA

SATA

(ang. Serial Advanced Technology

Attachment, Serial ATA) – szeregowa magistrala
komputerowa do komunikacji pomi

ę

dzy adaptera-

mi magistrali hosta (HBA), a urz

ą

dzeniami pami

ę

ci

masowej

Przeznaczenie

: podł

ą

czanie dysków twardych,

pami

ę

ci ta

ś

mowych i nap

ę

dów optycznych

Ułatwienie

cyrkulacji powietrza w obudowie

Transfer danych

:

– SATA I – 1,5 GB/s
– SATA II – 3,0 GB/s

•

Kolejkowanie

żą

da

ń

(NCQ)

•

Powielanie portów – do 16 urz

ą

dze

ń

na 1 port SATA

•

Nadmiarowe

ś

cie

ż

ki dost

ę

pu dla urz

ą

dze

ń

(2)

– SATA III – 6,0 GB/s

Wypiera

równoległ

ą

magistral

ę

ATA

[źródło: http://pl.wikipedia.org/wiki/SATA]

SAS

SAS

Interfejs szeregowy

, nast

ę

pca SCSI

Przeznaczenie

: serwery, głównie

podł

ą

czanie dysków

Szybko

ść

transferu

: 3 GB/s, 6 GB/s

(perspektywa 12 GB/s)

Zgodno

ść

z SATA

(jednostronna): dysk

SATA współpracuje
z kontrolerem SAS, odwrotnie – NIE

Zł

ą

cza

: wewn

ę

trzne i zewn

ę

trzne

[źródło: http://pl.wikipedia.org/wiki/Serial_Attached_SCSI]

Fibre

Fibre

Channel

Channel

Standard magistrali szeregowej

:

5-warstwowa architektura do
przesyłania danych przez sie

ć

(1988)

Przeznaczenie

: sieci SAN

Pierwotna przepływno

ść

1 GB/s

i 2 GB/s, obecnie do 10 GB/s

No

ś

nik danych

: kabel miedziany,

ś

wiatłowód

Ł

ą

czenie

poprzez przeł

ą

czniki FC

Wykorzystuje protokół SCSI

oraz

ATM i TCP/IP

[źródło: http://www.emulex.com]

AoE

AoE

Protokół sieciowy

oprac. przez Brantley Coile

Company do prostego i wydajnego udost

ę

pniania

dysków SATA w sieciach Ethernet

Nie wykorzystuje warstw IP i TCP

nierutowalny

Prostszy ni

ż

iSCSI

, jest wydajniejszy i mniej obci

ąż

a

procesor

Obsługa

zapewniona dla s.o. Linux, MS Windows,

MAC OS X, Solaris, FreeBSD, OpenBSD i in.

iSCSI

iSCSI

Protokół dost

ę

pu

do dysków i macierzy dyskowych

SCSI przez sie

ć

TCP/IP

Obejmuje

cel (ang. target) i inicjatora (ang. initiator)

Przeznaczenie

: tworzenie sieci SAN

Prostszy i ta

ń

szy

ni

ż

Fibre Channel

Implementacje

dla s.o.

– Linux,

– MS Windows

– MAC OS X

HyperSCSI

HyperSCSI

Protokół sieciowy dost

ę

pu

do dysków i macierzy

dyskowych SCSI przez sie

ć

Ethernet:

– bez wykorzystania TCP/IP

– z u

ż

yciem IP

Wydajniejszy

ni

ż

iSCSI, mniej elastyczny

eSATA

eSATA

,

,

xSATA

xSATA

i

i

mSATA

mSATA

Zewn

ę

trzne zł

ą

cza

do podł

ą

czania dysków SATA:

eSATA

(external SATA)

– Cel: wyrównanie szybko

ś

ci dla poł

ą

cze

ń

zewn

ę

trznych

i wewn

ę

trznych (taka, jak SATA I i SATA II, podobna do USB 3.0)

– Poł

ą

czenia do 2 m

xSATA

(extended SATA)

– Cel: zwi

ę

kszenie odległo

ś

ci poł

ą

cze

ń

– do 8 m

– Kable i zł

ą

cza - ekranowane

mSATA

(mini-SATA)

– Cel: poł

ą

czenia dla urz

ą

dze

ń

mobilnych

i dysków w formacie 1,8”

– Przepustowo

ść

: 3 GB/s

FCoE

FCoE

FCoE

(2009) –

protokół sieciowy

przesyłaj

ą

cy ramki protokołu FC w

ramkach sieci Ethernet (10 Gb)

– Nierutowalny (pomija stos TCP/IP)

– Koegzystuje w sieci z TCP/IP

prostsza infrastruktura
(urz

ą

dzenia aktywne i

okablowanie)

– Przeznaczenie: budowa sieci SAN

[źródło: http://en.wikipedia.org/wiki/Fibre_Channel_over_Ethernet]

FCIP

FCIP

FCIP

(Fibre Channel over IP, FC/IP) - protokół

sieciowy przesyłaj

ą

cy ramki protokołu FC w ramkach

IP

– Przeznaczenie: ł

ą

czenie systemów SAN w odległych lokalizacjach

– Medium: Fibre Channel

Inne interfejsy zewn

Inne interfejsy zewn

ę

ę

trzne

trzne

IEEE 1394/FireWire

(1995, Apple Inc.)

– Interfejs szeregowy 100/200/400 Mbps

– 4+2 przewody (zł

ą

cza 4- i 6-stykowe),

długo

ść

maks. 4,5 m,

dodatkowa para – zasilanie 30 V, maks. 60 W

– Drzewiasta struktura poł

ą

cze

ń

, do 63 urz

ą

dze

ń

– Nie anga

ż

uje komputera, wydajniejszy ni

ż

USB 2.0,

– Przeznaczenie: komputery osobiste, cyfrowe kamery wideo,

profesjonalne karty muzyczne

– i.Link (Sony: 4-przewody)

– Wersja IEEE 1394b

– 800 Mbps, kabel 9-przewodowy,

wersja

ś

wiatłowodowa 3,2 Gbps/100 m,

wersja dla skr

ę

tki kat. 5 – 100 Mbps/100 m

Inne interfejsy zewn

Inne interfejsy zewn

ę

ę

trzne (2)

trzne (2)

USB

(Universal Serial Bus)

– Opracowany przez Microsoft, Intel, Compaq, IBM i

DEC

– Zast

ą

pił powszechnie u

ż

ywany interfejs szeregowy

RS-232C

– Przeznaczenie: podł

ą

czanie klawiatur, myszy,

drukarek, pami

ę

ci zewn

ę

trznych, skanerów,

telefonów, PDA, urz

ą

dze

ń

GPS, aparatów

fotograficznych, kamer wideo, i in.

– Magistrala szeregowa 4-przewodowa,

w tym 1 para zasilania 5 V/0,5 A

– Standardy:

•

USB 1.1
– FullSpeed 1,5 Mbps/0,1875 MBps , HighSpeed 12
Mbps/1,5 MBps

•

USB 2.0 – HighSpeed 480 Mbps/60 MBps

•

USB 3.0 – SuperSpeed 4,8 Gbps/600 MBps
(dodatkowe 2 pary ekranowanych przewodów)

[źródło: http://pl.wikipedia.org/wiki/USB

Inne interfejsy zewn

Inne interfejsy zewn

ę

ę

trzne (3)

trzne (3)

tak

tak

Hot plug

tak

tak

Plug and Play

tak

tak

Skalowalno

ść

127 (+ kontroler magistrali)

63

Maksymalna ilo

ść

urz

ą

dze

ń

10 m

(dwa odcinki po 5 m)

72 m

(16 odcinków kabla

po 4,5 m)

Maksymalna odległo

ść

mi

ę

dzy

urz

ą

dzeniami

5 m

4.5 m

Maksymalna długo

ść

kabla

gwiazda

sie

ć

rozgał

ęź

na

Topologia

tak

nie

Obci

ąż

anie procesora

wymagany

nie wymagany

Kontroler nadrz

ę

dny

do 480 Mbps

100 Mbps

do 800 Mbps

Szybko

ść

transferu

USB

FireWire

Parametr

Inne interfejsy sieciowe

Inne interfejsy sieciowe

InfiniBand

(1999, poł

ą

czone koncepcje

firm Compaq, IBM, Hewlett-Packard oraz
Intel, Microsoft, Sun) – interfejs sieciowy

– Podstawowe przeznaczenie: obliczenia

du

ż

ej wydajno

ś

ci (HPC), ł

ą

czenie

komputerów z pami

ę

ciami dyskowymi

– Topologia: typu tkanina (urz

ą

dzenia

wymieniaj

ą

si

ę

danymi poprzez

przeł

ą

czniki, np. przeł

ą

cznice krzy

ż

owe)

– Modulacja (zegar) 2,5 GHz,

•

Mo

ż

liwe zwielokrotnienie 2x lub 4x

5

Gbps lub 10 Gbps w ka

ż

dym kierunku

•

Mo

ż

liwe agregowanie ł

ą

czy po 4 lub 12

do 120 Gbps brutto

– Kodowanie danych: 8b/10b

efektywno

ść

przesyłania 4/5

– Poł

ą

czenia miedziane, zł

ą

cza jak dla

dysków SAS

[źródło: http://pl.wikipedia.org/wiki/InfiniBand]

Inne interfejsy sieciowe (2)

Inne interfejsy sieciowe (2)

Myrinet

(1998, firma Myricom) – interfejs sieciowy

– Przeznaczenie: ł

ą

czenie komputerów w klastry w sieciach

lokalnych

– Niskie narzuty na obsług

ę

protokołu, małe opó

ź

nienia

– Transfer danych: dla ł

ą

cza 2 Gbps – trwała przepustowo

ść

1,98 Gbps (Ethernet 0,6 – 1,9 Gbps)

– Nowy standard Myri-10G

(2005) – koegzystuje w warstwie

fizycznej z 10 Gbps Ethernetem

– Liczba systemów z Myrinetem notowanych w TOP500

systematycznie spada

No

No

ś

ś

niki danych

niki danych

Dyski twarde

(HDD)

(1956: IBM, talerze 20”)

– Talerze o

ś

rednicy:

8; 5 ¼; 3 ½; 2 ½; 1,8 i 1 [cali]

– Szybko

ś

ci obrotowe:

do 15000 1/min

– Pojemno

ś

ci: do 2 TB

–

Ś

redni czas dost

ę

pu:

kilka ms

– Interfejsy: ATA, SCSI, SATA,

SAS, FC

Dyski półprzewodnikowe

– Dyski RAM
– Dyski SDD (Solid State Drive)

[źródło: http://pl.wikipedia.org/wiki/Dysk_twardy]

Systemy pami

Systemy pami

ę

ę

ci zewn

ci zewn

ę

ę

trznej

trznej

RAID

(ang. Redundant Array of Independent Disks,

nadmiarowa macierz niezale

ż

nych dysków)

– Zestaw zawieraj

ą

cy 2 lub wi

ę

cej dysków poł

ą

czonych w taki

sposób, aby uzyska

ć

wła

ś

ciwo

ś

ci, których nie posiadaj

ą

pojedyncze dyski

– Cel: powi

ę

kszenie obszaru woluminu logicznego, zwi

ę

kszenie

wydajno

ś

ci dost

ę

pu, zwi

ę

kszenie dost

ę

pno

ś

ci do danych

– Przeznaczenie: systemy z bazami danych, archiwa plikowe

– Realizacja: sprz

ę

towa lub programowa

Systemy pami

Systemy pami

ę

ę

ci zewn

ci zewn

ę

ę

trznej (2)

trznej (2)

Cz

ęś

ciej stosowane

poziomy RAID

:

– RAID 0 (stripping)

– RAID 1 (mirroring)

– RAID 5

– RAID 0+1

– RAID 1+0 (RAID 10)

1

2

N

RAID 0

1

2

N

RAID 1

1

2

N

RAID 0+1

1

2

N

Modele niezawodno

ś

ciowe

RAID 1+0

1

2

N

1

2

N

d

1

d

2

d

N-1

d

N

RAID 5

Miejsce na dysk uszkodzony

Systemy pami

Systemy pami

ę

ę

ci zewn

ci zewn

ę

ę

trznej (3)

trznej (3)

NAS

(ang. Network-Attached Storage)

– Przeznaczenie: udost

ę

pnianie komputerom danych poprzez

sieciowe protokoły plikowe (np. NFS i SMB/CIFS)

– Realizacja: dedykowany serwer, zazwyczaj bez konsoli, zarz

ą

dzany

zdalnie przez WWW, wyposa

ż

ony w 1 dysk (lub dyski

RAID),

specjalna wersja s.o., brak innych zada

ń

systemowych poza obsług

ą

żą

da

ń

plików

– Inne protokoły: FTP, SFTP, HTTP, UPnP,

– Aplikacje:

•

ś

wiadomie zwracaj

ą

si

ę

do zasobów zdalnych

•

odczytuj

ą

i zapisuj

ą

fragmenty plików, a nie bloki dyskowe

– Zastosowania: małe sieci lokalne, składowanie plików (backup)

– Rozwi

ą

zania komercyjne (np. SNAP firmy Adaptec

Overland

Storage) i Open Source (FreeNAS, openfiler)

Systemy pami

Systemy pami

ę

ę

ci zewn

ci zewn

ę

ę

trznej (4)

trznej (4)

SAN

(ang. Storage Area Networks)

– Przeznaczenie: udost

ę

pnianie

zdalnych urz

ą

dze

ń

pami

ę

ciowych

(

zasoby fizyczne

), postrzeganych

przez systemy operacyjne
komputerów jako lokalne (

zasoby

wirtualne

)

– Realizacja: wydzielona sie

ć

poł

ą

cze

ń

dla urz

ą

dze

ń

składaj

ą

cych si

ę

na SAN

– Protokoły SAN: AoE, FC, FCoE,

iSCSI,

– Udost

ę

pnianie danych:

•

poziom bloku (funkcja podstawowa),

•

poziom pliku (funkcja dodatkowa)

– Rozbudowane systemy NAS:

wielopoziomowa organizacja
zasobów wirtualnych

[źródło: http://pl.wikipedia.org/wiki/Storage_area_network]

Obja

ś

nienie skrótu: DAS

(ang. Direct Attached Storage)

Systemy pami

Systemy pami

ę

ę

ci zewn

ci zewn

ę

ę

trznej (5)

trznej (5)

NAS

a

SAN

[źródło: http://www.pcmag.com/]