Seria: Informatyka
Metody niezawodności i
eksploatacji
Wykład 10
Modele Markowa w
eksploatacji systemów –
modele klasy CD
dr hab. inż. Tadeusz Nowicki prof.
nadzw. WAT
e-mail:nowicki@isi.wat.edu.pl, tel. 6-
837118
Seria: Informatyka
Metody niezawodności i
eksploatacji
Wykład 10
Modele Markowa w
eksploatacji systemów –
modele klasy CD
dr hab. inż. Tadeusz Nowicki prof.
nadzw. WAT
e-mail:nowicki@isi.wat.edu.pl, tel. 6-
837118
Podział procesów klasy DC na typy
semimarkowskie
inne PNP
kaskadowe
Procesy DC
Markowa
inne
o zależnych
przyrostach PZP
o niezależnych
przyrostach PNP
Poissona
inne PZP
Rys. Podział procesów klasy DC na typy
Oznaczenia:
X(t
i
)=X
i
, P{X(t
i
)=x
i
}=p(x
i
),
P{X
1
=x
1
, X
2
=x
2
,...,X
n
=x
n
}=p(x
1
,x
2
,...,x
n
),
P(X
n
=x
n
X
n-1
=x
n-1
, X
n-2
=x
n-2
,..., X
1
=x
1
)= p(x
n
x
n-1
,...,x
1
),
P(X
n
=x
n
X
1
=x
1
)= p(x
n
x
1
)
Twierdzenie.
Niech
{t
1
,t
2
,...,t
n-1
,t
n
}
będzie
dowolnym
wybranym
skończonym ciągiem n wartości parametru t procesu X(t),
którym odpowiadają zmienne losowe {X
1
,X
2
,...,X
n-1
,X
n
}.
Spełniona jest następująca równość:
p(x
n
x
1
)= ... p(x
n
x
n-1
,x
n-2
,...,x
1
)p(x
n-1
x
n-2
,x
n-
3
,...,x
1
) ... p(x
2
x
1
)
x
n-1
x
n-2
x
n-3
x
2
Rozkłady warunkowe procesu klasy DC
Niech {t
i
: i=1,..,n} będzie dowolnym ciągiem
rosnącym wartości parametru tT dla dla procesu
stochastycznego klasy DC. Otrzymujemy wtedy
odpowiedni ciąg { X(t
i
): i=1,...,n} zmiennych
losowych.
Wniosek (ważny!)
Dla n=3 teza twierdzenia brzmi następująco
p(x
3
x
1
)= p(x
3
x
2
,x
1
) p(x
2
x
1
)
x
2
czyli po zmianie kolejności w iloczynie mamy
p(x
3
x
1
)= p(x
2
x
1
) p(x
3
x
2
,x
1
)
x
2
Ale dla procesu Markowa mamy
p(x
3
x
2
,x
1
)= p(x
3
x
2
)
zatem
p(x
3
x
1
)= p(x
2
x
1
) p(x
3
x
2
)
x
2
Ogólnie więc dla t
i
<t
j
<t
k
mamy
p(x
k
x
i
)= p(x
j
x
i
) p(x
k
x
j
)= p(x
k
x
j
)p(x
j
x
i
)
x
j
x
j
Procesy semimarkowskie
Definicja i własności procesów
semimarkowskich
Proces X(t) nazywamy procesem
semimarkowskim o skończonym zbiorze
stanów, jeśli spełnia następujące założenia:
•X(t) przyjmuje wartości ze skończonego
zbioru
m
2
1
e
,...,
e
,
e
E
•Czasy trwania
i
stanów e
i
są niezależnymi
dodatnimi
zmiennymi
losowymi,
o
dystrybuantach F
i
() , przy czym F
i
(+0)<1,
i=1,2,...,m.
•Warunkowe prawdopodobieństwa przejścia
z i-tego stanu do j-tego stanu, przy
warunku, że
i
= , sa określone jako
funkcje q
ij
() spełniające warunek
m.
1,2,...,
i
,
1
)
(
q
m
1
j
ij
przy czym q
ij
(
i
) mają skończone wartości
oczekiwane
m.
1,2,...,
j
i,
),
(
dF
)
(
q
)
(
q
E
p
i
0
ij
i
ij
ij
Uwagi:
•Wartości prawdopodobieństw p
ij
można
traktować
jako
oczekiwane
prawdopodobieństwa przejść, ponieważ
1
)
(
dF
)
(
q
)
(
dF
)
(
q
p
i
m
1
j
0
m
1
j
ij
i
0
ij
m
1
j
ij
•Gdy zmienne losowe
i
mają rozkłady
jednopunktowe o skoku w punkcie 1, to
proces semimarkowski staje się łańcuchem
markowa
klasy
DD
z
macierzą
prawdopodobieństw przejść
m
m
ij
m
m
ij
)
1
(
q
p
•Gdy zmienne losowe
i
mają rozkłady
wykładnicze
m
1,2,...,
i
,
e
1
)
(
F
i
i
oraz q
ij
()=q
ij
=const, i,j=1,2,...,m wtedy
można
pokazać,
że
proces
X(t)
jest
jednorodnym procesem Markowa klasy DC o
macierzy intensywności przejść
m
m
ij
gdzie
ij
=
i
q
ij
.
Wskaźniki przejścia
ij
Dla każdej zmiennej losowej
i
określa się
rodzinę binarnych zmiennych losowych
ij
={
ij
: j=1,2,...,m} o rozkładach zależnych od
funkcji q
ij
()
)
(
q
/
1
P
ij
i
ij
)
(
q
1
/
0
P
ij
i
ij
Uwaga:
•Wskaźniki przejścia
ij
spełniają
m
1
j
ij
m.
1,2,...,
i
,
1
•Bezwarunkowa wartość oczekiwana
ij
i
ij
ij
ij
p
q
E
E
E
E
Czas utrzymywania się procesu
półmarkowskiego w podzbiorze stanów
Niech E
1
E, E
0
E\E
1
, E
1
E
0
=E. Oznaczmy
przez
i
zmienną losową będącą czasem
utrzymywania się procesu stochastycznego
X(t) w podzbiorze stanów E
1
, pod warunkiem,
że jako pierwszy wystąpi stan i-ty. Można
pokazać, że
1
1
E
j
'
j
ij
i
i
E
i
,
x
P
x
P
Ten układ równań stochastycznych (w
sensie rozkładów) można zapisać
symbolicznie następująco:
1
1
E
j
'
j
ij
i
i
E
i
,
Zmienne losowe
i
, ’
j
, oraz
ij
, ’
j
są
parami niezależne.
Przyjmijmy oznaczania:
E{
i
}=a
i
,
E{
j
}=m
j
.
Wartość oczekiwana zmiennej losowej
i
Mając na uwadze powyższe, otrzymujemy
1
E
i
,
1
E
j
j
ij
i
i
m
p
a
m
Otrzymujemy układ równań liniowych, z
którego
możemy
wyznaczyć
wartości
oczekiwane czasów przebywania procesu w
podzbiorze stanów E
1
.
Funkcja charakterystyczna rozkładu
Zmienna losowa
j
ma pewien rozkład
prawdopodobieństwa o dystrybuancie
j
(x) i
gęstości
j
(x). Oznaczmy przez T
j
() funkcję
charakterystyczną zmiennej losowej
j
. Z
definicji
0
j
x
i
j
i
j
dx
)
x
(
e
e
E
)
(
T
Istnieje
związek
między
T
j
()
i
przekształceniem Laplace’a gęstości
j
(x)
rozkładu zmiennej losowej
j
:
0
j
sx
j
dx
)
x
(
e
)
s
(
ponieważ
)
i
(
)
(
T
j
j
możemy
zapisać
j
s
j
e
E
)
s
(
T
Otrzymujemy równość:
1
'
j
s
1
E
j
i
s
ij
i
s
i
E
i
,
1
e
E
e
E
e
E
)
s
(
T
i dalej
1
j
1
E
j
i
s
ij
i
s
i
E
i
,
1
)
s
(
T
e
E
e
E
)
s
(
T
Z
równania
tego
można
wyznaczyć
transformaty
Laplace’a
funkcji
charakterystycznych rozkładów zmiennych
losowych
j
i dalej uzyskać gęstość rozkładu
tych zmiennych losowych stosując odwrotne
przekształcenie Laplace’a.
Można
jednak
wyznaczyć
transformaty
Laplace’a
funkcji
charakterystycznych
rozkładów zmiennych losowych
j
w prostszy
sposób.
Jeśli przez p
ij
() oznaczymy
prawdopodobieństwo przejścia (i,j) w
odcinku czasu od chwili t wejścia procesu
x(t) do stanu i do wybranej chwili t
i
+ , to
m
,...,
1
j
,
i
,
x
d
)
x
(
f
)
x
(
q
)
x
(
dF
)
x
(
q
)
(
p
0
i
ij
0
i
ij
ij
oraz
0
)
(
)
(
ij
s
ij
dp
e
s
p
i
s
ij
i
ij
s
ij
e
E
dF
q
e
s
p
0
)
(
)
(
)
(
W efekcie otrzymać można równania
postaci:
1
E
i
,
)
(
)
(
)
(
0
1
E
j
ij
E
j
j
ij
ij
s
p
s
T
s
p
gdzie
0
0
)
(
)
(
)
(
)
(
)
(
d
f
q
e
dF
q
e
s
p
i
ij
s
i
ij
s
ij
Zatem uzyskujemy układ zawierający tyle
równań, ile elementów zawiera zbiór E
1
.
Wielkości p
ij
() i dalej p
ij
(s) wyznaczamy w
oparciu o wzór niższy i dalej podstawiając do
równań wyższych uzyskujemy układ liniowych
równań ze względu na T
j
(s). Po otrzymaniu
postaci tych funkcji zależnych od zmiennej s
wyznaczamy
transformatę
odwrotną
Laplace’a otrzymując w efekcie rozkłady (w
postaci funkcji gęstości) zmiennych losowych
i
.
Podstawowe charakterystyki procesów
semimarkowskich
Intensywności odnowień stanów procesów
semimarkow-skich
Niech N
j
(t,h) oznacza liczbę odnowień stanu
e
j
w odcinku czasu (t,t+h). Przez odnowienie
stanu e
j
rozumie się przejście procesu x(t) do
stanu e
j
z każdego dowolnego stanu e
i
,
i=1,...,m.
Twierdzenie 1. Dla procesu
semimarkowskiego istnieją granice
0
t
,
m
,...,
1
j
,
h
}
1
)
h
,
t
(
N
{
P
j
0
h
lim
Twierdzenie 2. Dla procesu
semimarkowskiego zachodzi
0
t
,
m
,...,
1
j
,
0
h
}
2
)
h
,
t
(
N
{
P
j
0
h
lim
Na mocy obu twierdzeń otrzymujemy:
)
h
(
o
1
)
h
,
t
(
N
P
1
)
h
,
t
(
N
P
j
j
oraz
h
1
)
h
,
t
(
N
P
h
1
)
h
,
t
(
N
P
j
0
h
j
0
h
lim
lim
Oznaczmy przez
m
,...,
1
j
,
h
1
)
h
,
t
(
N
P
)
t
(
j
0
h
j
lim
i
funkcje
j
(t)
nazywać
będziemy
intensywnościami odnowień odpowiednich
stanów procesu x(t). Funkcje
j
(t) są
wyznaczane jednoznacznie układem równań:
m
,...,
1
j
),
s
(
h
)
0
(
P
)
s
(
)
s
(
h
z
ij
m
1
i
i
i
m
1
i
ij
ij
gdzi
e
m
,...,
1
i
,
dt
e
)
t
(
)
s
(
st
0
i
i
m
,...,
1
j
,
i
,
dt
e
)
t
(
q
)
t
(
f
)
s
(
h
st
ij
0
i
ij
m
,...,
1
j
,
i
,
dt
e
)
z
(
F
1
)
t
z
(
q
)
t
z
(
f
)
s
(
h
st
0
i
ij
i
z
ij
przy Re s>0.
Uwaga: symbolem u(s) oznaczamy
transformatę Laplace’a funkcji u(t).
Charakterystyki chwilowe procesów
semimarkowskich
Umiejętność wyznaczania funkcji
j
(s) oraz
ich transformat odwrotnych
j
(t) pozwala
nam uzyskać podstawową charakterystykę
chwilową dla procesów semimarkowskich.
Jest to prawdopodobieństwo P
j
(t) zdarzenia
polegającego na tym, że w ustalonej chwili
t>0 proces będzie przebywał w stanie e
j
,
j=1,...,m, przy czym zakłada się znajomość
rozkładu
początkowego
P(0).
Przy
ustaleniach
z
definicji
procesów
semimarkowskich otrzymujemy:
m
,...,
1
j
,
)
z
(
F
1
)
t
z
(
F
1
)
0
(
P
dv
)
v
(
F
1
)
v
t
(
)
t
(
P
j
j
j
t
0
j
j
j
oznaczając
m
,...,
1
j
,
dt
e
)
t
(
f
)
s
(
f
,
dt
e
)
t
(
P
)
s
(
P
0
st
j
j
0
st
j
j
otrzymuje
my
m
,...,
1
j
,
dt
e
)
z
(
F
1
)
t
z
(
F
1
)
0
(
P
)
s
(
f
1
s
1
)
s
(
)
s
(
P
0
st
j
j
j
j
j
j
Poszukiwaną funkcję P
j
(t) wyznaczamy jako
oryginał funkcji P
j
(s), j=1,...,m.
Charakterystyki graniczne procesów
semimarkowskich
Prawdopodobieństwa przejść w momentach
zmian stanów procesu semimarkowskiego
określa stochastyczna macierz
m
m
ij
m
m
ij
p
q
E
]
[
)}
(
{
która wraz ze zbiorem E stanów procesu oraz
zbiorem chwil zmian stanów definiuje tak
zwany włożony łańcuch Markowa. Jeśli
łańcuch ten jest ergodyczny, to określić
można dla niego rozkład graniczny
gdzie
i
oznacza graniczne
prawdopodobieństwo przebywania włożonego
łańcucha Markowa w stanie i-tym, i=1,...,m.
m
2
1
,...,
,
Wektor otrzymujemy z układu równań
m
1
i
i
1
0
)
I
(
Niec
h
m
,...,
1
i
,
)
t
(
dF
t
}
{
E
i
0
i
i
wtedy
m
1
i
i
i
t
gdzie
,
1
t
)
t
(
N
lim
oraz
E
A
,
1
t
)
t
(
N
A
i
i
A
t
lim
gdzie N
A
(t) jest liczba odnowień stanów z
podzbioru A
w okresie (o,t]
•średni odstęp pomiędzy dwoma kolejnymi
zmianami stanów, po dostatecznie długim
czasie trwania procesu x(t), wynosi ,
•średni odstęp pomiędzy odnowieniami
stanu i-tego, po dostatecznie długim
czasie trwania procesu x(t), wynosi /
i
,
i=1,...,m,
•Jeśli P
i
(t) oznacza prawdopodobieństwo
przebywania procesu x(t) w stanie i-tym w
chwili t, to
m
,...,
1
i
,
)
t
(
P
i
i
i
t
lim
oraz
E
A
,
)
t
(
P
A
i
i
i
A
i
i
t
lim