VI. WYBRANE MODELE STOCHASTYCZNE PROCESÓW
EKSPLOATACJI
1. ELEMENTY RACHUNKU PRAWDOPODOBIEC
STWA
1.1 Aksjomaty i twierdzenia rachunku prawdopodobieństwa
Istnieje duża grupa zjawisk fizycznych, których opis deterministyczny z uwagi na ich
złożoność jest niemożliwy. Wyniki przeprowadzonych doświadczeń nie pokrywają się, mimo
że są realizowane w tych samych warunkach. Takie zjawiska są uważane za zjawiska losowe
(przypadkowe). Chcąc traktować procesy eksploatacji obiektów technicznych jako kolejne
następstwa zjawisk losowych należy znać podstawowe informacje z rachunku
prawdopodobieństwa, które podano niżej [1, 2, 3, 6, 11].
Zdarzeniem nazywamy wynik doświadczenia lub obserwacji, przy którym zachodzi
dane zjawisko. Zdarzenie, które w wyniku doświadczenia może zajść lub nie, nazywa się
zdarzeniem losowym.
Zdarzenie elementarne nazywamy takie zdarzenie losowe, którego nie można
rozłożyć na zdarzenia prostsze.
Przestrzeń zdarzeń elementarnych, jest to zbiór wszystkich możliwych wyników
doświadczenia.
Zbiór jest pojęciem pierwotnym, którego nie definiuje się. Każdy zbiór składa się z
elementów, które również nie są definiowane.
Zbiory ze względu na ich liczność dzieli się na:
- skończone;
- nieskończone.
Zbiory skończone zawierają skończoną liczbę elementów. Na przykład zbiór liczb
naturalnych 1, 2,..., 6 ,..., zbiór liczb całkowitych nieujemnych 0, 1, 2,..., 9. Zbiór wszystkich
liczb rzeczywistych x spełniających nierówność a d" x d" b jest zbiorem nieskończonym, a
ponadto zbiór liczb naturalnych 1, 2, 3,...,. Zbiory dzielą się także na:
- przeliczalne;
- nieprzeliczalne.
Zbiory przeliczalne są równoliczne ze zbiorem liczb naturalnych. Zbiory przeliczalne i
nieprzeliczalne są przykładami zbiorów nieskończonych.
Pojęcie prawdopodobieństwa zdarzenia losowego odpowiada częstości zajścia tego
zdarzenia w długiej serii doświadczeń, dokonywanych w tych samych warunkach. W
rachunku prawdopodobieństwa przyjęto aksjomaty:
1) każdemu zdarzeniu losowemu A odpowiada określona liczba p(A), zwana
prawdopodobieństwem zdarzenia A, spełniająca nierówność:
0 d" p(A) d" 1 (1)
2) prawdopodobieństwo zdarzenia pewnego E równa się jedności:
p(E) = 1 (2)
3) prawdopodobieństwo skończonej lub przeliczalnej liczby zdarzeń wyłączających się
równa się sumie prawdopodobieństw tych zdarzeń:
p(A1 + A2 +...) = p(A1) + p(A2) + & (3)
Zdarzenia wyłączające się oznaczają, że ich równoczesne zajście jest zdarzeniem
niemożliwym (iloczyn tych zdarzeń jest zdarzeniem niemożliwym).
Z zależności (1, 2, 3) wynikają następujące wnioski:
1) prawdopodobieństwo zdarzenia niemożliwego (V) równa się zero:
 p(V) = 0 (4)
2) suma prawdopodobieństw zdarzeń przeciwnych równa się jedności:
p(A) = 1  p( A ) (5)
3) jeżeli zdarzenie A pociąga za sobą zdarzenie B (A zawiera się w B), to prawdopodo-
bieństwo zdarzenia A jest nie większe od prawdopodobieństwa zdarzenia B.
4) jeżeli prawdopodobieństwo zdarzenia B zależy od dodatkowych warunków, to
prawdopodobieństwo zdarzenia B nazywa się prawdopodobieństwem warunkowym
lub zależnym. Prawdopodobieństwo warunkowe zdarzenia B przy założeniu, że zaszło
zdarzenie A, zapisuje się następująco  p(B/A).
5) dwa zdarzenia są niezależne jeżeli:
p(A) = p(A/B) (6)
p(B) = p(B/A) (7)
gdzie: p(A)  prawdopodobieństwo bezwarunkowe.
6) prawdopodobieństwo iloczynu dwóch dowolnych zdarzeń:
p(AB) = p(A) �" p(B) = p(B) �" p(A/B) (8)
Oznacza to, że prawdopodobieństwo iloczynu dwóch zdarzeń A B równa się iloczynowi
prawdopodobieństwa jednego z nich przez prawdopodobieństwo warunkowe drugiego
zdarzenia pod warunkiem, że zrealizowało się pierwsze zdarzenie.
7) prawdopodobieństwo dwóch zdarzeń niezależnych:
p(AB) = p(A) �" p(B) (9)
8) prawdopodobieństwo sumy dowolnych dwóch zdarzeń (patrz 3):
p(A+B) = p(A) + p(B)  p(AB) (10)
9) prawdopodobieństwo całkowite:
n
p(A) = p(Bi )p(A/ Bi ) (11)
"
i=1
Wzór ten służy do obliczenia prawdopodobieństwa A przy założeniu, że zdarzenie to
może zajść jedynie łącznie z jednym z wyłączających się wzajem zdarzeń B1, B2,..., Bn.
10) wzór Bayesa:
p(Bi )�" p(A/ Bi )
p(Bi / A) = (12)
p(B1)�" p(A/ B1)+ p(Bn )p(A/ Bn )
Jest to wzór na prawdopodobieństwo a posteriori (po stwierdzeniu, że zaszło zdarzenie A).
Prawdopodobieństwa p(Bi) nazywane są prawdopodobieństwami a priori (przed
stwierdzeniem, czy zdarzenie A zaszło, czy nie).
1.2 Zmienne losowe
We wszystkich doświadczeniach każdemu zdarzeniu elementarnemu jest
przyporządkowana liczba rzeczywista. Funkcja, która każdemu elementarnemu zdarzeniu
(wynikowi doświadczenia) przyporządkowuje liczbę rzeczywistą nazywa się zmienną losową
(oznaczenie  duże litery np. X, Y, Z).
Do scharakteryzowania zmiennej losowej wystarcza znajomość:
1) zbioru wszystkich możliwych wartości, jakie może przyjmować zmienna losowa;
2) prawdopodobieństwo z jakim ona przyjmuje poszczególne wartości, czyli rozkładu.
Każda zmienna losowa jest określona przez swój rozkład prawdopodobieństwa.
Poszczególne rozkłady prawdopodobieństwa są opisywane przez dystrybuantę, czyli funkcję
F(x) zmiennej rzeczywistej określoną wzorem:
F(x) = P(XOznacza to, że każdej wartości x może być przyporządkowane odpowiednie
prawdopodobieństwo, czyli prawdopodobieństwo to jest funkcją x.
Wyróżnia się dwie grupy zmiennych:
- skokowe;
- ciągłe.
Zmienne losowe, które mogą przyjmować skończoną lub nieprzeliczalną liczbę wartości xi(i =
1, 2,...) z prawdopodobieństwem pi, nazywamy zmiennymi typu skokowego; xi  nazywamy
punktami skokowymi, a pi  skokami.
Rozkładem skokowej zmiennej losowej X nazywa się prawdopodobieństwo tego, że
zmienna X przybierze wartość xi(i = 1, 2,...):
P(X = xi) = pi (14)
"
pi =1 (15)
"
i
Dystrybuanta skokowej zmiennej losowej ma postać:
F(x) = P(XNiektóre rozkłady zmiennej losowej skokowej (np. zero-jedynkowy, dwumianowy,
hipergeometryczny, Poissona) podano w pracach [1, 2, 3, 6].
Zmienną losową typu ciągłego nazywamy taką zmienną losową, dla której istnieje
funkcja nieujemna f(x) taka, że dla każdego rzeczywistego x zachodzi relacja:
"
F(x) = f (x)dx =1, (17)
+"
-"
przy czym zachodzą zależności:
"
f (x)dx =1
+"
-"
b
P(a d" X d" b)= F(b)- F(a)= f (x)dx (18)
+"
a
F (x) = f(x) (19)
Pochodną dystrybuanty nazywa się gęstością prawdopodobieństwa zmiennej losowej X w
punkcie x.
P( " < X < +") = 1 (20)
Liczbę, która charakteryzuje w pewien sposób zbiór wartości jakie może przyjmować
zmienna losowa, nazywa się parametrem. Do pierwszej grupy zaliczamy parametry
reprezentujące przeciętna wartość zmiennej losowej (wartość oczekiwana, nadzieja
matematyczna), do drugiej grupy natomiast  parametry opisujące, jak bardzo poszczególne
wartości zmiennej losowej odchylają się od tej wartości przeciętnej (wariancja, odchylenie
standardowe).
Wartość przeciętna zmiennej losowej skokowej X jest to suma iloczynów
poszczególnych wartości tej zmiennej i odpowiadających tym wartościom
prawdopodobieństw:
n
E(X )= pi (21)
"xi
i=1
Wartość przeciętną zmiennej losowej ciągłej X określa wyrażenie:
"
E(X )= xf (x)dx (22)
+"
-"
Wariancja zmiennej losowej skokowej ma postać:
"
2
D2(X ) = - E(X )] �" pi (23)
"[xi
i=1
zaś ciągłej:
"
2
D2(X )= - E(X )] f (x)dx (24)
+"[x
-"
Pierwiastek kwadratowy z wariancji nazywa się odchyleniem standardowym.
Wartość średnia x zmiennej losowej w próbce jest estymatorem zgodnym i
nieobciążonym, wartości przeciętnej w populacji generalnej:
n
1
E(X )= m H" x = , (25)
"xi
n
i=1
zaś odchylenie średnie (wariancja z próbki) S2:
n
2
1
2
D2(X )H" S = (x - xi) , (26)
"
n -1
i=1
estymatorem zgodnym i nieobciążonym wariancji D2(x) zmiennej losowej w populacji
generalnej.
2. CZAS EKSPLOATACJI OBIEKTU JAKO ZMIENNA LOSOWA CI
GA
A
Zwykle jednostką czasu (miarą) eksploatacji obiektu technicznego, jest jednostka
czasu (godzina, minuta, rok), ale może to być inna wielkość fizyczna na przykład km. Czas
eksploatacji obiektu uznajemy za zmienną losową � typu ciągłego przyjmująca wartość z
przedziału (0, ").
Zmienną losową są:
- czas istnienia (życia) obiektu, tj. czas od chwili wprowadzenia go do użytkowania, do
chwili jego likwidacji;
- czas do naprawy głównej i średniej;
- czas wykonywania obsług technicznych;
- czas przebywania obiektu w poszczególnych stanach;
- czas przejścia obiektu między stanami;
- itd.
Zmienną losową �, czyli czas eksploatacji obiektu charakteryzują ciągłe względem
czasu funkcje: dystrybuanta F(t), gęstość rozkładu prawdopodobieństwa f(t), funkcja
niezawodności P(t), funkcja intensywności uszkodzeń (t), określone dla t e" 0 [1, 7].
Dystrybuanta zmiennej � jest funkcją, której wartość dla ustalonego t oznacza
prawdopodobieństwo uszkodzenia obiektu przed chwilą t:
F(t) = P(� < t) dla t e" 0 (27)
Funkcja R(t) zwana niezawodnością obiektu w czasie (0, t) oznacza
prawdopodobieństwo tego, że uszkodzenie wystąpi póz
niej niż w chwili t, czyli że obiekt
będzie zdatny w czasie (0, t). Niezawodność jest funkcja nierosnącą względem czasu t, co
przedstawiono na rys.6.1.
"
R(t)= P(� > t)= f (t)dt dla t e" 0 (28)
+"
t
R(t)=1- F(t) (29)
R(t)
1
R(t)
F(t)
t
Rys.6.1 Ilustracja graficzna funkcji niezawodności R(t) i dystrybuanty F(t)
Funkcja f(t) gęstości prawdopodobieństwa zmiennej � jest pochodną dystrybuanty:
dF(t)
f (t)= dla t e" 0 (30)
dt
Funkcję intensywności uszkodzeń (t) definiuje się jako:
f (t)
(t)= (31)
1- F(t)
Funkcję intensywności uszkodzeń (t) uważa się za podstawową charakterystykę czasu
eksploatacji obiektu. Wielkość (t)�""t oznacza prawdopodobieństwo uszkodzenia obiektu w
krótkim przedziale czasu (t, t+"t) pod warunkiem, że do chwili t był on zdatny. Oznacza ona
względny spadek niezawodności na jednostkę czasu. Każda z czterech zdefiniowanych
funkcji w sposób jednoznaczny określa zmienna losową �, determinując tym samym postać
funkcji pozostałych.
Jeżeli funkcja gęstości i dystrybuanta zmiennej � maja postać:
f (t)= e-t dla t e" 0 (32)
F(t)=1- e-t dla te" 0, (33)
to czas eksploatacji podlega wykładniczemu prawu niezawodności.
Intensywność uszkodzeń (t) w rozkładzie wykładniczym jest funkcja stałą względem czasu:
(t)=  > 0 ; dla te" 0 (34)
Funkcja niezawodności ma postać:
R(t)= e-t , dla t > 0, (35)
zaś średni czas eksploatacji obiektu � jest odwrotnością intensywności uszkodzeń :
1
� = , (36)

a wariancję określa wzór:
1
2
� = (37)
2
W przypadku braku uzasadnionych podstaw do przyjęcia założenia  = const należy
rozważyć możliwość wykorzystania innych rozkładów zmiennej losowej � na przykład:
gamma, Weibulla, normalnego i innych. Postępowanie winno polegać na tym, że zakładamy
postać funkcyjną rozkładu zmiennej losowej � i po sprawdzeniu, że doświadczenie nie
przeczy przyjętemu założeniu, korzystamy z zależności słusznych dla danego rozkładu.
Zmienna losowa � oznaczająca czas eksploatacji obiektu ma rozkład gamma jeżeli:
 -t
f (x)= (t) �"e-t , dla t e" 0 (38)
�(ą)
gdzie:
ą>0 i >0  parametry;
"
-x
�(ą)= xą -1dx - funkcja gamma
+"e
0
Funkcja niezawodności R(t) obiektu ma postać:
"

ą -1
R(t)= (39)
+"(x) �"e-xdx
�(ą)
t
Oczekiwany czas życia obiektu określa wzór:
ą
� = , (40)

zaś wariancję - wyrażenie:
ą
2
� = (41)
2
Funkcją intensywności (t) w tym rozkładzie jest wyrażeniem:
ą -1
(t) �"e-t
(t)= dla t e" 0 (42)
"
ą -1
+"x e-xdx
t
Dla rozkładu gamma zmiennej losowej � obowiązują następujące zależności (rys.6.2):
(t)
0<ą<1
ą=1
ą>1
t
Rys.6.2 Ilustracja graficzna intensywności uszkodzeń (t) w rozkładzie gamma [7]
1) jeśli ą > 1, to intensywność uszkodzeń obiektu rośnie z czasem, dążąc asymptotycznie do
stałej intensywności uszkodzeń ;
2) jeśli 0 < ą < 1, to intensywność uszkodzeń obiektu maleje z czasem dążąc asymptotycznie
do wartości ;
3) po upływie długiego czasu niezawodność obiektu o dowolnym rozkładzie gamma,
podlega wykładniczemu prawu niezawodności;
4) dla ą = 1, (t) =  = const dla t = (0, "), zatem rozkład gamma jest rozkładem
wykładniczym.
Przypadkiem szczególnym rozkładu gamma jest rozkład Erlanga, w którym ą jest
liczbą naturalna k.
Czas eksploatacji jest zmienną losową � o rozkładzie Weibulla, jeżeli są spełnione
następujące warunki:
ą -1 ą
f (t)= ą �"(t) exp{(- t) } dla t e" 0 (43)
R(t)= exp{(- t)} dla t e" 0 (44)
ą -1
(t)= ą(t) dla t e" 0 (45)
1 1
� = ��ł +1�ł (46)
�ł �ł

�łą łł
2
ńł �ł
1 2 �ł 1 łł
�ł��ł
2
� = +1�ł �ł (47)
�ł �ł - +1�łśł �ł
�ł
�ł żł
2 �ł �łą łł �ł��łą łł�ł �ł
�ł
�ł
ół �ł
Dla rozkładu Weibulla obowiązują zależności (rys.6.3):
(t)
1<ą<2
ą=2
ą=1
ą>2
0<ą<1
t
Rys.6.3 Ilustracja graficzna intensywności uszkodzeń (t) w rozkładzie Weibulla [7]
1) ą=1  rozkład wykładniczy;
2) ą>1  intensywność uszkodzeń (t) jest funkcją ściśle monotoniczną, rosnącą do
nieskończoności;
3) 0 < ą < 1  intensywność uszkodzeń (t) jest funkcją ściśle monotoniczną malejąca do
zera;
4) ą = 2  (t) rośnie proporcjonalnie do czasu;
5) ą > 2  (t) jest krzywą wypukłą ku dołowi;
6) 1 < ą < 2  (t) jest krzywą wypukłą ku górze.
Zmienna losowa � charakteryzująca czas życia obiektu ma rozkład normalny wtedy, gdy w
przedziale (-" < � < +") opisana wyrażeniem (rys.6.4)
2
�ł łł
1 (t - �)
f (t)= exp�ł- (48)
śł
2�
� 2Ą
�ł �ł
f(t)
�
1
�
2
�
3
t
Rys.6.4 Ilustracja graficzna funkcji gęstości prawdopodobieństwa dla rozkładu
normalnego (�1 < �2 <�3  odchylenia standardowe)
Zmienna losowa �, może przyjmować tylko wartości dodatnie, zatem ma ona rozkład
normalny ucięty w punkcie t = 0 (przedział 0, "). Wzory na niezawodność P(t), intensywność
uszkodzeń (t), średni czas życia � i wariancję �2 można znalez
ć w pracach [1, 7].
Typowa funkcja intensywności uszkodzeń jest kompozycją trzech rozkładów
elementarnych (rys.6.5). Okres pierwszy dotyczy początkowego czasu eksploatacji obiektu.
Występuje znaczna intensywność uszkodzeń w obiekcie, co tłumaczy się tym, że w
początkowym okresie eksploatacji główną przyczyną uszkodzeń są różnego rodzaju
uszkodzenia produkcyjne, ukryte wady elementów, wady montażowe itp. Czas trwania
pierwszego okresu zależy od typu obiektu, jego jakości, jakości zastosowanych elementów
itp. W okresie pierwszym [dla t"(0, t1)] intensywność uszkodzeń maleje i może być opisana
np. rozkładem gamma o parametrach 0 < ą < 1 i  >0 lub Weibulla o 0 < ą < 1.
Okres drugi [t"(t1, t2)] jest zazwyczaj nazywany okresem normalnej eksploatacji
obiektu. Charakteryzuje się on obniżoną i praktycznie stałą intensywnością uszkodzeń.
Uszkodzenia są przeważnie przypadkowe i podlegają wykładniczemu prawu niezawodności.
Długość tego okresu zależy przede wszystkim od średniej trwałości zastosowanych w
obiekcie elementów oraz od warunków eksploatacji. Okres ten charakteryzuje trwałość całego
obiektu.
(t)
rozkład
wykładniczy
rozkład
4
normalny
3
1
2
rozkład
Wiebula (ą<1)
t
t t t
I II III
1 2 3
Rys.6.5 Ilustracja zmiany intensywności uszkodzeń w funkcji czasu: 1  uszkodzenia
wczesne, 2  uszkodzenia starzeniowe, 3  uszkodzenia losowe, 4 
wynikowa funkcja intensywności uszkodzenia
Okres trzeci [(t3 > t2] jest uwarunkowany procesem zużywania się wszystkich elementów
obiektów i charakteryzuje się znacznym wzrostem intensywności uszkodzeń. Większość
uszkodzeń obiektu w tym okresie to uszkodzenia naturalne, wynikające z rzeczywistego
zużycia się elementów i destrukcyjnego oddziaływania czynników zewnętrznych i roboczych.
Intensywność uszkodzeń rośnie ze wzrostem czasu i może być opisana rozkładem Weibulla
dla ą > 2 lub rozkładem normalnym.
W praktyce często jest przyjmowane założenie o stałej intensywności uszkodzeń w
ciągu całego życia obiektu (niezawodność typu wykładniczego), jednak tego nie można
stosować bezkrytycznie z pominięciem procesu zużycia obiektu.
3. PROCESY MARKOWA
3.1 Ogólne określenie procesu stochastycznego
Przedmiotem teorii procesów stochastycznych są zdarzenia losowe zwane procesami
losowymi lub procesami stochastycznymi. Oprócz tych nazw, używany jest termin funkcja
losowa [4, 5, 7, 8, 9, 10, 12].
Procesem stochastycznym � = �(t) nazywamy funkcję parametru rzeczywistego
t " T, której wartości �(t), przy każdym t są zmiennymi losowymi. Zbiór wartości które może
przyjmować proces stochastyczny �(t) oznaczamy przez X a elementy (xn, n=1, N ) tego
zbioru nazywamy stanami procesu.
W wyniku każdego doświadczenia otrzymuje się określoną zależność funkcyjną lub
realizację funkcji losowej X(t). Zbiór realizacji (rys.6.6) funkcji losowej charakteryzuje jej
własności z małym przybliżeniem, co jest niewystarczające.
x (t) x (t)
n
n
x (t)
3
x (t)
2
x (t)
1
t
Rys.6.6. Zbiór realizacji ({xn};n =1, N) procesu stochastycznego
Proces stochastyczny będzie w pełni scharakteryzowany jeżeli jest dana następująca
trójka:
{X, T, F}
gdzie:
X  zbiór stanów procesu �(t);
T  zbiór wartości jakie może przyjmować parametr t;
F  rodzina funkcji rozkładu, czyli dystrybuanta, tj. prawdopodobieństwo tego, że
rozpatrywana zmienna losowa przyjmuje wartość mniejszą od pewnej ustalonej liczby.
Funkcja losowa jest określona wtedy, gdy znane są wszelkie wielowymiarowe
rozkłady dla dowolnych wartości t1, t2,..., tn z obszaru zmienności argumentu t:
F(x1, x2,& , xn,t1,t2 ,...,tn )= P(�(t1)< x1,�(t2)< x2 ,...,�(tn )< xn ) (49)
Klasyfikacja procesów stochastycznych polega na utworzeniu pewnych klas procesów
o ustalonych własnościach zbioru X, T oraz F pozwalających w ramach jednej klasy
opracować uniwersalny schemat postępowania przy badaniu procesów stochastycznych.
Jeżeli za podstawę klasyfikacji wez
miemy zbiór stanów X, to w przypadku gdy X={0,
1, 2,...} mówimy, że proces stochastyczny ma dyskretny zbiór stanów lub krócej  proces
dyskretny w stanach. W przypadku gdy X=R (zbiór liczb rzeczywistych) mówimy, że proces
stochastyczny ma ciągły zbiór stanów lub krócej proces ciągły w stanach.
Analogicznie można postępować przy klasyfikacji, jeżeli za podstawę przyjąć zbiór
parametrów T. Wtedy w przypadku gdy T={0, 1, 2,...} mówimy, że proces stochastyczny
posiada dyskretny zbiór parametrów lub krócej  proces dyskretny w czasie (piszemy w
czasie, gdyż w większości rzeczywistych przypadków parametr t jest czasem). Jeżeli T={t:
0d"t<"} mówimy, że proces stochastyczny posiada ciągły zbiór parametrów lub krócej 
proces ciągły w czasie. Biorąc za podstawę klasyfikacji zbiory X i T otrzymamy następujące
cztery klasy procesów stochastycznych [8]:
- procesy dyskretne w stanach i czasie;
- procesy dyskretne w stanach i ciągłe w czasie;
- procesy ciągłe w stanach i dyskretne w czasie;
- procesy ciągłe stanach i czasie.
Jeżeli za podstawę klasyfikacji przymniemy własności charakterystyk parabolicznych
(własność rodziny F) procesów stochastycznych, to otrzymamy następujące typy procesów
stochastycznych:
1) proces o niezależnych wartościach (biały szum);
2) proces o niezależnych przyrostach;
3) proces Markowa.
Proces Markowa jest to taki proces, dla którego [8]:
P(�(tn ) < xn / �(tn-1) = xn-1,...,�(t0) = x0) = P(�(tn ) < xn / �(tn-1) = xn-1), (50)
dla dowolnego ciągu parametrów t0 < t1 <... < tn-1 < tn. Zależność ta mówi o tym, że na stan
procesu w chwili tn nie ma bezpośredniego wpływu to, w jakich stanach znajdował się w
chwilach tn-2, tn-3,..., t0. Bezpośredni wpływ ma tylko stan, w którym znajduje się proces w
chwilach tn-1. Gdyby chwilę tn-1 przyjąć za teraz
niejszość i chwilę t0, t1, ..., tn-2 za przeszłość, a
chwilę tn za przyszłość, to dla procesów Markowa o tym co będzie w przyszłości decyduje
tylko teraz
niejszość, przeszłość (historia) nie ma wpływu. Stąd biorą się inne nazwy tego
procesu, proces ahistoryczny lub bez pamięci.
4) Proces jednorodny (proces stacjonarny). Jest to proces dla którego:
P(�(tn + � ) < xn / �(tn-1 + � ) = xn-1,...,�(t0 + � ) = x0) = P(�(tn ) < xn /�(tn-1) = xn-1,...,�(t0) = x0)
(51)
dla dowolnego ciągu parametrów t0 < t1 <... < tn oraz dowolnego � > 0.
Pełna znajomość procesu stochastycznego jest rzadko możliwa. Dlatego też w
praktyce postępuje się następująco:
- rozpatrujemy pewne wyróżnione klasy procesów o prostych właściwościach;
- opisujemy niektóre właściwości procesu, za pomocą charakterystyk na przykład:
wartości średniej, wariancji, odchylenia standardowego, funkcji korelacyjnej,
współczynnika korelacji, trendu, widma procesu.
3.2 Klasyfikacja stanów
Chcąc rozpatrywać opis procesów eksploatacji obiektów technicznych za pomocą
procesów Markowa należy przyjąć klasyfikację ich stanów. Wyróżnia się stany [5]:
1) istotny.
Stan i"W nazywamy stanem istotnym procesu Markowa, jeżeli dla n"N1 kroków  pij(n)>0
oraz dla m"N1 kroków pji > 0 (rys.6.7).
p (n)>0
i j
j
i
p (m)>0
j i
Rys.6.7 Ilustracja graficzna stanów istotnych procesu Markowa
gdzie:
i, j  stany procesu;
W  zbiór stanów;
N1  zbiór kroków
n, m  liczby kroków.
pji(n)  prawdopodobieństwo przejścia procesu Markowa ze stanu i do stany j w n
krokach;
pji(m)  prawdopodobieństwo przejścia procesu Markowa ze stanu j do stany i w m
krokach.
2) nieistotny.
Stan, który nie spełnia wymagań określonych w pkt. 1 nazywa się stanem nieistotnym. Dla
stanu nieistotnego zachodzą następujące zależności:
pij(n) > 0 i pji(m) = 0 (52)
3) osiągalny.
Stan j"W nazywamy stanem osiągalnym ze stanu i"W procesu Markowa, jeżeli:
"
pij = pij(n)= 1 (53)
"
i=1
lub
p(n) > 0 (54)
Stan j"W osiągalnym ze stanu i"W oznaczamy symbolem i j .
4) stany komunikujące się.
Stany i,j"W nazywamy stanami komunikującymi się, jeżeli:
(i j)'"( j i) (55)
gdzie:
'" - znak komunikacji (iloczynu logicznego).
5) powracający (pochłaniający).
Stan i"W nazywamy stanem powracającym, jeżeli:
"
pii (n) = pii(n) = 1 (56)
"
n=1
Co oznacza, że proces po n = 1, 2,..., krokach z prawdopodobieństwem pii(n)=1 powraca do
stanu i. Jeżeli pii(n)<1 stanu taki nazywamy stanem nie powracającym.
6) nieprzywiedlny proces semi-Markowa.
Proces semi-Markowa nazywamy nieprzywiedlnym jeżeli:
'"W(i j)(" ( j i) (57)
i, j"
Co oznacza, że dla stanów i,j"W, stan j jest osiągalny ze stanu i lub stan i jest osiągalny ze
stanu j. Podkreślić należy, że tak zdefiniowany nieprzywiedlny proces
semi-Markowa może zawierać również stany nieistotne.
3.3 A
ańcuchy Markowa
Realizacja procesów eksploatacji obiektów technicznych oznacza zajście określonego
zbioru zdarzeń elementarnych. Zajście dowolnego zdarzenia elementarnego oznacza, że
proces eksploatacji znajduje się w określonym stanie. Przebieg procesu eksploatacji
urządzenia technicznego, to inaczej następstwo stanów, czyli ogólnie przejście procesu od
stanu  i do  j .
Niech �(t), te"0 będzie procesem Markowa o skończonej lub przeliczalnej liczbie
możliwych stanów (xi), za które można przyjąć liczby naturalne i = 1, 2,...,. Zakładamy, że
parametr t, tzn. czas przybiera tylko wartości całkowite t = 0, 1, 2,...,. Wówczas mamy do
czynienia z łańcuchem:
�(0) �(1) �(2) �(i) �( j) (58)
gdzie:
�(0), �(1), �(2), ...  wartości procesu stanu.
Proces �=�(t), który został opisany nazywa się łańcuchem Markowa (rys.6.8) [2, 7, 8,
9, 10]:
�(t)
�(j)
�(i)
�(2)
�(1)
�(0)
... ... ...
t
1 2 i j
...
...
...
Rys.6.8 Ilustracja graficzna procesu eksploatacji obiektów technicznych przyjętego jako
łańcuch Markowa
Dla procesu eksploatacji obiektów technicznych traktowanego jako łańcuch Markowa
problemem jest prawdopodobieństwo pij(n) przejścia procesu ze stanu i do stanu j w n
krokach. Inaczej można powiedzieć, że to przejście procesu odbywa się w chwili t = n.
Zakładamy, że w chwili początkowej proces znajduje się w jednym ze stanów i:
a) z prawdopodobieństwem pi, Łpoi=1;
b) w szczególności, jeżeli poi=1, pok=0 dla k`"i, to oznacza, że stan i jest stanem
wyjściowym procesu.
Przy rozkładzie początkowym procesu postaci  b związki pomiędzy prawdopodobieństwami
przejścia pij(n) dla i,j=1, 2,... są następujące:
1 dla j = i
ńł
pij(0)= (59)
�ł0 dla j `" i
ół
pij(n)= pik (n -1)�" pkj; n = 1,2,... (60)
"
k
Wyrażenie (2.60) można zinterpretować następująco. Po n-1 krokach proces musi się znalez
ć
w jednym ze stanów k = 1, 2,..., przy czym w stanie k znajdzie się z prawdopodobieństwem
pk(n-1). Przy warunku, że po n-1 krokach proces znajdzie się w stanie k,
prawdopodobieństwo znalezienia się po n krokach w stanie j jest równe prawdopodobieństwu
pkj przejścia z k do j. Korzystając z twierdzenia o prawdopodobieństwie całkowitym (11),
otrzymuje się wzór (60).
Dla jednorodnego łańcucha Markowa prawdopodobieństwa warunkowe pij(n)
przejścia ze stanu i do stanu j nie zależą od n, tj.:
pij(n)= pij ; n = 1,2,... (61)
Prawdopodobieństwo pij nosi nazwę prawdopodobieństwa przejścia procesu ze stanu i
do stanu j w jednym kroku.
Dla łańcucha Markowa ważne znaczenie ma twierdzenie ergodyczne (wyrazy pij(n)
przynajmniej w jednej kolumnie macierzy musza być większe od zera M = M1n , gdzie: Mn 
n
macierz przejścia w n krokach, M1  macierz przejścia w jednym kroku). Istotą tego
twierdzenia jest znalezienie odpowiedzi na pytanie jak zachowują się prawdopodobieństwa
pij(n) przy n" (t"). Inaczej mówiąc jak wpływa stan i, w którym proces był na początku,
na prawdopodobieństwa przejścia pij(n), po bardzo dużej ilości kroków n.
Twierdzenie to przy spełnieniu określonych warunków [2], tzn. pij jest macierzą
przejścia w jednym kroku jednorodnego łańcucha Markowa o skończonej liczbie stanów, ma
postać:
lim pij(n)= p*; j =1,2,...,s (62)
j
n"
Prawdopodobieństwa graniczne p* noszą nazwę prawdopodobieństw ergodycznych. Jeżeli te
j
prawdopodobieństwa istnieją to po przejściu do granicy przy n" po obydwu stronach
równości (60) otrzymujemy:
pi* = pi* �" pij ( j = 1,2,...s) (63)
"
i
Z tych równań oraz ze związku:
p* = 1,
" j
j
możemy wyznaczyć szukane prawdopodobieństwa p* .
j
3.4 Procesy Markowa o ciągłym parametrze czasu
W punkcie 3.3 rozpatrzono łańcuchy Markowa, tj. procesy Markowa o parametrze
czasowym dyskretnym. Wiele zjawisk uznawanych za proces stochastyczny ma przebieg
ciągły w czasie, dlatego też badanie ich tylko w wybranych chwilach czasu może być
niewystarczające dla ich opisu. Przy procesach o parametrze czasowym ciągłym dysponujemy
pełniejszą niż przy łańcuchach dyskretnych informacją o przebiegu procesu, czyli o
zamianach jego stanów.
Rozpatrzmy podstawowe zagadnienia dotyczące jednorodnego procesu Markowa �(t)
o skończonej lub przeliczalnej liczbie stanów 1, 2,..., różniących się od rozpatrywanych w
poprzednim punkcie łańcuchów Markowa tylko tym, że parametr t (czas) zmienia się w
sposób ciągły i przejście od jednego stanu w drugi jest możliwe w dowolnej chwili t (rys.6.9)
[2, 7, 8, 9, 10].
�(t)
�(j)
�(i)
�(2)
�(1)
... ...
t t t t t
1 2 i j
Rys.6.9 Ilustracja graficzna procesu Markowa o ciągłym parametrze czasowym
Prawdopodobieństwo pij(t) znalezienia się procesu po upływie czasu t w stanie j przy
założeniu, ze stanem wyjściowym był stan i można zdefiniować następująco:
pij(t)= P{�(t + t')= j�(t')= i} (64)
i, j = 1, 2,...
Zaznaczyć należy, że dla jednorodnego procesu Markowa prawdopodobieństwo przejścia
zależy tylko od różnicy t = t2  t1 (t1 < t2), tzn.:
pij(t1,t2)= pij(t) (65)
Dla jednorodnego procesu Markowa zachodzą następujące wzory:
0 d" pij(t)d"1 (66)
pij(t)=1 (67)
"
pij(t + t')= pik (t)pkj(t'); i, j =1,2,... (68)
"
k
Równanie (68) nosi nazwę równania Chapmana-Kołmogorowa i jest ono odpowiednikiem
równania (60) dla łańcuchów Markowa. Zakłada się, że funkcje pij(t) są ciągłe w punkcie t=0.
1 dla j = i
ńł
lim pij(t)= (69)
�ł0 dla j `" i
t0
ół
Przyjmujemy, że przy wszystkich i, j = 1, 2,... prawdopodobieństwa przejścia pij(t) spełniają
następujące warunki:
pij(t)= 1- pii("t)= i" + o("t) (70)
pij("t) = ij"t + o("t), j `" i (71)
gdzie:
pii("t)  prawdopodobieństwo tego, że proces znajduje się w stanie i przez krótki czas "t;
...
i  intensywność wyjścia ze stanu i;
ij  intensywność przejścia ze stanu i do stanu j;
o("t)
0 przy "t 0 .
"t
Inaczej funkcje i("t) i ij("t) noszą nazwę funkcji intensywności procesu. Charakteryzują
one szybkość zmian prawdopodobieństw przejścia pij(t). Podkreślić należy, że omówione
właściwości procesu Markowa są słuszne dla niezależnych zmiennych losowych T0, T1,...,
będących czasami czekania na kolejne skoki procesu (czasami przebywania w określonych
stanach), mających rozkład wykładniczy z parametrem  .
Jeżeli prawdopodobieństwa przejścia pij(t) procesu Markowa o skończonej liczbie
stanów spełniają warunki (70) i (71), to słusznie są poniższe równania różniczkowe, z
warunkami początkowymi (69):
'
pij(t)= �" pkj(t); i, j =1,2,..., (70)
"ik
k
'
pij(t) = �" pik (t); i, j = 1,2,..., (71)
"kj
k
Równania (71) stanowią tzw. układ różniczkowych równań prospektywnych Kołmogorowa
(odnoszących się do przyszłości), zaś równania (70) układ retrospektywnych równań
różniczkowych Kołmogorowa (odnoszących się do przeszłości).
Układ równań (71) jest spełniony dla prawdopodobieństw pj(t) i ma postać:
p' (t)= pk (t)�"kj; j = 1,2,... (72)
j "
k
Podobnie jak dla łańcuchów Markowa słuszne jest wyrażenie:
p j = lim p (t); j =1,2,... (73)
j
t"
Oznacza to, że prawdopodobieństwa pj(t) tego, że proces po upływie czasu t znajdzie się w
odpowiednim stanie j=1, 2,..., maja przy t", wartości graniczne p j . Prawdopodobieństwa
graniczne nie zależą od rozkładu początkowego poi, i = 1, 2,...,.
Przy t" z układu równań różniczkowych (72) otrzymujemy układ równań liniowych
(p' (t)= 0):
j
p jij = 0 j =1,2,... , (74)
"
i
z których możemy obliczyć prawdopodobieństwa graniczne p j .
Podkreślić należy, że jeżeli w jednorodnym procesie Markowa {X ,t "T} o przeliczalnej
t
liczbie stanów ustalimy dowolny ciąg chwil:
t1 < t2 < ...tn < ..., (75)
to ciąg {xtn,tn "T} przedstawia ciąg zmiennych losowych związanych w łańcuch Markowa.
A
ańcuchy w ten sposób generowane przez proces Markowa nazywane są łańcuchami
włożonymi procesu [7].
3.5 Procesy semi-Markowa
Proces semi-Markowa różni się od ciągłego w czasie i dyskretnego w stanach procesu
Markowa tym, że w procesie Markowa  czasy przebywania procesu w stanach są zmiennymi
losowymi o rozkładach wykładniczych, podczas gdy w procesie semi-Markowa mogą one
mieć rozkład dowolny [5, 7].
Proces stochastyczny {M (t):t " R+} przyjmuje stałą wartość w przedziale
[� ,� ], m" N [5]:
m m+1
 M(t)= m, dla t "(� ,� ) (76)
m m+1
Proces stochastyczny {X (t): t " R+} określony wzorem:
X (t)= �M (t) (77)
gdzie:
N  zbiór liczb całkowitych nieujemnych;
R+  zbiór liczb rzeczywistych nieujemnych,
nazywamy procesem semi-Markowa (SM) (rys.6.10).
Proces semi-Markowa określają następujące zależności [5]:
Qij = pij �" Fij(t) (78)
gdzie:
F(t) = [Fij (t)] - macierz dystrybuant zmiennych losowych Tij;
P = [pij]; i, j "W - macierz prawdopodobieństw przejścia włożonego łańcucha Markowa,
pi = P{X (�0)= i}; i "W - rozkład początkowy procesu,
W  skończony zbiór stanów procesu,
Q(t)= [Qij(t)]; i, j " S - macierz funkcyjna nazywana jądrem procesu SM.
M(t)
� � � � �
t
0 1 2 3 4
Rys.6.10 Ilustracja graficzna procesu semi-Markowa
Funkcja Qij(t) spełnia wymagania [5]:
1) jest niemalejąca;
2) lewostronnie ciągła;
3) Qij (0) = 0; (79)
4) limQij (t) = 1 (80)
t"
5) (t)=1 (81)
"limQij
t"
j"W
Ważną charakterystyką procesu SM jest rozkład graniczny:
p = lim P{X (t)= j}; j "W (82)
j
t"
Jeśli proces SM{X (t);t " R+} o skończonym zbiorze stanów W jest nieprzywidlny
oraz zmienne losowe Tj; j"W mają skończone dodatnie wartości oczekiwane E(Tj), to istnieją
graniczne prawdopodobieństwa przejścia:
pij = lim pij(t); i, j "W (83)
t"
p* �" E(Tj)
j
pij = p = (84)
j
*
pk E(Tk )
"
k"W
gdzie:
p* - prawdopodobieństwa graniczne włożonego łańcucha Markowa (63).
j
Reasumując należy stwierdzić, że aby znalez
ć rozkład graniczny procesu SM,
wystarczy znać macierz prawdopodobieństw przejścia włożonego łańcucha Markowa oraz
wartości oczekiwane czasów trwania stanów procesu.
4. PODSUMOWANIE
Reasumując rozpatrzone zagadnienia dotyczące wybranych modeli stochastycznych
do opisu zmian procesów eksploatacji obiektów technicznych można stwierdzić, co następuje:
1) czas eksploatacji obiektu technicznego jest zmienną losową, którą charakteryzują: ciągłe
względem czasu funkcje: dystrybuanta, gęstość rozkładu prawdopodobieństwa, funkcja
niezawodności, funkcja intensywności uszkodzeń;
2) proces eksploatacji obiektów technicznych można traktować jako łańcuchy Markowa,
tzn. dyskretne w stanach i czasie;
3) pełniejszą informację o procesach eksploatacji obiektów technicznych można uzyskać
traktując je jako procesy dyskretne w stanach i ciągłe w czasie;
4) proces semi-Markowa lepiej opisuje procesy eksploatacji obiektów technicznych niż
proces Markowa, ponieważ czasy przebywania procesu w stanach jako zmienne losowe
mogą mieć rozkłady dowolne, a nie tylko wykładnicze.
LITERATURA
1. Fidelis E i inni: Matematyczne podstawy oceny niezawodności. PWN, Warszawa 1966.
2. Fisz M.: Rachunek prawdopodobieństwa i statystyka matematyczna. PWN, Warszawa
1967.
3. Gajek L., Kałuszka M.: Wnioskowanie statystyczne. Modele i metody. WNT, Warszawa
1994.
4. Gniedenko B.W., Kowalenko I.N.: Wstęp do teorii obsługi masowej. PWN, Warszawa
1971.
5. Grabowski F.: Teoria semi-markowskich procesów eksploatacji obiektów technicznych.
Zeszyty naukowe 75A. Wyższa Szkoła Marynarki Wojennej, Gdynia 1982.
6. Hellwig Z.: Elementy rachunku prawdopodobieństwa i statystyki matematycznej. PWN,
Warszawa 1975.
7. Koz
niewska I., Włodarczyk M.: Modele odnowy niezawodności i masowej obsługi.
PWN, Warszawa 1978.
8. Pluciński J.: Procesy stochastyczne cz. I. WAT, Warszawa 1975.
9. Rosenblatt M.: Procesy stochastyczne PWN, Warszawa 1969.
10. Rozanow J. A.: Wstep do teorii procesów stochastycznych. PWN, Warszawa 1974.
11. Smirnow N., W, Dunin-Barjowski I. W.: Kurs rachunku prawdopodobieństwa i statystyki
matematycznej dla zastosowań technicznych. PWN, Warszawa 1969.
12. Swiesznikow A. A.: Podstawowe metody funkcji losowych. PWN, Warszawa 1965.
13. Niziński S., Żółtowski B.: Informatyczne systemy zarządzania eksploatacją obiektów
technicznych. ISBN  83-916198-0-X, Olsztyn-Bydgoszcz, 2001 s.334.
14. Niziński S., Żółtowski B.: Zarządzanie eksploatacją obiektów technicznych za pomocą
rachunku kosztów. ISBN  83-916198-0-X, Olsztyn-Bydgoszcz, 2002 s.156.
15. Żółtowski B., Józefik W.: Diagnostyka techniczna elektrycznych urządzeń
przemysłowych. Wydawnictwa ATR. Bydgoszcz. 1996. (s.240).
16. Żółtowski B., Ćwik Z. : Leksykon diagnostyki technicznej. Naukowo - Techniczny. Wyd.
ATR. Bydgoszcz. 1996. (s.420).
17. Żółtowski B.: Podstawy diagnostyki maszyn. Wyd. ATR. Bydgoszcz. 1996 (s.467).
18. Żółtowski B., Tylicki H.: Osprzęt elektryczny pojazdów mechanicznych. Wyd.ATR.
Bydgoszcz. 1999 (s.158).
19. Żółtowski B.: Badania dynamiki maszyn. Wyd. MARKAR, Bydgoszcz 2002 s.300.