WŁASNOŚCI GRANICZNE SJŁM

Rozkładem stacjonarnym SJŁM o macierzy przejścia P nazywa się wektor

taki, że

oraz

,

.

Kiedy istnieje rozkład stacjonarny? Czy jest jeden czy więcej?



Wiemy już, że dla dowolnej macierzy stochastycznej istnieje wartość własna równa 1, zatem lewy
wektor własny z nią związany spełnia warunek stacjonarności (po unormowaniu otrzymujemy
rozkład stacjonarny) => Dla każdego SJŁM istnieje co najmniej jeden rozkład stacjonarny.

Przykład 1 cd.: dla bohatera błądzącego po wiosce rozwiązujemy układ równań

Rozwiązaniem tego układu jest

, czyli istnieje jeden wektor stacjonarny

d = [0.25 0.5 0.25]

Twierdzenie Dooba. Dla dowolnej macierzy stochastycznej P istnieje granica

,

przy czym PA=AP=A=A

2

Skoro AP = A, więc wiersze macierzy A są lewymi wektorami własnymi macierzy P związanymi z
wartością własną 1 => Wiersze macierzy A są rozkładami stacjonarnymi łańcucha.



Tw. Dla regularnej (czyli nierozkładalnej i niecyklicznej) macierzy P istnieje granica

,

gdzie E jest macierzą ergodyczną, tzn. macierzą stochastyczną o jednakowych wierszach

.

Spełnione są przy tym równości

PE=EP=E=E

2

.

Skoro EP = E, więc wiersz macierzy E jest rozkładem stacjonarnym łańcucha, co więcej –
jedynym rozkładem stacjonarnym.



Tw. Dla nierozkładalnej macierzy P istnieje granica (tzw. granica wg średniej)

,

przy czym PE=EP=E=E

2

.



Tw. : Dla niecyklicznej macierzy P istnieje granica

,

przy czym PA=AP=A=A

2

.

SJŁM nazywa się ergodycznym, jeżeli

E

P







n

n

lim

=> Łańcuch jest ergodyczny, jeśli macierz P jest regularna.



Dla łańcucha ergodycznego

e

E

d

P

d

P

d

d





















0

lim

0

0

lim

lim

n

n

n

n

n

n

=> Rozkład graniczny e nie zależy od rozkładu początkowego, a skoro jest identyczny z wierszem

macierzy E, to jest jedynym rozkładem stacjonarnym.



Tw. Macierz P jest regularna, jeżeli istnieje

1



n

takie, że macierz n

P ma przynajmniej jedną

kolumnę dodatnią.

SJŁM nazywa się ergodycznym w sensie Cesaro, jeżeli

E

P











n

k

k

n

n

1

1

lim

=> Łańcuch jest ergodyczny w sensie Cesaro, jeśli macierz P jest nierozkładalna.



Dla łańcucha ergodycznego w sensie Cesaro

e

E

d

P

d

d























0

1

0

1

1

lim

1

lim

n

k

k

n

n

k

k

n

n

n

=> Rozkład graniczny e nie zależy od rozkładu początkowego, jest identyczny z wierszem

macierzy E, jest jedynym rozkładem stacjonarnym.

Przykład 1 cd. Macierz P jest regularna, więc łańcuch jest ergodyczny.

















25

0

5

0

25

0

25

0

5

0

25

0

25

0

5

0

25

0

.

.

.

.

.

.

.

.

.

E

Niezależnie od miejsca, w którym bohater obudził się rano, po wielu godzinach (wieczorem) będzie w
domu z prawdopodobieństwem ok. 0.25, w knajpie – 0.5 lub w pracy – 0.25.

Wnioski końcowe:



Łańcuch o regularnej (nierozkładalnej niecyklicznej) macierzy P jest ergodyczny.



Łańcuch o nierozkładalnej cyklicznej macierzy P jest ergodyczny tylko w sensie Cesaro.



Regularna macierz P – jedna klasa stanów istotnych nieokresowych, jeżeli ponadto

nieprzywiedlna – nie ma stanów chwilowych.



Nierozkładalna cykliczna macierz P – jedna klasa stanów istotnych okresowych; jeżeli

nieprzywiedlna – nie ma stanów chwilowych.



Łańcuch o rozkładalnej macierzy przejścia jest nieergodyczny (co najmniej dwie klasy stanów
istotnych, więcej niż jeden rozkład stacjonarny, rozkład graniczny zależy od rozkładu
początkowego)