Procesy stochastyczne
7. Rozkłady stacjonarne  zadania do samodzielnego rozwiązania
Zad. 7.1 (J. S., Zad. 2 str. 297) Znajdz
wszystkie rozkłady stacjonarne dla łańcuchów Markowa
o macierzach przejścia
ëÅ‚1 2 öÅ‚ ëÅ‚ öÅ‚
1 4
0 0 0 0
5 5
1 3
ìÅ‚3 3
0 0÷Å‚ ìÅ‚1 0 0 0÷Å‚
ìÅ‚4 4 ÷Å‚ ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚ i ìÅ‚ ÷Å‚ .
1 4
íÅ‚ Å‚Å‚ íÅ‚ Å‚Å‚
0 0 0 1 0 0
5 5
4 1
0 0 0 0 1 0
5 5
Zad. 7.2 (J. S., Zad. 5 str. 298) Niech S = {1, . . . , m}, a P będzie macierzą podwójnie sto-
m
chastyczną, tj. macierzą stochastyczną taką, że pij = 1, j = 1, . . . , m. Udowodnić, że
i=1
1
rozkład Ąi a" , i = 1, . . . , m jest rozkładem stacjonarnym dla łańcucha Markowa z tą
m
macierzą przejścia.
Zad. 7.3 (B.M.P.) Rozważmy łańcuch Markowa opisujący poruszanie się po wierzchołkach trój-
kąta. W każdym kroku możemy przejść do sąsiedniego wierzchołka, przy czym z prawdo-
podobieństwem p poruszamy się przeciwnie do ruchu wskazówek zegara, a z prawdopodo-
bieństwem 1 - p zgodnie ze wskazówkami zegara. Wyznacz macierz przejścia oraz wykaż, że
łańcuch jest nieprzywiedlny i nieokresowy. Wyznacz rozkład stacjonarny tego łańcucha oraz
znajdz
średnią częstość przebywania łańcucha w każdym z wierzchołków.
Zad. 7.4 Przy drodze stoi znak ostrzegawczy. Każdego dnia z prawdopodobieństwem p może on
zostać zniszczony przez nieostrożnego kierowcę. W takim przypadku, pod koniec dnia, służba
drogowa zastępuje zniszczony znak nowym. Niech Xn oznacza liczbę dni, które upłynęły od
ostatniej wymiany znaku do końca dnia n. Wyznacz rozkład stacjonarny łańcucha Xn. Jaka
jest średnia liczba dni między kolejnymi wymianami znaku?
Zad. 7.5 Rozważmy łańcuchy Markowa o przestrzeni stanów S = {0, 1, 2, . . .} i macierzach przej-
ścia P zadanych następująco:
i+1 1
a) pi,0 = , oraz pi,i+1 = dla i = 0, 1, 2, . . .,
i+2 i+2
1 i+1
b) pi,0 = oraz pi,i+1 = dla i = 0, 1, 2, . . .
i+2 i+2
Znajdz
rozkłady stacjonarne tych łańcuchów.