Procesy stochastyczne
7. Rozkłady stacjonarne  zadania do samodzielnego rozwiązania
Zad. 7.1 (J. S., Zad. 2 str. 297) Znajdz
wszystkie rozkłady stacjonarne dla łańcucha Markowa
o macierzy przejścia
ëÅ‚ öÅ‚
1 2
0 0
3 3
ìÅ‚ ÷Å‚
ìÅ‚ 1 3 ÷Å‚
0 0
ìÅ‚ ÷Å‚
4 4
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
1 4
ìÅ‚ ÷Å‚
0 0
5 5
íÅ‚ Å‚Å‚
4 1
0 0
5 5
Zad. 7.2 (J. S., Zad. 5 str. 298) Niech S = {1, ..., m}, a P będzie macierzą podwójnie stochastycz-
m
ną, tj. macierzą stochastyczną taką, że pij = 1, j = 1, ..., m. Udowodnić, że rozkład
i=1
1
Ąi a" , i = 1, ..., m jest rozkładem stacjonarnym dla łańcucha Markowa z tą macierzą
m
przejścia.
Zad. 7.3 (J. S., Zad. 6 str. 298) Niech S = {0, ..., k - 1}, a macierz P jest taka, że jej wiersze są
cyklicznymi permutacjami wiersza pierwszego, tj. p1j = pj > 0, pij = p(j-i)(modk) (ten łańcuch
opisuje błądzenie przypadkowe po okręgu dyskretnym). Znajdz
granicÄ™ limn" P (Xn = i).
Zad. 7.4 (B. M. P.) Rozważmy łańcuch Markowa opisujący poruszanie się po wierzchołkach trój-
kąta. W każdym kroku możemy przejść do sąsiedniego wierzchołka, przy czym z prawdopo-
dobieństwem p poruszamy się przeciwnie do wskazówek zegara, a z prawdopodobieństwem
1 - p zgodnie ze wskazówkami zegara. Wyznacz macierz przejścia oraz wykaż, że łańcuch
jest nieprzemienny i nieokresowy. Wyznacz rozkład stacjonarny tego łańcucha oraz znajdz

średnią częstość przebywania łańcucha w każdym z wierzchołków.
Zad. 7.5 (F., Zad. 7 str. 348) Pierwsza kolumna macierzy P ma postać {q0, q1, ...}, natomiast
pi,i+1 = 1 - qi dla i = 0, 1, 2, ... Udowodnij, że wszystkie stany są chwilowe wtedy i tylko
"
wtedy, gdy qj < ". Znajdz
rozkład stacjonarny o ile istnieje.
j=0