Procesy stochastyczne
6. Klasyfikacja stanów  zadania do samodzielnego rozwiązania
Zad. 6.1 Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcucha Markowa o macierzy
przejścia
ëÅ‚ öÅ‚
1 1 1 1
4 4 4 4
ìÅ‚ ÷Å‚
ìÅ‚ 3 1 ÷Å‚
0 0
ìÅ‚ ÷Å‚
4 4
ìÅ‚ ÷Å‚
íÅ‚ Å‚Å‚
0 0 0 1
0 0 0 1
Zad. 6.2 Pokazać, że w klasie stanów istotnych relacja  stany si i sj komunikują się jest rela-
cją równoważności. Wywnioskować stąd, że przestrzeń stanów S łańcucha Markowa można
podzielić na rozłączne klasy stanów S0, S1, S2, ... takie, że
1. S0 składa się z wszystkich stanów nieistotnych;
2. Si, i 1 są rozłączne i wewnątrz każdej klasy wszystkie stany komunikują się.
Zad. 6.3 (B. M. P., Ex. 4.24 p. 116) Rozważmy jednorodny łańcuch Markowa o przestrzeni stanów
S = {1, 2, 3, 4, 5} i macierzy przejścia
ëÅ‚ öÅ‚
1 1 1 1
0
3 12 4 3
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
1 3
ìÅ‚ ÷Å‚
0 0 0
4 4
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
1 1 1 1
ìÅ‚ ÷Å‚
0
ìÅ‚ ÷Å‚
3 12 2 12
ìÅ‚ ÷Å‚
ìÅ‚ 1 1 1 1 ÷Å‚
0
ìÅ‚ ÷Å‚
3 4 4 6
íÅ‚ Å‚Å‚
1 2
0 0 0
3 3
Sklasyfikuj stany tego łańcucha.
Zad. 6.4 (K., Ex. 47.5 p. 221) W poniższej macierzy przejścia znakiem x zaznaczono niezerowe
współrzędne tej macierzy:
ëÅ‚ öÅ‚
0 0 0 x 0 0 0 0 x
ìÅ‚ ÷Å‚
0 x x 0 x 0 0 0 x
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
0 0 0 0 0 0 0 x 0
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
x 0 0 0 0 0 0 0 0
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
ìÅ‚ 0 0 0 0 x 0 0 0 0 ÷Å‚ .
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
0 x 0 0 0 0 0 0 0
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
0 x 0 0 0 x x 0 0
ìÅ‚ ÷Å‚
ìÅ‚ ÷Å‚
íÅ‚ Å‚Å‚
0 0 x 0 0 0 0 0 0
0 0 0 x 0 0 0 0 x
Sklasyfikuj stany łańcucha o takiej macierzy przejścia. Które z tych stanów są okresowe?
Zad. 6.5 (J. S., Zad. 3 str. 286) Czy nieprzywiedlny łańcuch Markowa o wszystkich elementach
na przekątnej macierzy przejścia równych 0 musi być okresowy?