Procesy stochastyczne
6. Klasyfikacja stanów
Ćw. 6.1 (J. S., Zad. 4a str. 277) Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcu-
chów Markowa o macierzach przejścia
ëÅ‚ öÅ‚ ëÅ‚ öÅ‚
1 0 0 0 1 0 0 0
ìÅ‚ 1 1 ÷Å‚ ìÅ‚ ÷Å‚
0 0 0 0 1 0
ìÅ‚ ÷Å‚ ìÅ‚ ÷Å‚
2 2
ìÅ‚ ÷Å‚ i ìÅ‚ ÷Å‚ .
1 3 1 1 1
íÅ‚ Å‚Å‚ íÅ‚ Å‚Å‚
0 0 0
4 4 3 3 3
1 1 1 1 1 1
0 0
4 4 4 4 2 2
Ćw. 6.2 W trakcie dyżuru stan dziekana zmienia się. Dziekan może być niezadowolony, zły lub
wściekły. Jeśli jest niezadowolony, to pozostaje w tym stanie z prawdopodobieństwem 0, 5,
natomiast w złość wpada 4 razy częściej niż we wściekłość. Jeśli jest zły, to może pozostać
w tym stanie lub wpaść we wściekłość z prawdopodobieństwem 0, 6. Jeśli jest wściekły to
jest tylko 10% szans na to, że jego humor się poprawi i dziekan będzie tylko zły. Sklasyfikuj
stany dziakana. Które z nich są chwilowe, a które powracające?
Ćw. 6.3 (J. S., Zad. 6 str. 284) Niech łańcuch Markowa z przestrzenią stanów S = {0, 1, 2, ...}
ma macierz przejścia postaci: p01 = p0, p00 = 1 - p0, pn,n+1 = pn, pn0 = 1 - pn. Kiedy ten
łańcuch jest powracający, a kiedy chwilowy?
Ćw. 6.4 (B. M. P., Ex. 4.30 p. 105, Ex. 4.23 p. 116) Czy łańcuchy Markowa o macierzach przejścia
ëÅ‚ öÅ‚
ëÅ‚ öÅ‚
0 1 0 0
0 0 1
ìÅ‚ 1 1 1 ÷Å‚
0
ìÅ‚ ÷Å‚ ìÅ‚ ÷Å‚
2 4 4
íÅ‚ 1 0 0 Å‚Å‚ i ìÅ‚ ÷Å‚
1 1
íÅ‚ Å‚Å‚
0 0
2 2
0 1 0
0 0 1 0
są łańcuchami okresowymi?