Procesy stochastyczne

6. Klasyfikacja stanów

Ćw. 6.1 (J. S., Zad. 4a str. 277) Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcu-

chów Markowa o macierzach przejścia








1

0

0

0

0

1
2

1
2

0

0

1
4

3
4

0

1
4

1
4

1
4

1
4








i








1

0 0 0

0

0 1 0

1
3

1
3

0

1
3

1
2

1
2

0 0








.

Ćw. 6.2 W trakcie dyżuru stan dziekana zmienia się. Dziekan może być niezadowolony, zły lub

wściekły. Jeśli jest niezadowolony, to pozostaje w tym stanie z prawdopodobieństwem 0,5,
natomiast w złość wpada 4 razy częściej niż we wściekłość. Jeśli jest zły, to może pozostać
w tym stanie lub wpaść we wściekłość z prawdopodobieństwem 0,6. Jeśli jest wściekły to
jest tylko 10% szans na to, że jego humor się poprawi i dziekan będzie tylko zły. Sklasyfikuj
stany dziekana. Które z nich są chwilowe, a które powracające?

Ćw. 6.3 (J. S., Zad. 6 str. 284) Niech łańcuch Markowa z przestrzenią stanów S = {0, 1, 2, ...}

ma macierz przejścia postaci: p

01

= p

0

, p

00

= 1 − p

0

, p

n,n+1

= p

n

, p

n0

= 1 − p

n

. Kiedy ten

łańcuch jest powracający, a kiedy chwilowy?

Ćw. 6.4 (B. M. P., Ex. 4.30 p. 105, Ex. 4.23 p. 116) Czy łańcuchy Markowa o macierzach przejścia






0 0 1
1 0 0
0 1 0






i








0

1

0

0

1
2

0

1
4

1
4

1
2

1
2

0

0

0

0

1

0








są łańcuchami okresowymi?