Procesy stochastyczne

6. Klasyfikacja stanów — zadania do samodzielnego rozwiązania

Zad. 6.1 Niech S = {1, 2, 3, 4}. Przeprowadzić klasyfikację stanów łańcucha Markowa o macierzy

przejścia









1
4

1
4

1
4

1
4

0

0

3
4

1
4

0

0

0

1

0

0

0

1









Zad. 6.2 Pokazać, że w klasie stanów istotnych relacja ”stany s

i

i s

j

komunikują się” jest rela-

cją równoważności. Wywnioskować stąd, że przestrzeń stanów S łańcucha Markowa można
podzielić na rozłączne klasy stanów S

0

, S

1

, S

2

, ... takie, że

1. S

0

składa się z wszystkich stanów nieistotnych;

2. S

i

, i ­ 1 są rozłączne i wewnątrz każdej klasy wszystkie stany komunikują się.

Zad. 6.3 (B. M. P., Ex. 4.24 p. 116) Rozważmy jednorodny łańcuch Markowa o przestrzeni stanów

S = {1, 2, 3, 4, 5} i macierzy przejścia















1
3

0

1

12

1
4

1
3

0

1
4

0

0

3
4

1
3

1

12

1
2

0

1

12

0

1
3

1
4

1
4

1
6

0

1
3

0

0

2
3















Sklasyfikuj stany tego łańcucha.

Zad. 6.4 (K., Ex. 47.5 p. 221) W poniższej macierzy przejścia znakiem x zaznaczono niezerowe

współrzędne tej macierzy:




















0

0

0 x 0

0

0

0 x

0 x x 0 x 0

0

0 x

0

0

0

0

0

0

0 x 0

x 0

0

0

0

0

0

0

0

0

0

0

0 x 0

0

0

0

0 x 0

0

0

0

0

0

0

0 x 0

0

0 x x 0

0

0

0 x 0

0

0

0

0

0

0

0

0 x 0

0

0

0 x




















.

Sklasyfikuj stany łańcucha o takiej macierzy przejścia. Które z tych stanów są okresowe?

Zad. 6.5 (J. S., Zad. 3 str. 286) Czy nieprzywiedlny łańcuch Markowa o wszystkich elementach

na przekątnej macierzy przejścia równych 0 musi być okresowy?