901459996

Bartosz Naskręcki

Łańcuchy M arkowa

V

referat dla Koła Naukowego Matematyków, 31.05.2006.

1. Czym jest łańcuch?

Proces stochastyczny: funkcja, która przyporządkowuje zbiorowi indeksów procesu (zazwyczaj jest to czas) wartości, które leżą w przestrzeni zdarzeń losowych.

Łańcuchem nazywamy proces stochastyczny, który jest określony na dyskretnej przestrzeni stanów.

2. Procesy Markowa

Proces Markowa to ciąg zdarzeń, w którym prawdopodobieństwo każdego zdarzenia zależy jedynie od wyniku poprzedniego. W ujęciu matematycznym procesy Markowa to takie procesy stochastyczne, które spełniają własność Markowa.

3. Łańcuchy Markowa

Łańcuchy Markowa to takie procesy Markowa, które zdefiniowane są na dyskretnej przestrzeni stanów.

Łańcuch Markowa jest ciągiem .V,. X.». X_:l.... zmiennych losowych. Dziedzinę tych zmiennych nazywamy przestrzenią siat rów. a realizacje X_n to stany w czasie n. Jeśli rozkład warunkowy X„ , i jest funkcją wyłącznie zmiennej X„:

P(X_nlX_l),X_l,...,X_n._i) = P(X„\X„ ,)

4. Reprezentacja macierzowa

Łańcuchy Markowa można opisywać językiem algebry liniowej.

Załóżmy, że rozpatrujemy łańcuch, w którym występuje n rozróżnialnych stanów. Każdy z nich opisywany jest przez zmienną 0 < x_t < 1. która wyraża prawdopodobieństwo znalezienia się w stanie i.

Otrzymujemy wektor stanu:

x= (a,

Jest to wektor stochastyczny, czyli zachodzi warunek:

x_t + ... + x_n = 1

Ewolucję łańcucha opisuje zestaw liczb, które opisują prawdopodobieństwo przejścia ze stanu i do stanu j:

0 < q<s < 1

Liczby te tworzą macierz:

1