Procesy stochastyczne
5. A
ańcuchy Markowa  zadania do samodzielnego rozwiązania
1
Zad. 5.1 (J. S., Zad. 3a str. 272) Niech (Un) będzie ciągiem i.i.d., P (Un = 1) = P (Un = -1) = .
2
Pokazać, że Xn = Un � Un+1 jest łańcuchem Markowa.
Zad. 5.2 (J. S., Zad. 4 str. 272) Podać przykład łańcucha Markowa X0, X1, ... i dowolnej funkcji
borelowskiej f, takich że f(X0), f(X1), ... nie jest łańcuchem Markowa.
Zad. 5.3 (J. S., Zad. 6a str. 273) Niech Xn będzie błądzeniem losowym na prostej, X0 = 0.
Pokazać, że ciąg (Yn) zdefiniowany wzorem
Yn = |Xn|
jest łańcuchem Markowa i znalez
ć macierz przejścia.
Zad. 5.4 (J. S., Zad. 7 str. 273) Niech X i Z będą łańcuchami Markowa o wartościach całkowi-
toliczbowych. Czy X + Z musi być łańcuchem Markowa?
Zad. 5.5 (J. S., Zad. 8 str. 273) Seminarium probabilistyczne jest organizowane przez matematy-
ków z Torunia, Warszawy i Wrocławia. Na zakończenie każdego spotkania losuje się z równy-
mi prawdopodobieństwami miejsce następnego spośród dwóch pozostałych ośrodków. Podać
macierz przejścia odpowiedniego łańcucha Markowa, obliczyć prawdopodobieństwo znalezie-
nia się w poszczególnych stanach w chwili n i ich granice przy n ". Uwzględnij sytuacje,
gdy gospodarz pierwszego seminarium został wybrany losowo oraz, gdy był nim jeden usta-
lony wcześniej ośrodek np. Warszawa.
Zad. 5.6 (J. S., Zad. 13 str. 273) Niech X, Y będą niezależnymi łańcuchami Markowa, oba z ma-
cierzą przejścia P . Udowodnić, że Z = (X, Y ) jest łańcuchem Markowa z macierzą przejścia
pij,hk = pihpjk.
Zad. 5.7 Niech Xn opisuje stan linii telefonicznej w chwili n. Xn = 0, gdy linia jest wolna, Xn = 1,
gdy linia jest zajęta. Prawdopodobieństwo, że ktoś zajmie linię jest równe p " (0, 1), a że
ktoś zwolni linię jest równe q " (0, 1). Przyjmujemy, że w chwili początkowej linia jest wolna.
Niech
� = inf {Xn = 0}.
n 1
Oblicz E�.
Zad. 5.8 (J. S., Zad. 18 str. 274)
Funkcje harmoniczne. Jeśli (Xn) jest łańcuchem Markowa o przestrzeni stanów S i ma-
cierzy przejścia (pij), to funkcja harmoniczną nazywamy taką funkcję f : S R, że istnieje
stała , dla której zachodzi równość

f(i) = pijf(j).
j"S
Wykazać, że jeśli f jest funkcją harmoniczną na łańcuchu Markowa (Xn) o skończonej prze-
strzeni stanów, to ciąg (-nf(Xn), �(X1, ..., Xn)) jest martyngałem.