19. Procesy stochastyczne drugiego rzędu. Podstawowe charakterystyki
Definicja. Proces stochastyczny {X(t), t " T} nazywamy procesem stochastycznym drugiego rzędu, jeśli
E(X(T))2 < +" "t " T.
W przypadku takich procesów bardzo ważnymi charakterystykami są średnia i kowariancja
(autokowariancja).
Definicja. KowariancjÄ… procesu ,X(t), t " T} nazywamy funkcjÄ™ K : T × T 7 R postaci
K(s, t) = E*(X(s)-EX(s))(X(t)-EX(t))+ = E*(X(s)-m(s))(X(t)-m(t))+ = E*X(s)X(t)+-m(s)m(t),
gdzie m(t) = EX(t) to średnia procesu.
Niektóre własności kowariancji.
1. K(t, t) = E*X(t) - m(t)+2 = Var X(t) > 0 "t " T, przy czym równośd 0 jest możliwa tylko wtedy, gdy
X(t) = m(t) z prawdopodobieostwem 1.
2. 2. K(s, t) = K(t, s) "(s, t) " T × T.
3.
4. 4. "n "t1, . . . , tn " T "z1, . . . , zn " R
Własności druga (symetrycznośd) i czwarta (nieujemna określonośd) są podstawowymi; pozostałe
dwie własno- ści to ich konsekwencja.
Definicja. Proces stochastyczny 2-go rzędu ,X(t), t "T} nazywamy stacjonarnym słabo (lub w szerokim
sensie), jeśli m(t)=const "t " T oraz K(s, t) = K(s+h, t+h) "s, t, h, s + h, t + h " T (czyli, jeśli 0 " T, to
funkcja K(s, t) jest funkcjÄ… tylko t - s).
Definicja. Proces stochastyczny {X(t), t " T} nazywamy stacjonarnym ściśle (lub w wąskim sensie),
jeśli dla dowolnych wartości t1, . . . , tn " T oraz dowolnego h " T takiego, że t1 + h, . . . , tn + h " T,
rozkÅ‚ady wektorów losowych (X(t1, É), . . . , X(tn, É)) i (X(t1 + h, É), . . . , X(tn + h, É)) (skooczenie
wymiarowe rozkłady procesu) są takie same.
Jeśli proces stochastyczny jest ściśle stacjonarny, to jest on też słabo stacjonarny. Odwrotna
implikacja nie musi zachodzid.
18. Procesy o przyrostach niezależnych stacjonarnych. Przykłady.
Definicja. Proces stochastyczny o przyrostach niezależnych ,X(t), t " T} nazywamy procesem
stochastycznym o przyrostach niezależnych i stacjonarnych (jednorodnych), jeśli zmienne losowe
X(t) - X(s) i X(t + h) - X(s + h) mają takie same rozkłady dla wszystkich s, t " T, s < t, i h " T takich, że s
+ h, t + h " T.
Dla takich procesów rozkład każdego przyrostu określa się tylko długością przedziału.
Własnośd  nieskooczonej podzielności . Jeśli ,X(t), t " *0, +")- jest procesem stochastycznym o
przyrostach niezależnych i stacjonarnych, to dla każdego n " N zmienną losową X(t) przy ustalonym t
> 0 można przedstawid w postaci sumy n niezależnych zmiennych losowych o tym samym rozkładzie.
Proces Wienera. Ruch Browna.
Definicja. Proces stochastyczny o przyrostach niezależnych i stacjonarnych {W(t), t " *0, +")-
nazywamy procesem Wienera, jeśli W(0) = 0 i każdy przyrost W(t)-W(s), t > s, ma rozkład normalny N
(¸(t-s), à 2 (t - s)) z pewnymi parametrami ¸ " R, Ã2 > 0. Na dodatek zakÅ‚adamy, że wszystkie
trajektorie procesu Wienera sÄ… ciÄ…gÅ‚e. Proces Wienera nazywamy ruchem Browna, gdy ¸ = 0, Ã2 = 1.
Dla ruchu Browna zachodzi
EW(t) = 0, EW(t)W(s) = min{t, s}
Wektor losowy (W(t1), . . . , W(tn)), gdzie 0 < t1 < . . . < tn, ma gęstośd :
Proces Poissona.
Definicja. Proces stochastyczny o przyrostach niezależnych i stacjonarnych ,Y (t), t " *0, +")- o
wartościach nieujemnych całkowitych nazywamy procesem Poissona, jeśli Y (0) = 0 i każdy przyrost Y
(t) - Y (s), t > s, ma rozkÅ‚ad Poissona P(µ(t - s)) z pewnym parametrem µ > 0.
Wszystkie trajektorie rozkładu Poissona są nieciągłe. Dla procesu Poissona zachodzi
EY (t)=µt, E(Y (t)-EY (t))(Y (s)-EY (s))=µ min,t, s-.
Rozkład wektora losowego (Y (t1), . . . , Y (tn)), gdzie 0 < t1 < . . . < tn , określa się wzorem
Proces Poissona jest procesem skokowym ze skokami równymi 1. Wartośd Y (t) jest liczbą skoków
procesu w przedziale *0, t+. Punkty ,¾k-, w których proces Poissona ma skoki, sÄ… zmiennymi losowymi,
przy czym zmienne losowe ¾1, ¾2 - ¾1, . . . , ¾n - ¾n-1, . . . sÄ… niezależne o tym samym rozkÅ‚adzie
wykÅ‚adniczym E(µ).
17. Procesy stochastyczne: definicja. Procesy o przyrostach niezależnych.
Definicja. Procesem stochastycznym nazywamy rodzinÄ™ zmiennych losowych X(t) = X(t, É)
określonych na tej samej przestrzeni probabilistycznej (&!, F, P) i zależnych od parametru t
przyjmującego wartości z pewnego zbioru T. Oznaczamy: ,X(t), t " T}.
Jeśli T = N , to proces stochastyczny jest zwykłym ciągiem zmiennych losowych: ,X(1), . . . , X(n), . . .-.
Zazwyczaj zbiór T interpretujemy jako czas. Wyróżniamy procesy stochastyczne z czasem dyskretnym
(gdy T jest zbiorem skooczonym lub nieskooczonym, ale przeliczalnym) i procesy stochastyczne z
czasem ciągłym (gdy T jest zbiorem nieskooczonym i nieprzeliczalnym).
Jako proces stochastyczny można rozpatrywad np ruch cząstki gazu, poziom wody w zbiorniku,
wahania skrzydła samolotu itp.
Proces stochastyczny jest funkcjÄ… dwóch zmiennych: t " T, É " &!. JeÅ›li t " T jest ustalone, to mamy
zmiennÄ… losowÄ… X(t, ·) okreÅ›lonÄ… na &!. JeÅ›li É " &! jest ustalone, to mamy zwykÅ‚Ä… funkcjÄ™ X(·, É)
określoną na T, która nazywa się realizacją procesu stochastycznego lub trajektorią procesu
stochastycznego.
Definicja. Proces stochastyczny {X(t), t " T} nazywamy procesem stochastycznym o przyrostach
niezależnych, jeśli dla każdego n " N i każdego naboru t0 < t1 < . . . < tn, ti " T, zmienne losowe X(t0),
X(t1) - X(t0), . . . , X(tn) - X(tn-1) są niezależne.
Jeśli T = *0, a+ lub T = *0, +"), to zazwyczaj t0 = 0. Zmienna losowa X(0) nazywa się początkową
wartością procesu stochastycznego, a jej rozkład - rozkładem początkowym. Dalej dla uproszczenia
będziemy zakładad, że X(0) = 0 z prawdopodobieostwem 1.
16. Informacja i entropia
Przypuśdmy, że wykonujemy pewne doświadczenie, przy czym zdarzenie A może zajśd z
prawdopodobieostwem 0,99. W tej sytuacji naturalnie uważad, że zajście zdarzenia A nie niesie w
sobie wielkiej informacji, zaś zajście zdarzenia Ac niesie w sobie znaczną informację, gdyż nie
spodziewaliśmy się go.
Niech (&!, F, P) będzie pewną przestrzenią probabilistyczną, A, B " F ; P(A) > 0, P(B) > 0.
Definicja. Ilością informacji zawartej w zdarzeniu B w stosunku do zdarzenia A nazywamy liczbę
natomiast ilością informacji zawartej w zdarzeniu A nazywamy liczbę
I(A) := I(A|A) = - log P(A) > 0.
Widzimy, że im mniejsze jest P(A), tym większe jest I(A). W określeniu informacji zazwyczaj stosuje się
logarytm przy podstawie 2.
Jak Å‚atwo sprawdzid, I(A|B) = I(B|A).
Jeśli zdarzenia A i B są niezależne, to
" I(A|B) = I(B|A) = 0;
" I(A )" B) = I(A) + I(B).
Entropia doświadczalna
Definicja. Informacją otrzymaną przez nas w wyniku doświadczenia G nazywamy dyskretną zmienną
losową XG przyjmującą wartośd - logPj , jeśli zaszło Aj , j = 1, . . . , N. Wartośd oczekiwana tej
informacji, czyli
nosi nazwę entropii doświadczenia G (oznaczamy H(G)). Ponieważ -pj log pj 0, gdy pj 0, to
kładziemy
-pj log pj = 0, gdy pj = 0. Oczywiście też, że
-pj log pj = 0, gdy pj = 1.
Entropia doświadczenia jest w pewnym sensie miarą jego nieokreśloności. Niech doświadczenie ma 2
możliwe wyniki A1 i A2 o prawdopodobieostwach odpowiednio p i 1 - p. Entropia takiego
doświadczenia wynosi
przy czym p = 1/2 jest punktem maksimum funkcji f, ( 1/2 ) = 1. Ten punkt odpowiada największej
nieokreśloności doświadczenia G. Jeśli p maleje do 0 (lub rośnie do 1), to nieokreślonośd maleje do 0.
Własności entropii.
3. Niech G1 i G2 będą dwoma niezależnymi doświadczeniami o wynikach odpowiednio A1, . . . , AN i
prawdopodobieostwach p1, . . . , pN oraz B1, . . . , BM i prawdopodobieostwach q1, . . . , qM.
KombinujÄ…c wyniki tych dwóch doÅ›wiadczeo otrzymamy nowe doÅ›wiadczenie G = G1 × G2 o
wynikach A1 )" B1, A1 )" B2, . . . , AN )" BM i prawdopodobieostwach p1q1, p1q2, . . . , pNqM.
Informacja XG, otrzymana w wyniku tego doświadczenia, jest zmienną losową przyjmującą wartości -
log piqj z prawdopodobieostwami piqj, i = 1, . . . N; j = 1, . . . , M. Ale ten sam rozkład ma suma
dwóch niezależnych zmiennych losowych XG1 + XG2 odpowiadających informacjom doświadczeo G1
i G2. Przy tym, oczywiście, H(G) = H(G1) + H(G2).
15. Testy dotyczące wartości oczekiwanej.
2. Określamy ą " (0, 1).
3. Rozważamy trzy sytuacje:
3a. cecha ma rozkład normalny, wariancja à 2 jest znana;
3b. cecha ma rozkład normalny, wariancja à 2 nie jest znana;
3c. cecha ma rozkład dowolny, ale n jest duże.
3a. JeÅ›li H0 jest prawdziwa, to {xi} - niezależne zmienne losowe o rozkÅ‚adzie N(¸0, Ã2 ) Ò! XÅ›r ma
rozkład
Postad zbioru krytycznego K zależy od postaci hipotezy alternatywnej H1. Pod tym względem
rozróżniamy:
dwustronny obszar krytyczny
3b. Statystyka testowa ma postad przy prawdziwości hipotezy H0 ma ona rozkład
Studenta o (n-1) stopniach swobody.
Obszary krytyczne:
3c. Statystyka testowa ma postad przy prawdziwości hipotezy H0 ma ona, w
przybliżeniu, rozkład N(0, 1).
14. Testowanie hipotez statystycznych. Ogólny schemat: wybór hipotez, błędy I
i II rodzajów, obszar krytyczny
Przez hipotezę statystyczną rozumiemy, najogólniej mówiąc, pewną wypowiedz
na temat rozkładu
interesujÄ…cej nas cechy. Hipotezy dzielimy na parametryczne i nieparametryczne.
Testem statystycznym będziemy nazywad sposób postępowania, który prowadzi do podjęcia decyzji.
Ogólny schemat postępowania.
1. Formułujemy dwie wzajemnie wykluczające się hipotezy: H0 (zerowa) i H1 (alternatywna).
2. Określamy poziom istotności testu ą " (0, 1) (standardowo ą = 0,05). Jest to prawdopodobieostwo
popełnienia błędu I rodzaju.
BÅ‚Ä…d I rodzaju - prawdziwa jest H0, a my jÄ… odrzucamy.
BÅ‚Ä…d II rodzaju - prawdziwa jest H1, a my decydujemy na rzecz H0.
Pożądane jest, by prawdopodobieostwa popełnienia błędów obu rodzajów były jak najmniejsze.
Okazuje się, że tego nie da się zrobid jednocześnie. Wobec tego, postępujemy tak, że przede
wszystkim kontrolujemy prawdopodobieostwo popełnienia błędu I rodzaju (hipotezy oznaczamy w
ten sposób, aby popełnienie błędu I rodzaju miało gorsze skutki).
3. Wybieramy statystykę (nazywamy ją statystyką testową), której rozkład potrafimy określid (nie
może on zależed od nieznanych parametrów) przy założeniu prawdziwości hipotezy H0. Zgodnie z
tym rozkładem oraz przyjętą wartością ą określamy tzw. zbiór krytyczny K.
Jest to podzbiór R taki, że prawdopodobieostwo wpadnięcia do K zmiennej losowej o określonym
wyżej rozkładzie wynosi właśnie ą (czyli jest bardzo małe).
5. Jeśli obliczona na podstawie próbki wartośd statystyki testowej wpada do K, to hipotezę H0
odrzucamy (bo zaszło zdarzenie, które nie powinno zachodzid, jeśli H0 jest prawdziwa). Jeśli
obliczona wartośd statystyki testowej nie wpada do K, to nie mamy podstaw do odrzucenia H0.
13. Konstrukcja przedziałów ufności dla różnych przypadków.
Konstrukcja przedziałów ufności dla przypadków:
1. cecha ma rozkład normalny, wariancja à 2 jest znana;
2. cecha ma rozkład normalny, wariancja à 2 nie jest znana;
3. cecha ma rozkład dowolny, ale n jest duże
Estymator przedziaÅ‚owy ¸ ma zatem postad:
DÅ‚ugoÅ›d tego przedziaÅ‚u ufnoÅ›ci jest nielosowa. Od czego zależy ta dÅ‚ugoÅ›d przedziaÅ‚u? JeÅ›li à jest
ustalone, to jedynie od poziomu 1-ą i rozmiaru próbki n. Aby zwiększyd precyzję estymatora musimy
albo zmniejszyd 1 - ą, co nie jest rozsądne, albo zwiększyd n.
zamiast rozkładu N(0, 1) 
rozkÅ‚ad Studenta o (n - 1) stopniach swobody. Estymator przedziaÅ‚owy ¸:
Tutaj t1-ą/2,n-1 jest taką liczbą, że
Długośd tego przedziału ufności jest losowa . Długośd tego przedziału zależy wyłącznie od 1 - ą i n w
taki sam sposób, jak wyżej.
3. (estymator przybliżony) W porównaniu z poprzednim przypadkiem, zamiast rozkładu Studenta
ponownie bierzemy rozkÅ‚ad N(0, 1). Przybliżony estymator przedziaÅ‚owy ¸ ma postad:
Przy zaÅ‚ożeniu, że cecha ma rozkÅ‚ad normalny i np. à = 0,05 stosujemy przedziaÅ‚ ufnoÅ›ci z punktu 1.
JeÅ›li nie znamy Ã, to stosujemy przedziaÅ‚ ufnoÅ›ci z punktu 2.
12. Estymacja punktowa i przedziałowa wartości oczekiwanej.
Mamy populację generalną i interesujemy się pewną cechą X jednostek statystycznych, a dokładniej
pewnÄ… charakterystykÄ… liczbowÄ… ¸ tej cechy (np. Å›redniÄ… wartoÅ›ciÄ… tej cechy).
Przeprowadzamy doświadczenia, w wyniku których mamy próbę losową (x1, . . . , xn). Na podstawie
obserwacji chcemy odpowiedzied na pewne pytania na temat nieznanego ¸ " Åš.
Celem estymacji parametru ¸ jest odpowiedz
na pytanie: ile mniej wiÄ™cej wynosi ¸ ?
SÄ… dwa podstawowe sposoby estymacji ¸:
1. estymacja punktowa (wynik estymacji brzmi: ¸ wynosi mniej wiÄ™cej, powiedzmy, ¸0);
2. estymacja przedziaÅ‚owa (wynik estymacji brzmi: ¸ leży w przedziale, powiedzmy, *¸-, ¸+] z
określoną dozą pewności, czyli z prawdopodobieostwem 1-ą zadanym z góry).
Definicja. Estymatorem punktowym parametru ¸ nazywamy dowolnÄ… statystykÄ™ T(x1, . . . , xn), która
naszym zdaniem dobrze przybliża wartoÅ›d ¸.
Definicja. Estymatorem przedziaÅ‚owym (przedziaÅ‚em ufnoÅ›ci) parametru ¸ na poziomie ufnoÅ›ci 1 - Ä…
nazywamy przedziaÅ‚ *¸-, ¸++, kooce którego sÄ… statystykami
(czyli ¸- = ¸-(x1, . . . , xn), ¸+ = ¸+(x1, . . . , xn)), taki, że dla dowolnego ¸ zachodzi
Zawsze staramy się skonstruowad przedział ufności, dla którego powyższe prawdopodobieostwo jest
równe 1-ą,
11. Liczbowe charakterystyki zmiennych losowych.
Definicja. Wartością oczekiwaną zmiennej losowej X nazywamy liczbę
gdy X ma rozkład dyskretny wyznaczony przez ,(xk, pk), k = 1, 2, . . .-, oraz liczbę
gdy X ma rozkład ciągły o gęstości f.
Jeśli zmienna losowa X posiada wartośd oczekiwaną, to zmienna losowa aX + b dla dowolnych a, b " R
też posiada wartośd oczekiwaną oraz E(aX + b) = aEX +b.
JeÅ›li zmienne losowe X1, X2, . . . , Xn posiadajÄ… wartoÅ›ci oczekiwane, to zmienna losowa X1+X2+· ·
·+Xn też posiada wartoÅ›d oczekiwanÄ… oraz E(X1 + X2 + · · · + Xn) = EX1 + EX2 + · · · + EXn.
Definicja. WariancjÄ… zmiennej losowej X nazywamy liczbÄ™
VarX = E(X-EX) 2 = EX2-(EX) 2 (o ile istnieje).
Jeśli zmienna losowa X posiada wariancję, to zmienna losowa aX + b dla dowolnych a, b " R też
posiada wariancjÄ™ oraz Var(aX + b) = a2VarX.
Definicja. Zmienne losowe X1, X2, . . . , Xn nazywamy niezależnymi, jeśli dla dowolnych zbiorów B1,
B2, . . . , Bn " (R) zachodzi
P(X1 " B1, X2 " B2, . . . , Xn " Bn) = P(X1 " B1)P(X2 " B2)·. . .·P(Xn " Bn).
Dla niezależnych zmiennych losowych:
E(X1X2 . . . Xn) = EX1EX2 · . . . · EXn;
Var(X1+X2+. . .+Xn)=VarX1+VarX2+. . .+VarXn
10. Dystrybuanta zmiennej losowej. Własności dystrybuanty.
Definicja. Dystrybuantą zmiennej losowej X nazywamy funkcję FX : R *0, 1+ określoną wzorem
Dystrybuanta w sposób jednoznaczny określa rozkład zmiennej losowej.
Dystrybuanta jest funkcją schodkowa, nieciągłą.
Na rysunku wartości zmiennej losowej (x1 < . . . < x5 )posiadają
jednakowe prawdopodobieostwo ( 1/5 )
Dystrybuanta jest funkcją ciągłą
Jeśli dystrybuanta ma pochodną w każdym punkcie, to ta pochodna jest gęstością odpowiadającą
temu rozkładowi, czyli F 2 (x) = f(x).
Przydatny wzór:
Własności dystrybuanty:
(i) FX jest funkcjÄ… niemalejÄ…cÄ…;
(ii) FX jest funkcją prawostronnie ciągłą (czyli ciągła z prawej strony i niekoniecznie ciągła ze strony
lewej);