dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 1
6. Prawa wielkich liczb i twierdzenia graniczne
6.1. Rodzaje zbieżności ciągów zmiennych losowych
• Niech X X
1,
2, oraz
X będą zmiennymi określonymi na przestrzeni probabilistycznej (Ω , Α , P) . Zdefiniujemy teraz różne rodzaje zbieżności ciągu zmiennych losowej { X , n
n
1} do granicy X. Podamy też związki zachodzące między tymi typami zbieżności.
Zbieżność punktowa
Mówimy, że ciąg zmiennych losowych { X , n
n
1} jest zbieżny do zmiennej
losowej X punktowo (lub po prostu zbieżny), jeżeli lim X n= X dla każdego n ∞
∈ .
W rachunku prawdopodobieństwa zbieżność punktowa nie odgrywa szczególnej roli (jest bardzo ważna w analizie matematycznej)
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 2
Zbieżność prawie pewna
Mówimy, że ciąg zmiennych losowych { X , n
n
1} jest zbieżny prawie pewnie
(prawie wszędzie, prawie zawsze, z prawdopodobieństwem 1) do zmiennej losowej X, jeżeli P {∈ : lim X n= X }=1 .
n ∞
Zbieżność tę oznaczamy symbolem X p.p. X lub X p.w. X lub X a.s. X lub n
n
n
X 1 X lub X
n
n X z prawdopodobieństwem 1.
Oczywiście, jeżeli ciąg zmiennych losowych { X , n
n
1} jest zbieżny punktowo do
zmiennej losowej X, to jest on również prawie pewnie zbieżny do zmiennej losowej X.
Stwierdzenie odwrotne nie jest prawdziwe.
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 3
Zbieżność według prawdopodobieństwa
Mówimy, że ciąg zmiennych losowych { X , n
n
1} jest zbieżny według
prawdopodobieństwa do zmiennej losowej X, jeżeli
dla każdego 0 P {∈ :∣ X n− X ∣} 0 , gdy n ∞ .
Zbieżność tę oznaczamy symbolem X P X .
n
Zbieżność słaba (według rozkładu)
Mówimy, że ciąg zmiennych losowych { X , n
n
1} jest zbieżny słabo (według
rozkładu) do zmiennej losowej X, jeżeli lim F n x= F x w każdym punkcie x ciągłości n ∞
funkcji F, gdzie F n jest dystrybuantą zmiennej losowej X n , n=1,2 , , a F jest dystrybuantą zmiennej losowej X.
Zbieżność tę oznaczamy symbolem X
D
n ⇒ X lub X
X .
n
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 4
Zbieżność w Lp (według p-tej średniej) Mówimy, że ciąg zmiennych losowych { X , n
n
1} jest zbieżny w Lp do zmiennej
losowej X, jeżeli
E∣ X n− X∣ p 0 , gdy n ∞ , gdzie 0 p∞ .
Zbieżność tę oznaczamy symbolem X Lp X .
n
Spełnione są następujące implikacje:
( X p.p. X ) ⇒ ( X P X )
n
n
(
P
X Lp X ) ⇒ ( X
X )
n
n
( X P X ) ⇒ ( X D X )
n
n
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 5
6.2. Prawa wielkich liczb
Niech { X , n
n
1} będzie dowolnym ciągiem zmiennych losowych. Niech n
S
X oznacza sumę ( n-tą sumę częściową) zmiennych losowych X , X , , X
n=∑
i
1
2
n .
i=1
Będziemy mówić, że ciąg zmiennych losowych { X , n n
1} spełnia słabe prawo
wielkich liczb (SPWL), jeżeli istnieją ciągi liczb rzeczywistych { A , n n
1}
i { B , n
n
1} i Bn0 , n1 , takie, że
Sn− An P0 ,gdy n∞ .
Bn
Będziemy mówić, że ciąg zmiennych losowych { X , n
n
1} spełnia mocne prawo
wielkich liczb (MPWL), jeżeli istnieją ciągi liczb rzeczywistych { A , n n
1}
i { B , n
n
1} i Bn0 , n1 , takie, że
Sn− An p.p.
0 , gdy n ∞ .
Bn
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 6
Oczywiście jeśli ciąg zmiennych losowych { X , n
n
1} spełnia MPWL to spełnia
n
również SPWL. W szczególności przyjmuje się, że A
EX i B
n= ES n=∑
i
n= n .
i=1
Twierdzenie 6.1. (SPWL Bernoulliego)
Jeżeli p jest prawdopodobieństwem sukcesu w ciągu n niezależnych doświadczeń Bernoulliego, natomiast Sn jest liczbą sukcesów, czyli P Sn= k = n pk1− p n− k , k
k =0,1, 2 , , n , to
Sn P p , gdy n∞ .
n
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 7
Twierdzenie 6.2. ( SPWL Czebyszewa)
Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych 1 n
takim, że EX
2
2
n= an , E X
∑ 0 , gdy n
n− an 2= n∞ , n1 . Jeżeli
∞ ,
n 2
i
i=1
to
Sn− ES n P0 , gdy n∞ .
n
Zauważmy, że jeżeli wariancje 2 są wspólnie ograniczone, tzn. istnieje takie i
2 ,
1 n
1 n
n2 2
że σ2
∑ 2 ∑ 2
=
0 , gdy n
i ≤σ 2 , dla i1 , to warunek
∞
n 2
i
n
i=1
n 2 i=1
n 2
jest spełniony, czyli zachodzi SPWL.
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 8
Twierdzenie 6.3. (SPWL Poissona)
Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych takim, że P X n=1= pn , P X n=0=1− pn , 0 pn1 , n1 . Wtedy Sn− ES n P0 , gdy n∞ .
n
Twierdzenie 6.4. (SPWL Chinczyna)
Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie takim, że E∣ X 1∣∞ i EX 1= m . Wtedy S
S
S
n− ES n
P
P
= n − m 0 , czyli
n m , gdy n ∞ .
n
n
n
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 9
Twierdzenie 6.5. (MPWL Borela)
S
Jeżeli P S
n p.p.
n= k = n pk 1− p n− k , k p , gdy n
k
=0, 1, 2 , , n , to
∞ .
n
Twierdzenie 6.6. (MPWL Kołmogorowa)
Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych.
Niech { b , n
n
1} będzie dowolnym ciągiem niemalejących liczb rzeczywistych takim,
∞
VarX
że b
n ∞
n ∞ , gdy n ∞ . Jeżeli ∑
, to
2
n=1
bn
Sn− ESn p.p.
0 , gdy n ∞ .
b 2 n
∞
VarX
S
W szczególności, jeżeli ∑
n
p.p.
∞ , to
n− ES n 0 , gdy n ∞ .
n
n
=1
n 2
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 10
Twierdzenie 6.7. (MPWL Kołmogorowa)
Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, takim, że E∣ X 1∣∞ i EX 1= m . Wtedy S
S
S
n− ES n
p.p.
p.p.
= n − m 0 , czyli
n m , gdy n ∞ .
n
n
n
6.3. Twierdzenia graniczne
Twierdzenia graniczne dotyczą granicznego zachowania się rozkładów sum zmiennych losowych. Dzielimy je na dwie grupy:
– lokalne twierdzenia graniczne;
– integralne twierdzenia graniczne.
Lokalne twierdzenia graniczne dotyczą granicznego zachowania się ciągu funkcji gęstości lub ciągu prawdopodobieństw.
Integralne twierdzenia graniczne dotyczą rozkładów sum zmiennych losowych.
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 11
Sn− An
Dokładniej, twierdzenia te podają warunki na to, aby
⇒ X
B
,
n
gdzie X jest pewną zmienną losową, S
, n
n= X 1 X n , n1 , { An
1} ,
{ B , n
n
1} , Bn0 są pewnymi ciągami liczb rzeczywistych.
Szczególnie ważną rolę odgrywają twierdzenia podające warunki na zbieżność (według rozkładu) do zmiennej losowej o standardowym rozkładzie normalnym N 0,1 .
Twierdzenia te nazywamy centralnymi twierdzeniami granicznymi.
Twierdzenie 6.7. (Poissona)
Jeżeli P S
k
n= k = n p 1− p
k
n
n n− k , k =0, 1, 2, ... , n , 0 pn1
oraz npn 0 , gdy n∞ , to
lim P
k
S
e− , k =0, 1,2, ... .
n= k =
n ∞
k!
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 12
Twierdzenie 6.8. (Centralne twierdzenie graniczne Lindeberga-Levy'ego) Niech { X , n
n
1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, takim, że EX 1= m , E X 1− EX 12=2∞ .
Wtedy dla dowolnego x ∈ R
P( Sn− ESn⩽ x)= P( Sn− nm⩽ x)→Φ( x) , gdy n∞ ,
√ VarS
σ √ n
n
gdzie x jest dystrybuantą standardowego rozkładu normalnego.
Twierdzenie 6.9. (Twierdzenie de Moivre'a-Laplace'a)
Jeżeli P Sn= k = n pk1− p n− k , k k
=0,1, 2,... , n , to dla dowolnych a , b∈ R , S − np
a< b , lim P a n
b= b− a
n ∞
npq
dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 13
6.4. Podstawowe nierówności
Podamy teraz podstawowe nierówności stosowane w rachunku prawdopodobieństwa.
E∣ X k∣
Nierówność Markowa: dla każdego ε>0 P(∣ X∣⩾ε)<
, k >0 .
ε k
E
Nierówność Czebyszewa: dla każdego
( X − EX )2
VarX
ε>0 P(∣ X − EX∣⩾ε)≤
=
.
ε2
ε2
Nierówność Jensena: E X EX , gdzie jest funkcją wypukłą 1
1
1
1
Nierówność Höldera: E∣ XY ∣ E∣ X∣ p p E∣ Y∣ q q jeżeli + =1, p>1, q>1.
p q
Nierówność Schwartza: ( E∣( XY )∣)2⩽ E∣ X∣2 E∣ Y∣2
1
1
Nierówność Lapunowa: E∣ X∣ a a E∣ Y∣ b b , 0 a b∞