dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 1

6. Prawa wielkich liczb i twierdzenia graniczne

6.1. Rodzaje zbieżności ciągów zmiennych losowych

• Niech X X

1,

2,  oraz

X będą zmiennymi określonymi na przestrzeni probabilistycznej (Ω , Α , P) . Zdefiniujemy teraz różne rodzaje zbieżności ciągu zmiennych losowej { X , n

n

1} do granicy X. Podamy też związki zachodzące między tymi typami zbieżności.

Zbieżność punktowa

Mówimy, że ciąg zmiennych losowych { X , n

n

1} jest zbieżny do zmiennej

losowej X punktowo (lub po prostu zbieżny), jeżeli lim X n= X  dla każdego n  ∞

∈ .

W rachunku prawdopodobieństwa zbieżność punktowa nie odgrywa szczególnej roli (jest bardzo ważna w analizie matematycznej)

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 2

Zbieżność prawie pewna

Mówimy, że ciąg zmiennych losowych { X , n

n

1} jest zbieżny prawie pewnie

(prawie wszędzie, prawie zawsze, z prawdopodobieństwem 1) do zmiennej losowej X, jeżeli P {∈ : lim X n= X }=1 .

n ∞

Zbieżność tę oznaczamy symbolem X p.p. X lub X p.w. X lub X a.s. X lub n 

n 

n 

X 1 X lub X

n 

n  X z prawdopodobieństwem 1.

Oczywiście, jeżeli ciąg zmiennych losowych { X , n

n

1} jest zbieżny punktowo do

zmiennej losowej X, to jest on również prawie pewnie zbieżny do zmiennej losowej X.

Stwierdzenie odwrotne nie jest prawdziwe.

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 3

Zbieżność według prawdopodobieństwa

Mówimy, że ciąg zmiennych losowych { X , n

n

1} jest zbieżny według

prawdopodobieństwa do zmiennej losowej X, jeżeli

dla każdego 0 P {∈ :∣ X n− X ∣} 0 , gdy n ∞ .

Zbieżność tę oznaczamy symbolem X P X .

n 

Zbieżność słaba (według rozkładu)

Mówimy, że ciąg zmiennych losowych { X , n

n

1} jest zbieżny słabo (według

rozkładu) do zmiennej losowej X, jeżeli lim F n x= F  x w każdym punkcie x ciągłości n  ∞

funkcji F, gdzie F n jest dystrybuantą zmiennej losowej X n , n=1,2 ,  , a F jest dystrybuantą zmiennej losowej X.

Zbieżność tę oznaczamy symbolem X

D

n ⇒ X lub X

X .

n 

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 4

Zbieżność w Lp (według p-tej średniej) Mówimy, że ciąg zmiennych losowych { X , n

n

1} jest zbieżny w Lp do zmiennej

losowej X, jeżeli

E∣ X n− X∣ p 0 , gdy n ∞ , gdzie 0 p∞ .

Zbieżność tę oznaczamy symbolem X Lp X .

n 

Spełnione są następujące implikacje:

( X p.p. X ) ⇒ ( X P X )

n 

n 

(

P

X Lp X ) ⇒ ( X

X )

n 

n 

( X P X ) ⇒ ( X D X )

n 

n 

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 5

6.2. Prawa wielkich liczb

Niech { X , n

n

1} będzie dowolnym ciągiem zmiennych losowych. Niech n

S

X oznacza sumę ( n-tą sumę częściową) zmiennych losowych X , X ,  , X

n=∑

i

1

2

n .

i=1

Będziemy mówić, że ciąg zmiennych losowych { X , n n

1} spełnia słabe prawo

wielkich liczb (SPWL), jeżeli istnieją ciągi liczb rzeczywistych { A , n n

1}

i { B , n

n

1} i Bn0 , n1 , takie, że

Sn− An P0 ,gdy n∞ .

Bn

Będziemy mówić, że ciąg zmiennych losowych { X , n

n

1} spełnia mocne prawo

wielkich liczb (MPWL), jeżeli istnieją ciągi liczb rzeczywistych { A , n n

1}

i { B , n

n

1} i Bn0 , n1 , takie, że

Sn− An p.p.

 0 , gdy n ∞ .

Bn

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 6

Oczywiście jeśli ciąg zmiennych losowych { X , n

n

1} spełnia MPWL to spełnia

n

również SPWL. W szczególności przyjmuje się, że A

EX i B

n= ES n=∑

i

n= n .

i=1

Twierdzenie 6.1. (SPWL Bernoulliego)

Jeżeli p jest prawdopodobieństwem sukcesu w ciągu n niezależnych doświadczeń Bernoulliego, natomiast Sn jest liczbą sukcesów, czyli P  Sn= k = n pk1− p n− k , k

k =0,1, 2 ,  , n , to

Sn P p , gdy n∞ .

n

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 7

Twierdzenie 6.2. ( SPWL Czebyszewa)

Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych 1 n

takim, że EX

2

2

n= an , E  X

∑  0 , gdy n

n− an 2= n∞ , n1 . Jeżeli

 ∞ ,

n 2

i

i=1

to

Sn− ES n P0 , gdy n∞ .

n

Zauważmy, że jeżeli wariancje 2 są wspólnie ograniczone, tzn. istnieje takie i

2 ,

1 n

1 n

n2 2

że σ2

∑ 2 ∑ 2

=

 0 , gdy n

i ≤σ 2 , dla i1 , to warunek

 ∞

n 2

i

n

i=1

n 2 i=1

n 2

jest spełniony, czyli zachodzi SPWL.

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 8

Twierdzenie 6.3. (SPWL Poissona)

Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych takim, że P  X n=1= pn , P  X n=0=1− pn , 0 pn1 , n1 . Wtedy Sn− ES n P0 , gdy n∞ .

n

Twierdzenie 6.4. (SPWL Chinczyna)

Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie takim, że E∣ X 1∣∞ i EX 1= m . Wtedy S

S

S

n− ES n

P

P

= n − m  0 , czyli

n  m , gdy n ∞ .

n

n

n

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 9

Twierdzenie 6.5. (MPWL Borela)

S

Jeżeli P  S

n p.p.

n= k = n pk 1− p n− k , k p , gdy n

k

=0, 1, 2 ,  , n , to



 ∞ .

n

Twierdzenie 6.6. (MPWL Kołmogorowa)

Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych.

Niech { b , n

n

1} będzie dowolnym ciągiem niemalejących liczb rzeczywistych takim,

∞

VarX

że b

n ∞

n  ∞ , gdy n  ∞ . Jeżeli ∑

, to

2

n=1

bn

Sn− ESn p.p.

 0 , gdy n ∞ .

b 2 n

∞

VarX

S

W szczególności, jeżeli ∑

n

p.p.

∞ , to

n− ES n  0 , gdy n ∞ .

n

n

=1

n 2

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 10

Twierdzenie 6.7. (MPWL Kołmogorowa)

Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, takim, że E∣ X 1∣∞ i EX 1= m . Wtedy S

S

S

n− ES n

p.p.

p.p.

= n − m  0 , czyli

n  m , gdy n ∞ .

n

n

n

6.3. Twierdzenia graniczne

Twierdzenia graniczne dotyczą granicznego zachowania się rozkładów sum zmiennych losowych. Dzielimy je na dwie grupy:

– lokalne twierdzenia graniczne;

– integralne twierdzenia graniczne.

Lokalne twierdzenia graniczne dotyczą granicznego zachowania się ciągu funkcji gęstości lub ciągu prawdopodobieństw.

Integralne twierdzenia graniczne dotyczą rozkładów sum zmiennych losowych.

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 11

Sn− An

Dokładniej, twierdzenia te podają warunki na to, aby

⇒ X

B

,

n

gdzie X jest pewną zmienną losową, S

, n

n= X 1 X n , n1 , { An

1} ,

{ B , n

n

1} , Bn0 są pewnymi ciągami liczb rzeczywistych.

Szczególnie ważną rolę odgrywają twierdzenia podające warunki na zbieżność (według rozkładu) do zmiennej losowej o standardowym rozkładzie normalnym N 0,1 .

Twierdzenia te nazywamy centralnymi twierdzeniami granicznymi.

Twierdzenie 6.7. (Poissona)

Jeżeli P  S

k

n= k = n p 1− p

k

n

n  n− k , k =0, 1, 2, ... , n , 0 pn1

oraz npn 0 , gdy n∞ , to

lim P

 k

 S

e− , k =0, 1,2, ... .

n= k =

n ∞

k!

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 12

Twierdzenie 6.8. (Centralne twierdzenie graniczne Lindeberga-Levy'ego) Niech { X , n

n

1} będzie dowolnym ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie, takim, że EX 1= m , E  X 1− EX 12=2∞ .

Wtedy dla dowolnego x ∈ R

P( Sn− ESn⩽ x)= P( Sn− nm⩽ x)→Φ( x) , gdy n∞ ,

√ VarS

σ √ n

n

gdzie  x jest dystrybuantą standardowego rozkładu normalnego.

Twierdzenie 6.9. (Twierdzenie de Moivre'a-Laplace'a)

Jeżeli P  Sn= k = n pk1− p n− k , k k

=0,1, 2,... , n , to dla dowolnych a , b∈ R , S − np

a< b , lim P a n

 b= b− a

n ∞

 npq

dr Tomasz Walczyński – Statystyka (I rok Chemii, specjalności ChK, ChPiS, ACh) - Wykład 6. cz. II (26.03.2014 r.) 13

6.4. Podstawowe nierówności

Podamy teraz podstawowe nierówności stosowane w rachunku prawdopodobieństwa.

E∣ X k∣

Nierówność Markowa: dla każdego ε>0 P(∣ X∣⩾ε)<

, k >0 .

ε k

E

Nierówność Czebyszewa: dla każdego

( X − EX )2

VarX

ε>0 P(∣ X − EX∣⩾ε)≤

=

.

ε2

ε2

Nierówność Jensena: E  X   EX  , gdzie  jest funkcją wypukłą 1

1

1

1

Nierówność Höldera: E∣ XY ∣ E∣ X∣ p p  E∣ Y∣ q q jeżeli + =1, p>1, q>1.

p q

Nierówność Schwartza: ( E∣( XY )∣)2⩽ E∣ X∣2 E∣ Y∣2

1

1

Nierówność Lapunowa:  E∣ X∣ a a E∣ Y∣ b b , 0 a b∞