Podstawy teorii miary probabilistycznej
1.1
Zbiory mierzalne – σ–ciało zbiorów
Załóżmy, że mamy jakiś zbiór Ω. Niech F będzie taką rodziną podzbiorów Ω, że:
• Ω ∈ F
• A ∈ F ⇒ A ∈ F
• ∀i∈IAi ∈ F ⇒
A
i∈I
i ∈ F
Wtedy rodzinę F nazywamy σ–ciałem zbiorów.
Gdy dana jest pewna rodzina A podzbiorów zbioru Ω, σ–ciałem generowanym przez tą rodzinę, nazywamy naj-mniejsze (w sensie zawierania) σ–ciało zawierające A i oznaczamy σ( A). Można udowodnić, że σ( A) jest przekrojem wszystkich σ–ciał zawierających A. Gdy A ma n elementów i są one parami rozłączne, oraz spełniają warunek
n
i=1 Ai = Ω to σ( A) ma 2 n elementów.
1.2
Zbiory borelowskie
Niech Ω = R. Wówczas σ–ciało generowane przez wszystkie zbiory otwarte zawarte w R oznaczmy przez B(R) i nazywamy rodziną zbiorów borelowskich. Rodzina ta zawiera w szczególności wszystkie przedziały ( a, b).
Funkcję f : R → R nazywamy funkcją borelowską, gdy przeciwobrazy zbiorów postaci ( −∞, a) są borelowskie.
W szczególności wszystkie funkcje ciągłe, są borelowskie (ale nie wszystkie funkcje borelowskie są ciągłe).
1.3
Miara probabilistyczna
Niech dany będzie pewien zbiór Ω i σ–ciało F. Funkcję P : F → R+, spełniającą:
• P ( ∅) = 0,
• P (
A
P ( A
i∈I
i) =
i∈I
i) dla parami rozłącznych
zbiorów Ai.
nazywamy miarą. Jeśli dodatkowo spełniony jest warunek: P ( X) = 1 to P nazywamy miarą probabilistyczną lub prawdopodobieństwem.
Trójkę (Ω , F, P ) nazywamy przestrzenią probabilistyczną.
2
Rozkład prawdopodobieństwa
2.1
Rozkład dyskretny
Niech (X , F, P ) będzie przestrzenią probabilistyczną. Mówimy, że rozkład prawdopodobieństwa P jest dyskretny, jeśli istnieje co najwyżej przeliczalny zbiór A ∈ F taki, że P ( A) = 1.
2.2
Dystrybuanta rozkładu prawdopodobieństwa
Rozpatrzmy przestrzeń probabilistyczną (R , B(R) , P ). Funkcję F : R → R, daną wzorem: F ( t) = P (( −∞, t)) nazywamy dystrybuantą rozkładu P . Dystrybuanta posiada następujące własności:
• ∀t∈ R0 F ( t) 1,
• F ( −∞) = lim t→−∞ F ( t) = 0,
• F jest lewostronnie ciągła,
• F jest niemalejąca,
• F (+ ∞) = lim t→+ ∞ F ( t) = 1.
Punkty nieciągłości (punkty skokowe) F są tzw. nośnikami prawdopodobieństwa – tzn. prawdopodobieństwo każdego takiego punktu jest niezerowe. Jeśli rozkład prawdopodobieństwa jest dyskretny, to dystrybuanta jest ponadto stała między punktami skokowymi.
2.3
Rozkład ciągły
Mówimy, że miara probabilistyczna P określona na (R , B(R)) jest typu ciągłego, gdy istnieje funkcja f : R → R, taka,
że P ( A) =
f ( x) dx dla dowolnego A ∈ B(R). Funkcję f nazywamy gęstością miary P .
A
1
Własności gęstości miary probabilistycznej
• f( x) 0 prawie wszędzie (czyli zbiór punktów w
•
których to nie jest prawda, ma miarę równą 0).
R f ( x) dx = 1,
Każda funkcja f : R → R która spełnia te własności jest gęstością pewnego rozkładu prawdopodobieństwa.
Niech f będzie gęstością, a F dystrybuantą. Wtedy zachodzi:
x
F ( x) = P (( −∞, x)) =
f ( t) dt
−∞
Dystrybuanta rozkładu typu ciągłego jest funkcją ciągłą. W punktach ciągłości f istnieje pochodna dystrybuanty i zachodzi: f ( x) = F ( x).
Uwaga. Nie każda ciągła dystrybuanta jest dystrybuantą rozkładu typu ciągłego. Istnieją rozkłady które nie są ani ciągłe ani dyskretne.
3
Zmienna losowa
Zmienną losową
nazywamy dowolną funkcję X : Ω → R taką, że ∀x∈ R {ω : X( ω) < x} ∈ F. W przypadku gdy F = 2Ω, dowolna funkcja X : Ω → R jest zmienną losową.
3.1
Definicje podstawowe
Niech dana będzie przestrzeń probabilistyczna (Ω , F, P ), oraz pewna zmienna losowa X. Wówczas funkcja PX( A) =
P ( X− 1( A)) jest miarą probabilistyczną, oraz (R , B(R) , PX) jest przestrzenią probabilistyczną. Miarę PX nazywamy prawdopodobieństwem generowanym przez zmienną losową X.
Mając miarę PX odpowiadającą pewnej zmiennej losowej X możemy więc zdefiniować pojęcie dystrybuanty zmiennej losowej. Dystrybuantą zmiennej losowej X nazywamy funkcję FX : R → R daną wzorem1: FX( t) = PX(( −∞, t)) = P ( X− 1( −∞, t)) = P ( X < t) .
3.2
Dyskretna zmienna losowa
Zmienną losową X nazywamy zmienną typu dyskretnego, gdy istnieje co najwyżej przeliczalny zbiór B ∈ B(R), taki, że PX( B) = 1.
3.3
Ciągła zmienna losowa
Zmienną losową X zmienną typu ciągłego, gdy istnieje gęstość rozkładu prawdopodobieństwa PX.
3.4
Funkcja zmiennej losowej
Jeśli X jest zmienną losową, a g funkcją borelowską, to złożenie Y = g ◦ X jest również zmienną losową. Ponadto zachodzi:
PY ( B) = Pg◦X( B) = P ( {ω : g( X( ω)) ∈ B}) = P ( {ω : X( ω) ∈ g− 1( B) }) = PX( g− 1( B)) Ponadto jeśli X jest typu ciągłego to mamy:
FY ( y) =
fX( x) dx.
{x: g( x) <y}
Jeśli dodatkowo, wiemy że g jest różniczkowalna i ściśle rosnąca ( g( x) = 0), to:
y
FY ( y) =
( g− 1( t)) fX( g− 1( t)) dt
g− 1( −∞)
oraz
1
fY ( y) = fX( g− 1( y))( g− 1( y)) = fX( g− 1( y))
.
g( g− 1( y))
3.5
Niezależne zmienne losowe
Zmienne losowe X 1 , X 2 , . . . , Xn są niezależne jeżeli dla dowolnych zbiorów borelowskich B 1 , B 2 , . . . , Bn zachodzi: P ( X 1 = B 1 ∧ X 2 = B 2 ∧ . . . ∧ Xn = Bn) = P ( X 1 = B 1) P ( X 2 = B 2) · · · P ( Xn = Bn) 1Wzór podany jest na kilka sposobów – stosuje się zamiennie kilka równoważnych form zapisu.
2
Charakterystyki zmiennych losowych
3.6.1
Wartość oczekiwana
Wartością oczekiwaną zmiennej losowej X nazywamy liczbę EX.
W przypadku, gdy X jest zmienną typu ciągłego wartość oczekiwana ma wartość:
EX =
xipi.
i∈I
o ile szereg jest bezwzględnie zbieżny (jeśli nie jest to EX nie istnieje).
W przypadku, gdy X jest zmienną typu ciągłego o gęstości f , wartość oczekiwana wyraża się wzorem:
EX =
xf ( x) dx
R
i istnieje, gdy całka jest zbieżna.
Własności wartości oczekiwanej
• X 0 ⇒ EX 0
• |EX| E|X|
• dla a, b ∈ R zachodzi E( aX + bY ) = aEX + bEY
• dla a ∈ R zachodzi Ea = a
• E( X − EX) = 0
• E( XY ) = EX ∗ EY , gdy X i Y są niezależne Wartość oczekiwana z funkcji zmiennej losowej
Jeśli ϕ jest funkcją borelowską, a zmienna losowa X jest typu dyskretnego, to:
Eϕ( X) =
ϕ( xi) P ( X = xi)
i∈I
a gdy X jest typu ciągłego, o gęstości f , to:
Eϕ( X) =
ϕ( x) f ( x) dx
R
3.6.2
Wariancja
Wariancją zmiennej losowej X nazywamy liczbę V ar( X) daną wzorem: V ar( X) = EX 2 − ( EX)2.
W przypadku zmiennej losowej X typu dyskretnego zachodzi wzór: V ar( X) =
( x
i∈I
i − EX )2 pi.
Własności wariancji
• V ar( X) = 0 ⇐⇒ ∃cP ( X = c) = 1
• V ar( X) 0
• V ar( cX) = c 2 V ar( X) dla c ∈ R
• V ar( X ± Y ) = V ar( X) + V ar( Y ) gdy X i Y są
• V ar( X + c) = V ar( X)
niezależne
√
Liczbę
V arX nazywa się czasem odchyleniem standardowym i oznacza przez σ( X).
3.6.3
Kowariancja i współczynnik korelacji
Niech X, Y będą zmiennymi losowymi. Liczbę cov( X, Y ) = E[( X − EX)( Y − EY )] nazywamy kowariancją zmiennych X i Y . Kowariancję możemy wyliczyć również ze wzoru: cov( X, Y ) = EXY − EXEY . Zauważmy, że gdy X = Y to cov( X, Y ) = cov( X, X) = V ar( X).
TW. |cov( X, Y ) |
V ar( X) V ar( Y )
Ponadto zachodzi: cov( aX + b, cY + d) = ac·cov( X, Y ), cov( a 2
4
1 X 1 + a 2 X 2 , a 3 X 3 + a 4 X 4) =
i=1
j=3 aiaj cov( Xi, Xj ).
Liczbę ρ( X, Y ) =
cov( X,Y )
√
nazywamy współczynnikiem korelacji zmiennych X i Y .
V ar( X) V ar( Y )
Gdy ρ( X, Y ) = 0, to mówimy, że zmienne są nieskorelowane. Gdy ρ( X, Y ) = ± 1 to P ( X = aY + b) = 1 dla pewnych a, b ∈ R.
3
Inne charakterystyki liczbowe
Zmienna typu dyskretnego
Moment zwykły rzędu r αr = EXr =
xrp
i∈I
i
i
Moment centralny rzędu r μr = E( X − α 1) r =
( x
i∈I
i − α 1) rpi
Mediana każda liczba x 0 , 5 spełniająca warunki F ( x 0 , 5) 0 , 5 lim x→x F ( x);
p
p
0 , 5
xi<x 0 , 5
i 0 , 5
xix 0 , 5
i
Kwantyl rzędu p każda liczba xp, 0 < p < 1 spełniająca warunki F ( xp) p lim x→x F ( x); p
p
xi<xp
i p
p
xixp
i
Dominanta m 0 – punkt skokowy xk, różny od min( xi) i max( xi), dla którego p( xk) osiąga maksimum absolutne.
Zmienna typu ciągłego
Moment zwykły rzędu r αr = EXr = R xrf( x) dx
Moment centralny rzędu r μr = E( X − α 1) r = R( x − α 1) rf( x) dx Mediana F ( x 0 , 5) = 0 , 5
Kwantyl rzędu p F ( xp) = p
Dominanta m 0 – odcięta maksimum absolutnego gęstości.
3.7
Funkcja charakterystyczna
Funkcją charakterystyczną zmiennej losowej X nazywamy funkcję zespoloną ϕ : R → C daną wzorem ϕ( t) =
EeitX . W przypadku gdy X jest zmienną losową typu dyskretnego, funkcja charakterystyczna wyraża się wzorem:
ϕ( t) =
pkeitxk
k
W przypadku ciągłej zmiennej losowej X o gęstości f mamy natomiast:
eitxf ( x) dx
R
Własności funkcji charakterystycznej
1. ϕ(0) = 1.
2. ∀t∈ R ϕ( t) = ϕ( −t), gdzie ϕ( −t) oznacza liczbę zespoloną sprzężoną z ϕ( −t).
3. ∀t∈ R |ϕ( t) | 1.
4. ϕ jest funkcją jednostajnie ciągłą (co w szczególności oznacza, że jest ona ciągła).
5. ϕ jest funkcją rzeczywistą ⇔ rozkład zmiennej losowej X jest symetryczny względem x = 0.
6. Jeśli ϕX( t) jest funkcją charakterystyczną zmiennej losowej X to, funkcją charakterystyczną zmiennej Y = aX+ b jest funkcja ϕY ( t) = eitbϕX( at).
7. Jeżeli istnieje k-ty moment zmiennej losowej X o funkcji charakterystycznej ϕ, to ϕ jest k-krotnie różniczkowalna i zachodzi związek αk = EXk = 1
ik ϕ( k)(0)
8. Funkcja charakterystyczna skończonej sumy niezależnych zmiennych losowych równa się iloczynowi funkcji charakterystycznych tych zmiennych.
TW. Niech F będzie dystrybuantą, zaś ϕ funkcją charakterystyczną zmiennej losowej X. Wtedy: 1. Dla a < b takich że, F jest ciągła (w tych punktach) zachodzi
1
R e−ita − e−itb
lim
ϕ( t) dt = F ( b) − F ( a) R→∞ 2 π
−
it
R
2. Jeśli ponadto R |ϕ( t) |dt + ∞, to X ma rozkład typu ciągłego, o gęstości f( x) = 12 π R e−itxϕ( t) dt.
Wniosek. Funkcja charakterystyczna jednoznacznie wyznacza rozkład zmiennej losowej.
TW. Jeśli ϕ jest funkcją charakterystyczną zmiennej losowej X, okresową o okresie T = 2 π, to X jest zmienną typu
dyskretnego o wartościach całkowitych oraz P ( X = k) = 1
π
2
e−itkϕ( t) dt, k ∈ Z.
π
−π
4
Katalog zmiennych losowych
4.1
Dyskretne
Równomierny
• E X = np
• pi = 1
• V ar( X) = npq
n
• E X = x 1+ ... + xn
n
• ϕ( t) = ( peit + q) n
Jednopunktowy
Poissona
• P ( x 0) = 1
• Oznaczenie: P( λ)
• E X = x 0
• Parametr: λ > 0
• V ar( X) = 0
• P ( k) = e−λ λk
k! dla k ∈ N
• ϕ( t) = eita
• E X = λ
Zero-jedynkowy
• V ar( X) = λ
• P (1) = p, P (0) = 1 − p = q
• ϕ( t) = eλ( eit− 1)
• E X = p
Geometryczny
• V ar( X) = pq
• Oznaczenie: Geom( p).
• ϕ( t) = peit + q
• P (1) = p, P (0) = 1 − p
Dwumianowy (Bernouliego)
• E X = p
• Oznaczenie:
B( n, p),
n-liczba
prób,
p-
• V ar( X) = 1 −p
prawdopodobieństwo sukcesu,
p 2
• P ( k) = n pkqn−k
• ϕ( t) =
peit
k
1 −(1 −p) eit
4.2
Ciągłe
Jednostajny(równomierny)
Gamma
• J(( a, b)), gdzie ( a, b) – przedział
• Oznaczenie: Γ( p, α)
⎧
⎪
⎨ x+ a dla a x b
αp
b−a
•
Γ( p) xp− 1 e−αx
dla x > 0
F ( x) =
• f( x) =
⎪0
dla x < a
⎩
0
dla pozostałych x
1
dla x > b
∞
gdzie Γ( p) =
0 xp− 1 e−xdx, n = 1 , 2 , 3 , . . . , Γ( n) =
1
( n − 1)!
•
dla a x b
f ( x) =
b−a
0
dla pozostałych x
• ϕ( t) = (1 − it) −p
α
• E X = b−a
• Uwaga: Γ(1 , α) to rozkład wykładniczy.
2
•
• Uwaga: Γ( n
V ar( X) = ( b−a)2
2 , 12 ) to tak zwany rozkład χ 2 (chi kwa-
12
drat) z n stopniami swobody.
• Dla J((0 , a)): ϕ( t) = eiat− 1
iat
Beta
• Dla J(( −a, a)): ϕ( t) = sin at
at
• Parametry: p, q > 0
Wykładniczy
1
•
β( p,q) xp− 1(1 − x) q− 1
x ∈ (0 , 1)
Parametr λ > 0
• f( x)
=
0
w p.p.
•
1 − e−λx dla x 0
β( p, q) := Γ( p)Γ( q)
F ( x) =
Γ( p+ q)
0
dla x < 0
Laplace’a
•
λe−λx
dla x 0
f ( x) =
•
0
dla pozostałych x
Parametr λ > 0
•
• f( x) = λ
ϕ( t) =
λ
2 e−λ|x|
dla x ∈ R
1+ t 2
5
Cauchy’ego
• Oznaczenie N( p, σ 2), N(0 , 1) nazywamy standardo-
• Parametry θ, λ
wym.
• F ( x) = 1
x−θ
2 + 1 arctan
π
λ
• F ( x) = 1
√
t
• f( x) =
1
2 π −∞ e− ( t)2
2 dt = Φ( x)
πλ[1+( x−θ
λ )2)]
• ϕ( t) = e−|t|
• f( x) = 1
√
e− ( x−m)2
2 σ 2
dla x ∈ R
σ
2 π
• Wartość oczekiwana i wariancja są niezdefiniowane
• E X = m
– nie istnieją gdyż całki rozbiegają do nieskończono-
ści.
• V ar( X) = σ 2
• Uwaga. Jeśli X i Y mają standardowy rozkład nor-
malny to zmienna X/Y ma rozkład Cauchy’ego z
•
−t 2
Dla standardowego: ϕ( t) = e 2
parametrami θ = 0 i λ = 1
5
Zmienne losowe wielowymiarowe
Wektorem losowym lub zmienną losową wielowymiarową nazywamy dowolną funkcję X : Ω → R n, która spełnia warunek: ∀B∈B(R n) X− 1( B) ∈ F, czyli przeciwobraz dowolnego zbioru borelowskiego z przestrzeni2 R n musi należeć do σ–ciała.
Każdą funkcję wielowymiarową X : Ω → R n możemy przestawić w postaci: X = ( X 1 , X 2 , . . . , Xn), gdzie dla każdego 1 i n Xi : Ω → R. Funkcja X jest zmienną losową wielowymiarową ⇐⇒ każde Xi jest („zwykłą”) zmienną losową.
Odwzorowanie ϕ : R n → R m nazywamy funkcją borelowską gdy przeciwobrazy zbiorów borelowskich z Rm są zbiorami borelowskim w R n.
Złożenie ϕ ◦ X, gdzie X wektor losowy a ϕ funkcja borelowska, jest też wektorem losowym.
Wektor losowy jest wektorem typu dyskretnego, gdy istnieje taki co najwyżej przeliczalny zbiór B borelowski, że PX( B) = 1.
Wektor losowy jest wektorem typu ciągłego, gdy istnieje funkcja f taka, że PX( B) = . . .
f ( x) dx, dla dowol-
B
nego B borelowskiego. Funkcję tą nazywamy gęstością (musi ona spełniać dodatkowe warunki, o czym niżej).
5.1
Dystrybuanta
Gdy X : Ω → R n jest wektorem losowym, dystrybuanta ma postać: F : R n → R, F ( t 1 , t 2 , . . . , tn) = PX(( −∞, t 1) ×
( −∞, t 2) × . . . ( −∞, tn)). W przypadku gdy n = 2 mamy: F ( x, y) = P ( X < x, Y < y) dla( x, y) ∈ R2.
Własności
• Jest lewostronnie ciągła i niemalejąca ze względu na każdą zmienną z osoba.
• ∀x∈ R lim y→−∞ F ( x, y) = 0 , ∀y∈ R lim x→−∞ F ( x, y) = 0
• lim x→∞,y→∞ F ( x, y) = 1
• Dla dowolnych punktów ( x 1 , y 1) , ( x 2 , y 2) takich, że x 1 x 2 i y 1 y 2 zachodzi nierówność F ( x 2 , y 2) −F ( x 2 , y 1) −
F ( x 1 , y 2) + F ( x 1 , y 1) 0
5.2
Gęstość
Własności
• PX( B) = . . .
f ( x) dx
B
• F ( t
t 1
tn
1 , t 2 , . . . , tn) = −∞. . . −∞ f( t 1 , t 2 , . . . , tn) dt 1 dt 2 . . . dtn
•
R2 f ( x, y) dxdy = 1
• w punktach ciągłości: f( x 1 , . . . , xn) = ∂nFx( x 1 ,...,xn).
∂x 1 ...∂xn
Niezależność zmiennych:
∀( x,y) ∈ R2 F ( x, y) = FX( x) FY ( y) lub f( x, y) = fX( x) fY ( y) 2Zbiory borelowskie w R n, to σ–ciało zbiorów zawierające wszystkie zbiory otwarte z tej przestrzeni. Generowane jest np. przez wszystkie otwarte kostki (iloczyny kartezjańskie przedziałów otwartych).
6
Rozkład brzegowy
Niech X : Ω → R2 wektor losowy o dystrybuancie F . Wówczas funkcje FX( x) = lim y→∞ F ( x, y) oraz FY ( y) =
lim x→∞ F ( x, y) są dystrybuantami rozkładów na R. Rozkłady te nazywamy brzegowymi.
Jeśli dodatkowo wektor losowy posiada gęstość f , to funkcje fX( x) = R f( x, y) dy oraz fY ( y) = R f( x, y) dx są gęstościami rozkładów brzegowych na R.
5.4
Parametry liczbowe
Wartość oczekiwana
Jeśli X = ( X 1 , X 2 , . . . , Xn) jest wektorem losowym, to wektor liczb ( EX 1 , EX 2 , . . . , EXn) nazywamy wartością średnią (oczekiwaną) wektora X. Jest ona określona jeśli wszystkie wartości oczekiwane EXi istnieją.
Jeśli ϕ : R n → R funkcja borelowska, oraz X wektor losowy typu ciągłego, to Eϕ( X) = R n ϕ( x) f( x) dx.
5.5
Przykłady
Gęstości sumy, iloczynu, ilorazu zmiennych losowych:
1. U = X + Y : k 1( u) = R f( x, u − x) dx; gdy X, Y -niezależne: k 1( u) = R f 1( x) f 2( u − x) dx
2. U = XY : k 1( u) = R f( x, u) 1
) 1
x |x| dx; gdy X, Y -niezależne: k 1( u) =
R f 1( x) f 2( u
x |x| dx
3. U = X : k
Y
1( u) = R f( uy, y) |y|dy; gdy X, Y -niezależne: k 1( u) = R f 1( uy) f 2( y) |y|dy Dwuwymiarowy rozkład normalny
ma gęstość daną wzorem:
1
( x − μ
( x − μ
( y − μ
f ( x, y) =
exp −
1
1)2 − 2 ρ
1)( y − μ 2) +
2)2
dla ( x, y) ∈ R2
2 πσ 1 σ 2 1 − ρ 2
2(1 − ρ 2)
σ 21
σ 1 σ 2
σ 22
√
√
gdzie: μ 1 = EX, μ 2 = EY , σ 1 =
D 2 X > 0, σ 2 =
D 2 Y > 0, ρ–współczynnik korelacji zm.los. X i Y , przy czym
|ρ| < 1.
6
Zbieżność ciągów zmiennych losowych
1. Zbieżność z prawdopodobieństwem 1 (prawie na pewno, prawie wszędzie): P ( {ω : lim n→ inf Xn( ω) X( ω) }) = 1.
z pr. 1
Oznaczenie: Xn −−−−→ X.
( p.n. )
wg pr.
2. Zbieżność według prawdopodobieństwa: ∀ > 0 lim n→∞ P ( {ω : |Xn( ω) − X( ω) | }) = 0. Oznaczenie: Xn −−−−→
( P )
X.
3. Zbieżność według dystrybuant (zbieżność względem rozkładu, słabo zbieżny) – ciąg dystrybuant Fn jest zbieżny do dystrybuanty F w każdym punkcie ciągłości F . Oznaczenie: X
D
n −
−→ X.
( s)
Rodzaje zbieżności wymienione są od najsilniejszej do najsłabszej. Ze zbieżności z prawdopodobieństwem 1 wynika zbieżność według prawdopodobieństwa, a z niej wynika zbieżność według dystrybuant.
Następujące warunki są równoważne ze zbieżnością z prawdopodobieństwem 1:
• ∀
∞
> 0 lim k→∞
{|X
n= k
n − X | < } = 1
• ∀
∞
> 0 lim k→∞
{|X
n= k
n − X | } = 0
6.1
Twierdzenie o ciągłości
Ciąg ( Xn) n jest zbieżny według rozkładu do X wtedy i tylko wtedy, gdy ciąg funkcji charakterystycznych ϕn jest zbieżny w każdym punkcie do funkcji ciągłej ϕ. Takie ϕ jest funkcją charakterystyczną zmiennej X.
7
Prawa wielkich liczb i twierdzenia graniczne
Słabe prawo wielkich liczb.
Niech X
n
n będzie ciągiem zmiennych losowych, mk = EXk , Sn =
k
=1 Xn. Jeżeli
n
( X
ciąg
k=1
k−mk) zbiega według prawdopodobieństwa do 0 to mówimy, że X
n
n spełnia słabe prawo wielkich liczb
(SPWL). Warunek z definicji można równoważnie zapisać: ∀ > 0 lim n→∞ P ( | Sn−ESn | ) = 0.
n
Tw. Czebyszewa Ciąg niezależnych zmiennych losowych Xn spełnia SPWL, gdy istnieją wartości oczekiwane E( Xi) i wariancje σ 2 zmiennych X
i
i istnieją i są wspólnie ograniczone (tzn. ∃σ 2 ∀nV ar( Sn) σ 2).
Tw. Markowa Ciąg zmiennych losowych Xn spełnia SPWL, gdy istnieją wartości oczekiwane E( Xi) i wariancje σ 2 i zmiennych X
V ar( Sn)
i oraz lim n→∞
n 2
= 0.
Wniosek Jeśli Xn ciąg niezależnych zmiennych losowych o jednakowym rozkładzie, dla którego istnieje wariancja, to ciąg ten spełnia SPWL.
Tw. Chinczyna Ciąg niezależnych zmiennych losowych o jednakowych rozkładach i wspólnej wartości oczekiwanej spełnia SPWL.
Mocne prawo wielkich liczb.
Xn jest ciągiem zmiennych losowych, mk = EXk. Ciąg Xn spełnia mocne prawo
n ( X
wielkich liczb (MPWL), gdy ciąg
k=1
k−mk) zbiega do 0 z prawdopodobieństwem jeden.
n
Uwaga. Jeśli ciąg spełnia MPWL to spełnia też SPWL.
∞ Var( Xn)
Tw. Kołomogorowa Jeśli X
n=1
n są niezależne, V ar( Xn) istnieją oraz szereg
n 2
jest zbieżny, to ( Xn) n
spełnia MPWL.
Wniosek Jeśli ( Xn) n jest ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie i ∀nV ar( Xn) = σ 2 <
+ ∞, to Xn spełnia MPWL.
Wniosek Jeśli Xn spełnia założenia tw. Czybyszewa to spełnia MPWL.
Centralne twierdzenie graniczne Lindeberga-Levy’ego.
Jeżeli {Xn} jest losowym ciągiem niezależnych zmien-
nych o jednakowym rozkładzie, o wartości przeciętnej α 1 i skończonej wariancji σ 2 > 0, to ciąg ( Fn) dystrybuant
n X
standaryzowanych średnich arytmetycznych X
n
i=1
i−nα 1
√
n (standaryzowanych sum
=
jest
i=1 Xi) Yn = Xn−α 1
σ
√n
σ
n
zbieżny do dystrybuanty Φ rozkładu N (0 , 1): lim
y
n→∞ Fn( y) =
1
√ 2 π −∞ e− 12 t 2 dt ≡ Φ( y)
8