Prawa wielkich liczb i twierdzenia graniczne
Definicja 1
Zmienna losowa X jest granicą ciągu zmiennych losowych
,...
2
,
1
=
n
X
n
w sensie zbieŜności
średniokwadratowej, jeŜeli:
0
)
(
lim
2
=
−
∞
→
n
n
X
X
E
Definicja 2
Zmienna losowa X jest granicą ciągu zmiennych losowych
,...
2
,
1
=
n
X
n
w sensie zbieŜności
według prawdopodobieństwa, jeŜeli dla dowolnego
0
>
ε
:
0
}
|
{|
lim
=
>
−
∞
→
ε
X
X
P
n
n
Nierówności Czebyszewa
Pierwsza nierówność Czebyszewa:
Definicja 3:
EX
X
P
≤
≥
)
1
(
Druga nierówność Czebyszewa:
Twierdzenie:
JeŜeli zmienna losowa X ma wartość oczekiwaną m i wariancję
2
X
σ
, to dla kaŜdego
0
>
t
:
2
0
1
)
|
(|
t
t
m
X
P
X
t
≤
⋅
≥
−
∧
>
σ
Nierówność ta mówi, Ŝe:
Prawdopodobieństwo zdarzenia polegającego na tym, Ŝe zmienna losowa odchyli się od swojej wartości
oczekiwanej o więcej niŜ t jednostek, jest nie większe niŜ
2
/
1 t .
Jeśli podstawimy w tej nierówności t = 3 , to otrzymamy tzw. regułę „trzy sigma”:
9
1
)
3
|
(|
≤
≥
−
σ
m
X
P
Prawo wielkich liczb Markowa
Twierdzenie:
Dane są niezaleŜne zmienne losowe
n
X
X
X
,...,
,
2
1
. KaŜda z tych zmiennych losowych
k
X k = 1, 2,... ma wartość oczekiwaną
k
k
EX
µ
=
oraz wariancję
2
)
(
k
k
X
V
σ
=
, przy czym zachodzi:
0
...
2
2
2
2
2
1
lim
=
+
+
+
∞
→
n
n
n
σ
σ
σ
Przy powyŜszych załoŜeniach, dla dowolnego
0
>
ε
zachodzi:
0
...
...
2
1
2
1
lim
=
≥
+
+
+
−
+
+
+
∞
→
ε
µ
µ
µ
n
n
X
X
X
P
n
n
n
W szczególnym przypadku, gdy wszystkie zmienne losowe mają jednakowe wartości oczekiwane
µ
:
0
...
2
1
lim
=
≥
−
+
+
+
∞
→
ε
µ
n
X
X
X
P
n
n
Wzór ten pokazuje jaki jest związek między średnią arytmetyczną, a wartością oczekiwaną.
JeŜeli poszczególne zmienne losowe reprezentują np. wyniki pomiarów jakiejś wielkości, to z tego wzoru
wynika, Ŝe zwiększając liczbę pomiarów, ich średnia arytmetyczna dąŜy do wartości oczekiwanej.
Uzasadnia to poprawność przyjmowania w wielu przypadkach średniej arytmetycznej jako wielkości
przybliŜającej wartość oczekiwaną.
Twierdzenie graniczne Lindeberga – Levy’ego
Dane są niezaleŜne zmienne losowe
n
X
X
X
,...,
,
2
1
o jednakowych rozkładach. Zmienne te mają
parametry:
µ
=
n
EX
,
2
)
(
σ
=
n
X
V
dla n = 1, 2, ...
Suma tych niezaleŜnych zmiennych losowych, to nowa zmienna losowa:
n
n
X
X
X
S
+
+
+
=
...
2
1
Jej wartość oczekiwana wynosi:
µ
⋅
=
+
+
+
=
n
X
X
X
E
ES
n
n
)
...
(
2
1
zaś wariancja:
2
2
1
)
...
(
)
(
σ
⋅
=
+
+
+
=
n
X
X
X
V
S
V
n
n
Utwórzmy nową zmienną losową
n
Y przez unormowanie zmiennej losowej
n
S :
σ
µ
n
n
S
Y
n
n
−
=
,
wówczas zachodzi:
)
(
)
(
lim
a
b
b
n
n
S
a
P
n
n
Φ
−
Φ
=
≤
−
<
∞
→
σ
µ
gdzie:
)
(
),
(
b
a
Φ
Φ
- dystrybuanty rozkładu normalnego
)
1
;
0
(
N
.
Oznacza to, Ŝe suma
n
S ma rozkład asymptotycznie normalny:
)
;
(
~
n
n
N
S
n
σ
µ
Twierdzenie Moivre’a- Laplace’a
Dane są niezaleŜne zmienne losowe
n
X
X
X
,...,
,
2
1
o jednakowych rozkładach dwupunktowych
Bernoulli’ego
)
,
(
p
n
B
.
Suma tych niezaleŜnych zmiennych losowych, to nowa zmienna losowa:
n
n
X
X
X
S
+
+
+
=
...
2
1
Utwórzmy nową zmienną losową
n
Y przez unormowanie zmiennej losowej
n
S :
npq
np
S
Y
n
n
−
=
,
wówczas zachodzi:
)
(
)
(
lim
a
b
b
npq
np
S
a
P
n
n
Φ
−
Φ
=
≤
−
<
∞
→
gdzie:
)
(
),
(
b
a
Φ
Φ
- dystrybuanty rozkładu normalnego
)
1
;
0
(
N
.
Wniosek:
Zmienna losowa
n
S będąca sumą zmiennych losowych
n
X
X
X
,...,
,
2
1
ma rozkład asymptotycznie
normalny:
)
;
(
~
npq
np
N
S
n
Oznacza to, Ŝe jeŜeli liczba doświadczeń n jest duŜa, to rozkład zmiennej losowej
n
X o rozkładzie
Bernoulli’ego
)
,
(
p
n
B
moŜna przybliŜyć rozkładem normalnym
)
;
(
npq
np
N
.
PrzybliŜenie jest tym lepsze im n jest większe.
Przykład 1:
Rzucamy 10000 razy monetą. Obliczyć prawdopodobieństwo, Ŝe liczba wyrzuconych orłów zawiera
się od 5050 do 5100.
Sposób 1 – dokładny:
Rozkład dwumianowy Bernoulli’ego:
2
1
=
p
. Zatem:
)
5100
5050
(
≤
≤
X
P
=
)
5050
(
10000
=
X
P
+
)
5051
(
10000
=
X
P
+ ... +
)
5100
(
10000
=
X
P
51 składników
gdzie:
m
n
m
n
q
p
m
n
m
X
P
−
=
=
)
(
, przykładowo, dla pierwszego składnika, otrzymamy:
4950
5050
10000
)
2
/
1
(
)
2
/
1
(
5050
10000
)
5050
(
=
=
X
P
Sposób 2 – uŜycie rozkładu Poissona:
)
5100
5050
(
≤
≤
X
P
=
λ
λ
−
=
∑
e
k
k
k
5100
5050
!
=
λ
λ
−
e
!
5050
5050
+ ... +
λ
λ
−
e
!
5100
5100
gdzie:
p
k
⋅
=
λ
, k = 5050, ... 5100,
2
1
=
p
.
Sposób 3 – korzystamy z twierdzenia Moivre’a – Laplace’a:
10000
2
1
10000
...
X
X
X
S
+
+
+
=
, gdzie:
i
X
ma rozkład dwumianowy Bernoulli’ego.
Dla
∞
→
n
, zachodzi:
)
;
(
~
npq
np
N
S
n
,
5000
2
/
1
10000
=
⋅
=
np
,
50
2
1
2
1
10000
=
⋅
⋅
=
npq
Czyli:
)
5100
5050
(
≤
≤
n
S
P
=
−
Φ
−
−
Φ
50
5000
5050
50
5000
5100
=
( ) ( )
136
,
0
84135
,
0
97725
,
0
1
2
=
−
=
Φ
−
Φ
Funkcja charakterystyczna zmiennej losowej jednowymiarowej
Definicja
Funkcją charakterystyczną zmiennej losowej X nazywamy funkcję zespoloną określoną wzorem:
}
{
)
(
X
j
X
e
E
υ
υ
ϕ
=
=
}
sin
{cos
X
j
X
E
υ
υ +
gdzie:
υ
- dowolna zmienna rzeczywista.
Dla zmiennej losowej typu skokowego definicja ma postać:
∑
=
=
=
K
k
k
x
j
X
x
X
P
e
k
1
)
(
)
(
υ
υ
ϕ
Dla zmiennej losowej typu ciągłego definicja ma postać:
∫
=
dx
x
f
e
x
j
X
)
(
)
(
υ
υ
ϕ
Warto zauwaŜyć, Ŝe jeŜeli w tym wzorze podstawić
ω
υ
−
=
, to funkcja charakterystyczna staje się
transformatą Fouriera gęstości prawdopodobieństwa
)
(x
f
.
Funkcja charakterystyczna jednoznacznie wyznacza rozkład prawdopodobieństwa zmiennej losowej X .
Znając funkcję charakterystyczną zmiennej losowej X moŜna znacznie uprościć wyznaczanie jej
momentów rzędu n.
Wiadomo, Ŝe nie dla kaŜdej zmiennej losowej X i nie dla kaŜdej funkcji
)
(x
g
istnieje wartość oczekiwana
)}
(
{
x
g
E
. Natomiast funkcja charakterystyczna zmiennej losowej X , będąca wartością oczekiwaną funkcji
X
j
e
υ
, istnieje dla kaŜdej zmiennej losowej. Wynika to z faktu, Ŝe zarówno szereg jak i całka, w definicji
funkcji charakterystycznej, są bezwzględnie zbieŜne.
Podstawowe własności funkcji ch
arakterystycznej
Twierdzenie 1:
Moduł funkcji charakterystycznej jest nie większy od 1:
1
|
)
(
|
≤
υ
ϕ
X
Twierdzenie 2:
Dla funkcji charakterystycznej
)
(
υ
ϕ
X
zachodzi relacja:
)
(
)
(
υ
ϕ
υ
ϕ
=
−
X
- funkcja zespolona sprzęŜona.
Twierdzenie 3:
Funkcja charakterystyczna jest funkcją jednostajnie ciągłą.
Twierdzenie 4:
Funkcja charakterystyczna sumy dowolnej, skończonej liczby niezaleŜnych zmiennych losowych
jest równa iloczynowi funkcji charakterystycznych poszczególnych zmiennych losowych:
)
(
...
)
(
)
(
)
(
2
1
2
1
...
υ
ϕ
υ
ϕ
υ
ϕ
υ
ϕ
n
n
X
X
X
X
X
X
⋅
⋅
⋅
=
+
+
+
Uwaga:
Twierdzenie odwrotne nie jest prawdziwe, tzn. z faktu, Ŝe funkcja charakterystyczna sumy
zmiennych losowych jest równa iloczynowi funkcji charakterystycznych zmiennych losowych nie wynika,
Ŝe te zmienne losowe są niezaleŜne.
Definicja:
Wartość funkcji charakterystycznej w zerze jest równa 1:
1
}
1
{
}
{
)
0
(
0
=
=
=
E
e
E
X
j
X
ϕ
Twierdzenie 5:
Niech
)
(t
X
ϕ
- jest funkcją charakterystyczną zmiennej losowej X. Dla dowolnych liczb a, b i dla
zmiennej losowej
b
aX
Y
+
=
, funkcja charakterystyczna
)
(t
Y
ϕ
zmiennej losowej Y wyraŜa się
wzorem:
)
(
)
(
at
e
t
X
jtb
Y
ϕ
ϕ
=
gdzie:
()
X
ϕ
- jest funkcją charakterystyczną zmiennej losowej X.
Twierdzenie 6:
Jeśli funkcja charakterystyczna zmiennej losowej X jest bezwzględnie całkowalna, to X jest
zmienną losową typu ciągłego i gęstość prawdopodobieństwa
)
( x
f
zmiennej losowej X dana jest
wzorem:
∫
∞
∞
−
−
=
dt
t
e
x
f
jtx
)
(
2
1
)
(
ϕ
π
Gęstość prawdopodobieństwa jest więc transformatą Fouriera funkcji charakterystycznej.
Twierdzenie 7:
JeŜeli funkcja charakterystyczna zmiennej losowej jest okresowa o okresie
π
2
, to X jest zmienną
losową typu skokowego, mogącą przyjmować jedynie wartości całkowite i zachodzi relacja:
∫
−
−
=
=
=
π
π
ϕ
π
dt
t
e
k
X
P
k
p
jtk
)
(
2
1
)
(
)
(
gdzie: k – liczba całkowita.
Twierdzenie 8:
JeŜeli istnieją momenty
n
m
zmiennej losowej X , to wyraŜają się one przez pochodne funkcji
charakterystycznej:
0
)
(
=
−
=
=
υ
υ
υ
ϕ
n
X
n
n
n
n
d
d
j
EX
m
Przykład 2:
Wyznaczyć funkcję charakterystyczną dla zmiennej losowej X przyjmującej 2 wartości –1 i 1 z
prawdopodobieństwem ½.
Korzystając z definicji funkcji charakterystycznej dla zmiennej losowej typu skokowego, otrzymujemy:
(
)
υ
υ
ϕ
υ
υ
υ
υ
cos
2
1
)
1
(
)
1
(
)
(
)
1
(
)
1
(
=
+
=
−
=
+
=
=
−
−
j
j
j
j
X
e
e
X
P
e
X
P
e
Przykład 3:
Zmienna losowa ma funkcję charakterystyczną
2
/
2
)
(
υ
υ
ϕ
−
=
e
X
.
Znaleźć gęstość prawdopodobieństwa
)
( x
f
zmiennej losowej typu ciągłego X .
Korzystając z twierdzenia 6, dla zmiennej losowej typu ciągłego, otrzymujemy:
∫
∫
∫
∞
∞
−
+
−
∞
∞
−
−
−
∞
∞
−
−
=
=
=
dt
e
dt
e
e
dt
t
e
x
f
t
jtx
t
jtx
jtx
)
2
/
(
2
/
2
2
2
1
2
1
)
(
2
1
)
(
π
π
ϕ
π
ale:
=
+
+
+
−
=
+
−
2
)
(
)
2
)
((
2
1
)
2
/
(
2
2
2
2
jx
t
jtx
jx
t
jtx
2
)
(
)
(
2
1
2
2
jx
jx
t
+
+
−
więc ostatecznie:
∫
∫
∞
∞
−
+
−
∞
∞
−
−
+
−
=
=
=
dt
e
e
dt
e
e
x
f
jx
t
x
jx
jx
t
2
/
)
(
2
/
2
/
)
(
2
/
)
(
2
2
2
2
2
1
2
1
)
(
π
π
π
π
2
2
2
/
2
x
e
−
=
=
2
/
2
2
1
x
e
−
π
Zadania
1. Rzucamy dwoma kostkami do gry. JeŜeli suma oczek jest równa 2 to otrzymujemy 12 zł, jeŜeli suma
oczek jest równa 3 to otrzymujemy 6 zł, a w kaŜdym pozostałym przypadku płacimy 1 zł.
Niech zmienna losowa X oznacza wygraną ( patrz zad. 7 – zmienne_losowe2 ).
a) Podać rozkład zmiennej losowej X i wyznaczyć jej dystrybuantę F.
b) Wyznaczyć wartość oczekiwaną i wariancję zmiennej losowej X.
c) ZałóŜmy, Ŝe grę powtarzamy 100 razy. Oszacować prawdopodobieństwo, Ŝe przegramy co
najmniej 1 zł.
2. Średnia waga człowieka wynosi 75 kg z odchyleniem standardowym 3 kg. Zakładamy, Ŝe waga
ludzi ma rozkład normalny. Samolot zabiera 81 pasaŜerów. Jakie jest prawdopodobieństwo, Ŝe
łączna waga pasaŜerów przekroczy 6 ton?
3. OBOP ocenia, Ŝe 50 % rodzin w Polsce Ŝyje w ubóstwie. Wybrano losowo 100 rodzin. Jakie jest
prawdopodobieństwo, Ŝe liczba rodzin Ŝyjących w ubóstwie przekracza 40%?
4. Zmienna losowa X ma rozkład równomierny w przedziale ( a, b ), tzn. :
∉
≤
≤
−
=
]
,
[
0
1
)
(
b
a
x
dla
b
x
a
dla
a
b
x
f
Określić funkcję charakterystyczną tej zmiennej losowej.
5. Zmienna losowa X jest typu ciągłego i przyjmuje wartości z zakresu
)
,
0
(
∞
, zaś jej funkcja
gęstości prawdopodobieństwa
a
x
e
a
x
f
/
1
)
(
−
=
dla a > 0. Wyznaczyć funkcję charakterystyczną
tej zmiennej losowej.
6. Wyznaczyć funkcję charakterystyczną rozkładu zero – jedynkowego. Za pomocą tej funkcji
charakterystycznej, wyznaczyć pierwsze dwa momenty tego rozkładu.
7. Wyznaczyć funkcję charakterystyczną zmiennej losowej o rozkładzie normalnym
)
;
(
σ
m
N
.