Rachunek prawdopodobieństwa MAP1064
Wydział Elektroniki, rok akad. 2008/09, sem. letni
Wykładowca: dr hab. A. Jurlewicz
Wykład 12: Sumowanie niezależnych zmiennych lo-
sowych i jego związek ze splotem gęstości i trans-
formatami Laplace a i Fouriera. Prawo wielkich liczb.
Fakt.
Jeżeli zmienne losowe X i Y są niezależne oraz ich wartości oczekiwane i wariancje istnieją,
przy czym wariancje sÄ… niezerowe, to
EXY = EXEY
a stÄ…d
D2(X + Y ) = D2X + D2Y
oraz ÁXY = 0.
Zatem jeśli zmienne losowe o skończonych i niezerowych wariancjach są niezależne, to są
też nieskorelowane. Implikacja odwrotna nie jest prawdziwa.
Przykłady do zad. 11.1
Suma niezależnych zmiennych losowych.
X i Y to niezależne zmienne losowe odpowiednio o dystrybuantach FX(x) i FY (y).
Wówczas Z = X + Y ma rozkład o dystrybuancie
"

FX+Y (z) = FX(z - y)dFY (y).
-"
Jest to tzw. splot dystrybuant (miar).
Jeśli X i Y mają rozkłady ciągłe o gęstościach odpowiednio fX(x) i fY (y),
to Z = X + Y też ma rozkład ciągły o gęstości
"

fX+Y (z) = fX(z - y)fY (y)dy = (fX " fY )(z).
-"
Jest to znany nam splot gęstości.
Wiemy, że na ogół wyznaczenie splotu jest technicznie trudne. Ponadto wiemy, że trans-
formata Fouriera splotu funkcji to iloczyn transformat Fouriera tych funkcji. PodobnÄ…
własność ma transformata Laplace a.
1
Definicja.
Funkcja charakterystyczna ÕX(t), t " R, rozkÅ‚adu zmiennej losowej X o dystry-
buancie FX(x) to
Å„Å‚

n
ôÅ‚
eitx pn, gdy X ma rozkład dyskretny
ôÅ‚
ôÅ‚
"
ôÅ‚
n"T
òÅ‚
zadany ciÄ…giem {(xn, pn), n " T};
ÕX(t) = EeitX = eitxdFX(x) =
ôÅ‚ "

ôÅ‚
ôÅ‚
-" ôÅ‚
eitxf(x)dx, gdy X ma rozkład ciągły o gęstości f(x).
ół
-"
Inaczej mówiąc, funkcja charakterystyczna rozkładu zmiennej losowej X to transformata
Fouriera-Lebesgue a dystrybuanty tego rozkładu. W przypadku rozkładu ciągłego, funkcja
charakterystyczna to znana nam już transformata Fouriera gÄ™stoÅ›ci w punkcie É = -t.
Fakt.
Funkcja charakterystyczna zawiera pełną informację o rozkładzie zmiennej losowej X.
Inne transformaty:
Transformata Laplace a-Lebesgue a.
Pełna informacja o rozkładzie nieujemnej zmiennej losowej X, tzn. takiej, że P (X
0) = 1, zawarta jest także w transformacie Laplace a-Lebesgue a ÈX(t), t 0,
dystrybuanty FX(x):
Å„Å‚

n
ôÅ‚ e-tx pn, gdy X ma rozkÅ‚ad dyskretny
ôÅ‚
ôÅ‚
"
ôÅ‚
n"T
òÅ‚
zadany ciÄ…giem {(xn, pn), n " T};
ÈX(t) = Ee-tX = e-txdF (x) =
ôÅ‚ "

ôÅ‚
ôÅ‚
-" ôÅ‚
e-txf(x)dx, gdy X ma rozkład ciągły o gęstości f(x).
ół
-"
Funkcja tworzÄ…ca.
Pełna informacja o rozkładzie dyskretnej zmiennej losowej X przyjmującej tylko wartości
naturalne zawarta jest także w funkcji tworzącej g(s)
"

g(s) = EsX = snpn, 0 < s 1,
n=0
gdzie pn = P (X = n) dla n = 0, 1, . . .
Fakt.
Jeśli X i Y to niezależne zmienne losowe o funkcjach charakterystycznych odpowiednio
ÕX(t), ÕY (t), to wówczas dla każdego t
ÕX+Y (t) = ÕX(t)ÕY (t).
(Analogiczną własność mają transformata Laplace a i funkcja tworząca.)
Przykłady do zad. 11.2
2
Zbieżności ciągu zmiennych losowych z prawdopodobień-
stwem 1 i stochastyczna.
Definicja.
Ciąg zmiennych losowych X1, X2, . . . jest zbieżny z prawdopodobieństwem 1
(in. prawie na pewno) do zmiennej losowej X, jeżeli
P (É : lim Xn(É) = X(É)) = 1.
n"
z pr.1 p.n.
Oznaczenie: Xn - X, Xn - X, lim Xn = X z prawd. 1.
n" n"
n"
Uwaga:
Ciąg zbieżny punktowo jest zbieżny z prawdopodobieństwem 1.
(Ciąg X1, X2, . . . jest zbieżny punktowo do X, jeżeli
lim Xn(É) = X(É) dla każdego É " &!.)
n"
Zbieżność stochastyczna:
Definicja.
Ciąg zmiennych losowych X1, X2, . . . jest zbieżny stochastycznie
(in. według prawdopodobieństwa) do zmiennej losowej X, jeżeli

-
P (|Xn - X| ) 0.
n"
>0

Oznaczenie: Xn -P X, P - lim Xn = X.
n"
n"
Fakt.
z pr.1

(a) Jeżeli Xn - X, to Xn -P X.
n" n"
z pr.1

(b) Jeżeli Xn -P X, to istnieje podciąg (Xk ) ciagu (Xn), taki że Xk - X.
n" n n n"
3
Prawa wielkich liczb (PWL)
Definicja.
Niech X1, X2, . . . będzie ciągiem zmiennych losowych o skończonych wartościach oczeki-
wanych EXn = mn. Niech Sn = X1 + X2 + . . . + Xn, an = m1 + m2 + . . . + mn.
Mówimy, że ciąg (Xn) spełnia słabe prawo wielkich liczb (SPWL), gdy
n

Sn - an 1
-P

= (Xk - mk) 0.
n"
n n
k=1
Mówimy, że ciąg ten spełnia mocne prawo wielkich liczb (MPWL), gdy
z pr.1
Sn - an
-
0.
n"
n
OczywiÅ›cie MPWL =Ò! SPWL.
PWL dla ciągów zmiennych losowych o jednakowym
rozkładzie
Twierdzenie Chinczyna.
Niech (Xn) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,
przy czym E|Xn| < ". Wtedy ciąg ten spełnia SPWL, które w tym przypadku można
zapisać w postaci
n

Sn 1

= Xk -P m = EX1.
n"
n n
k=1
MPWL Kołmogorowa.
Niech (Xn) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie.
Ciąg ten spełnia MPWL, które w tym przypadku można zapisać w postaci
n

z pr.1
Sn 1
= Xk - m = EX1.
n"
n n
k=1
wtedy i tylko wtedy, gdy E|Xn| < ".
4
Szczególny przypadek:
Jeżeli (Xn) to ciąg niezależnych zmiennych losowych o jednakowym rozkładzie zerojedyn-
kowym B(1, p), tzn. P (Xn = 1) = p = 1 - P (Xn = 0), to Sn ma rozkład Bernoulliego
B(n, p), taki jak rozkład ilości sukcesów w n próbach Bernoulliego z prawdopodobień-
stwem sukcesu p, a m = EX1 = p.
Prawo wielkich liczb Bernoulliego, twierdzenie Borela:
Niech Sn będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem suk-
cesu p. Wtedy zachodzi
" PWL Bernoulliego (XVII/XVIII w.) (SPWL)
Sn
-P
p.
n"
n
" twierdzenie Borela (pocz. XX w.) (MPWL)
z pr.1
Sn
-
p.
n"
n
Interpretacja:
Częstość występowania sukcesu w n próbach Bernoulliego przybliża przy dużym n praw-
dopodobieństwo p sukcesu w pojedynczej próbie. Odpowiada to obserwacjom z natury, że
częstość zdarzenia losowego stabilizuje się na pewnym poziomie.
Przykłady do zad. 11.3
5
Przykłady zastosowań PWL
Metoda Monte Carlo obliczania całek oznaczonych:
Niech X1, X2, . . . Xn będzie ciągiem niezależnych zmiennych losowych o jednakowym roz-
kładzie jednostajnym na przedziale [a, b] oraz niech f będzie funkcją rzeczywistą taką, że
Ef(X1) istnieje i jest skończona.
Przy powyższych założeniach f(X1), f(X2), . . . f(Xn) jest także ciągiem niezależnych zmien-
nych losowych o jednakowym rozkładzie, przy czym istnieje wartość oczekiwana Ef(X1).
b
1
Ponadto Ef(X1) = f(x)dx. Z MPWL Kołmogorowa mamy
b - a
a
b
n

z pr.1
1 1
-
f(Xk) Ef(X1) = f(x)dx.
n"
n b - a
k=1
a
b
Możemy zatem do obliczania przybliżonej wartości całki oznaczonej f(x)dx zastosować
a
następujący algorytm:
(i) losujemy niezależnie liczby u1, u2, . . . , un z rozkładu jednostajnego U[0, 1];
(ii) przekształcamy xk = a + (b - a)uk dla k = 1, 2, . . . , n otrzymując w ten sposób
próbkę z rozkładu U(a, b);
n

b b - a
(iii) jako przybliżoną wartość całki przyjmujemy f(x)dx H" f(xk).
a n
k=1
Przykładowy program w Matlabie
function calkowanieMonteCarlo
N=10000; %N - ilość prób Monte Carlo
%(im wieksze N, tym wynik przyblizony blizszy rzeczywistej wartosci calki)
a=-1; %a - poczatek przedzialu calkowania
b=1; %b - koniec przedzialu calkowania
%generujemy x1, x2, ..., xN z rozkładu jednostajnego na przedziale (a, b)
x=a+(b-a)*rand(1,N);
"
%liczymy wartości funkcji podcałkowej f(x1), f(x2), . . . , f(xN), gdzie f(x) = 1 - x2
f=sqrt(1-x.Ć2);
n
b-a
%obliczamy przybliżoną wartość całki ze wzoru f(xk)
k=1
n
calka=(b-a)/N*sum(f)
1
"
b
Ä„
Uwaga: f(x)dx = 1 - x2dx = H" 1, 5707963267
2
a
-1
Kilka otrzymanych wyników przybliżonych: 1,5725; 1,5680; 1,5736; 1,5729.
6
Dystrybuanta empiryczna:
Rozważmy ciąg X1, X2, . . . Xn niezależnych zmiennych losowych o jednakowym rozkładzie
opisanym dystrybuantą F (x). Ciąg ten interpretujemy jako opis wyników n niezależnych
pomiarów pewnej wielkości fizycznej X, dokonywanych w tych samych warunkach fizycz-
nych. Wartości x1, x2, . . . xn zmiennych losowych w tym ciągu to wyniki konkretnych ta-
kich pomiarów. Ciąg X1, X2, . . . Xn nazywamy próbą prostą.
Niech Sn(x; X1, X2, . . . Xn) oznacza ilość elementów próby prostej, których wartość jest
mniejsza niż x.
Sn(x; X1, X2, . . . Xn)
Fn(x; X1, X2, . . . Xn) = (albo Fn(x; x1, x2, . . . xn)) nazywamy dys-
n
trybuantÄ… empirycznÄ….
Zauważmy, że Sn(x; X1, X2, . . . Xn) oznacza ilość tych Xi, których wartość jest mniejsza
niż x. Jest to zatem ilość sukcesów w n próbach Bernoulliego, gdzie sukces w itej próbie
to zdarzenie {Xi < x} i p = P (Xi < x) = F (x) niezależnie od i.
Zatem Sn(x; X1, X2, . . . Xn) ma rozkład Bernoulliego B(n, p = F (x)).
Z tw. Borela otrzymujemy, że
z pr.1
Sn(x; X1, X2, . . . Xn)
-
Fn(x; X1, X2, . . . Xn) = p = F (x).
n"
n
Inaczej mówiąc, dla dużych n, dla prawie każdej wartości (x1, x2, . . . xn) wektora losowego
(X1, X2, . . . Xn) mamy Fn(x; x1, x2, . . . xn) H" F (x), czyli dystrybuanta empiryczna jest w
przybliżeniu równa dystrybuancie teoretycznej F .
1
n=10
0
0 2 4 6 8
1
Przykład:
n=100
Niebieski wykres:
0
F (x) = 1 - e-x dla x > 0,
0 2 4 6 8
czerwony wykres:
realizacja dystrybuanty empirycznej.
1
n=1000
0
0 2 4 6 8
7