Rachunek prawdopodobieństwa MAP1151

Wydział Elektroniki, rok akad. 2009/10, sem. letni

Wykładowca: dr hab. A. Jurlewicz

Wykład 7: Zmienne losowe dwuwymiarowe. Rozkła-

dy łączne, brzegowe. Niezależność zmiennych loso-
wych. Momenty. Współczynnik korelacji. Sumowa-
nie niezależnych zmiennych losowych. Prawo wiel-
kich liczb.

Zmienne losowe dwuwymiarowe, rozkład łączny, rozkłady
brzegowe.

Definicja.

Zmienna losowa dwuwymiarowa

to wektor (X, Y ), którego składowe X, Y są

zmiennymi losowymi.

Rozkład wektora losowego

(X, Y ) to funkcja P ((X, Y ) ∈ C), gdzie C to bo-

relowski podzbiór płaszczyzny

R

2

. Nazywamy go

rozkładem łącznym

zmiennych

losowych X, Y .

Rozkład zmiennej losowej X i rozkład zmiennej losowej Y nazywamy

rozkładami

brzegowymi

wektora losowego (X, Y ).

Pełna informacja o rozkładzie łącznym zmiennych losowych X, Y zawarta jest:

(a) w dystrybuancie tego rozkładu, czyli funkcji

F

X,Y

(x, y) = P (X < x, Y < y)

(b) w przypadku dyskretnego wektora losowego (X, Y ) zawarta jest także w ciągu

trójek {(x

n

, y

k

, p

nk

), n ∈

T

1

⊂

N

, k ∈

T

2

⊂

N

}, gdzie {x

n

, n ∈

T

1

} oraz {y

k

, k ∈

T

2

}

to ciągi wszystkich wartości przyjmowanych odpowiednio przez X i Y z dodatnimi
prawdopodobieństwami, natomiast p

nk

= P (X = x

n

, Y = y

k

), n ∈

T

1

, k ∈

T

2

.

(Ciągi {x

n

, n ∈

T

1

} oraz {y

k

, k ∈

T

2

} muszą być różnowartościowe, natomiast

p

nk

­ 0 dla wszystkich n, k oraz

P

n∈T

1

P

k∈T

2

p

nk

= 1, aby rozkład był dobrze określony.)

(c) w przypadku ciągłego rozkładu wektora losowego (X, Y ) zawarta jest także w

gęstości łącznej f (x, y), czyli takiej funkcji f (x, y) ­ 0 dla każdego (x, y), że

F

X,Y

(x, y) =

x

Z

−∞

ds

y

Z

−∞

f (s, t)dt

(Aby funkcja f (x, y) była gęstością pewnego rozkładu prawdopodobieństwa musi

spełniać warunki: f (x, y) ­ 0 dla każdego (x, y) oraz

∞

Z

−∞

dx

∞

Z

−∞

f (x, y)dy = 1.)

1

Fakt: Jeśli znamy rozkład łączny, to znamy też rozkłady brzegowe, gdyż:

F

X

(x) = P (X < x) = P (X < x, Y < ∞) =

lim

y→∞

F

X,Y

(x, y),

F

Y

(y) = P (Y < y) = P (X < ∞, Y < y) =

lim

x→∞

F

X,Y

(x, y)

W przypadku dyskretnego wektora losowego (X, Y ) zadanego ciagiem
{(x

n

, y

k

, p

nk

), n ∈

T

1

, k ∈

T

2

}:

rozkład zmiennej losowej X zadany jest ciągiem {(x

n

, p

n·

), n ∈

T

1

}, gdzie

p

n·

= P (X = x

n

) =

P

k∈T

2

P (X = x

n

, Y = y

k

) =

P

k∈T

2

p

nk

Podobnie, rozkład zmiennej losowej Y zadany jest ciągiem {(y

k

, p

·k

), k ∈

T

2

},

gdzie p

·k

= P (Y = y

k

) =

P

n∈T

1

P (X = x

n

, Y = y

k

) =

P

n∈T

1

p

nk

W przypadku wektora o rozkładzie ciągłym o gęstości łącznej f (x, y)
można pokazać, że:

rozkład zmiennej losowej X jest ciągły o gęstości f

X

(x) =

∞

Z

−∞

f (x, y)dy,

rozkład zmiennej losowej Y jest ciągły o gęstości f

Y

(y) =

∞

Z

−∞

f (x, y)dx.

Niezależność zmiennych losowych

Definicja.

Zmienne losowe X i Y są

niezależne

, gdy dla dowolnych borelowskich zbiorów B

1

i B

2

zdarzenia {X ∈ B

1

} i {Y ∈ B

2

} są niezależne,

tzn. P (X ∈ B

1

, Y ∈ B

2

) = P (X ∈ B

1

)P (Y ∈ B

2

).

Zmienne losowe X

1

, X

2

, . . . , X

n

są niezależne, gdy dla dowolnych borelowskich zbiorów

B

1

, B

2

, . . . , B

n

rodzina {{X

i

∈ B

i

}, i = 1, 2, . . . , n} jest rodziną zdarzeń niezależnych.

Fakt.

Zmienne losowe X i Y są niezależne wtedy i tylko wtedy, gdy dla każdego (x, y)

F

X,Y

(x, y) = F

X

(x)F

Y

(y).

W przypadku rozkładu dyskretnego warunek ten jest równoważny warunkowi

p

nk

= p

n·

p

·k

dla każdego (n, k) z odpowiedniego zakresu.
W przypadku rozkładu ciągłego warunkiem równoważnym jest

f (x, y) = f

X

(x)f

Y

(y)

dla prawie wszystkich (x, y) (tzn. równość może nie zachodzić na zbiorze o polu 0).

Przykłady do zad. 5.1, 5.2

2

Wartość oczekiwana i macierz kowariancji zmiennej loso-
wej dwuwymiarowej. Współczynnik korelacji.

Definicja.

(EX, EY ) to wektor wartości oczekiwanych zmiennej losowej dwuwymiarowej (X, Y ).

Cov(X, Y ) = EXY − EXEY - współczynnik kowariancji zmiennych X i Y

"

D

2

X

Cov(X, Y )

Cov(X, Y )

D

2

Y

#

to macierz kowariancji zmiennej losowej dwuwymiarowej (X, Y )

Parametry te są dobrze określone, o ile istnieją wartości oczekiwane i wariancje zmiennych
losowych X i Y

Fakt.

Dla dowolnej funkcji borelowskiej

EZ = Eg(X, Y ) =

∞

Z

−∞

∞

Z

−∞

g(x, y)dF

X,Y

(x, y) =

=























P

n∈T

1

P

k∈T

2

g(x

n

, y

k

)p

nk

,

gdy X ma rozkład dyskretny

zadany ciągiem {(x

n

, y

k

, p

nk

), n ∈

T

1

, k ∈

T

2

};

∞

R

−∞

∞

R

−∞

g(x, y)f (x, y)dxdy, gdy X ma rozkład ciągły o gęstości f (x, y).

o ile całka (szereg) zbieżne.

Stąd jeśli istnieją EX i EY , to

E(X + Y ) = EX + EY

oraz jeśli istnieją D

2

X i D

2

Y , to

D

2

(X + Y ) = D

2

X + D

2

Y + 2Cov(X, Y ).

Definicja.

Przy założeniu, że istnieją D

2

X > 0 i D

2

Y > 0, określamy

współczynnik korelacji

zmiennych losowych X i Y jako:

ρ

XY

=

Cov(X, Y )

√

D

2

X · D

2

Y

.

Własności współczynnika korelacji:

• |ρ

XY

| ¬ 1.

• |ρ

XY

| = 1 wtedy i tylko wtedy, gdy Y = aX + b dla pewnych stałych a 6= 0, b, przy

czym ρ

XY

= 1 odpowiada a > 0, a ρ

XY

= −1 odpowiada a < 0 (pełna liniowa

zależność Y od X).

• Gdy ρ

XY

= 0, mówimy, że X i Y są nieskorelowane.

Przykłady do zad. 5.3

3

Fakt.

Jeżeli zmienne losowe X i Y są niezależne oraz ich wartości oczekiwane i wariancje istnieją,
przy czym wariancje są niezerowe, to

EXY = EXEY

a stąd

D

2

(X + Y ) = D

2

X + D

2

Y

oraz ρ

XY

= 0.

Zatem jeśli zmienne losowe o skończonych i niezerowych wariancjach są niezależne, to są
też nieskorelowane. Implikacja odwrotna nie jest prawdziwa.

Przykłady do zad. 5.4

Suma niezależnych zmiennych losowych.

X i Y to niezależne zmienne losowe odpowiednio o dystrybuantach F

X

(x) i F

Y

(y).

Wówczas Z = X + Y ma rozkład o dystrybuancie

F

X+Y

(z) =

∞

Z

−∞

F

X

(z − y)dF

Y

(y).

Jest to tzw. splot dystrybuant (miar).

Jeśli X i Y mają rozkłady ciągłe o gęstościach odpowiednio f

X

(x) i f

Y

(y),

to Z = X + Y też ma rozkład ciągły o gęstości

f

X+Y

(z) =

∞

Z

−∞

f

X

(z − y)f

Y

(y)dy = (f

X

∗ f

Y

)(z).

Jest to znany nam splot gęstości.

4

Zbieżności ciągu zmiennych losowych z prawdopodobień-
stwem 1 i stochastyczna.

Definicja.

Ciąg zmiennych losowych X

1

, X

2

, . . . jest

zbieżny z prawdopodobieństwem 1

(in.

prawie na pewno

) do zmiennej losowej X, jeżeli

P (ω : lim

n→∞

X

n

(ω) = X(ω)) = 1.

Oznaczenie: X

n

z pr.1

−→

n→∞

X, X

n

p.n.

−→

n→∞

X, lim

n→∞

X

n

= X z prawd. 1.

Uwaga:
Ciąg zbieżny punktowo jest zbieżny z prawdopodobieństwem 1.

(Ciąg X

1

, X

2

, . . . jest zbieżny punktowo do X, jeżeli

lim

n→∞

X

n

(ω) = X(ω) dla każdego ω ∈ Ω.)

Zbieżność stochastyczna:

Definicja.

Ciąg zmiennych losowych X

1

, X

2

, . . . jest

zbieżny stochastycznie

(in.

według prawdopodobieństwa

) do zmiennej losowej X, jeżeli

^

P (|X

n

− X| ­ ) −→

n→∞

0.

>0

Oznaczenie: X

n

P

−→

n→∞

X, P − lim

n→∞

X

n

= X.

Fakt.

(a) Jeżeli X

n

z pr.1

−→

n→∞

X, to X

n

P

−→

n→∞

X.

(b) Jeżeli X

n

P

−→

n→∞

X, to istnieje podciąg (X

k

n

) ciagu (X

n

), taki że X

k

n

z pr.1

−→

n→∞

X.

5

Prawa wielkich liczb (PWL)

Definicja.

Niech X

1

, X

2

, . . . będzie ciągiem zmiennych losowych o skończonych wartościach oczeki-

wanych EX

n

= m

n

. Niech S

n

= X

1

+ X

2

+ . . . + X

n

, a

n

= m

1

+ m

2

+ . . . + m

n

.

Mówimy, że ciąg (X

n

) spełnia

słabe prawo wielkich liczb (SPWL)

, gdy

S

n

− a

n

n

=

1

n

n

X

k=1

(X

k

− m

k

)

P

−→

n→∞

0.

Mówimy, że ciąg ten spełnia

mocne prawo wielkich liczb (MPWL)

, gdy

S

n

− a

n

n

z pr.1

−→

n→∞

0.

Oczywiście MPWL =⇒ SPWL.

PWL dla ciągów zmiennych losowych o jednakowym
rozkładzie

Twierdzenie Chinczyna.

Niech (X

n

) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie,

przy czym E|X

n

| < ∞. Wtedy ciąg ten spełnia SPWL, które w tym przypadku można

zapisać w postaci

S

n

n

=

1

n

n

X

k=1

X

k

P

−→

n→∞

m = EX

1

.

MPWL Kołmogorowa.

Niech (X

n

) będzie ciągiem niezależnych zmiennych losowych o jednakowym rozkładzie.

Ciąg ten spełnia MPWL, które w tym przypadku można zapisać w postaci

S

n

n

=

1

n

n

X

k=1

X

k

z pr.1

−→

n→∞

m = EX

1

.

wtedy i tylko wtedy, gdy E|X

n

| < ∞.

6

Szczególny przypadek:

Jeżeli (X

n

) to ciąg niezależnych zmiennych losowych o jednakowym rozkładzie zerojedyn-

kowym B(1, p), tzn. P (X

n

= 1) = p = 1 − P (X

n

= 0), to S

n

ma rozkład Bernoulliego

B(n, p), taki jak rozkład ilości sukcesów w n próbach Bernoulliego z prawdopodobień-
stwem sukcesu p, a m = EX

1

= p.

Prawo wielkich liczb Bernoulliego, twierdzenie Borela:

Niech S

n

będzie liczbą sukcesów w n próbach Bernoulliego z prawdopodobieństwem suk-

cesu p. Wtedy zachodzi

• PWL Bernoulliego (XVII/XVIII w.) (SPWL)

S

n

n

P

−→

n→∞

p.

• twierdzenie Borela (pocz. XX w.) (MPWL)

S

n

n

z pr.1

−→

n→∞

p.

Interpretacja:
Częstość występowania sukcesu w n próbach Bernoulliego przybliża przy dużym n praw-
dopodobieństwo p sukcesu w pojedynczej próbie. Odpowiada to obserwacjom z natury, że
częstość zdarzenia losowego stabilizuje się na pewnym poziomie.

Przykłady do zad. 5.5

7

Przykłady zastosowań PWL

Metoda Monte Carlo obliczania całek oznaczonych:

Niech X

1

, X

2

, . . . X

n

będzie ciągiem niezależnych zmiennych losowych o jednakowym roz-

kładzie jednostajnym na przedziale [a, b] oraz niech f będzie funkcją rzeczywistą taką, że
Ef (X

1

) istnieje i jest skończona.

Przy powyższych założeniach f (X

1

), f (X

2

), . . . f (X

n

) jest także ciągiem niezależnych zmien-

nych losowych o jednakowym rozkładzie, przy czym istnieje wartość oczekiwana Ef (X

1

).

Ponadto Ef (X

1

) =

1

b − a

b

Z

a

f (x)dx. Z MPWL Kołmogorowa mamy

1

n

n

X

k=1

f (X

k

)

z pr.1

−→

n→∞

Ef (X

1

) =

1

b − a

b

Z

a

f (x)dx.

Możemy zatem do obliczania przybliżonej wartości całki oznaczonej

b

R

a

f (x)dx zastosować

następujący algorytm:

(i) losujemy niezależnie liczby u

1

, u

2

, . . . , u

n

z rozkładu jednostajnego U [0, 1];

(ii) przekształcamy x

k

= a + (b − a)u

k

dla k = 1, 2, . . . , n otrzymując w ten sposób

próbkę z rozkładu U (a, b);

(iii) jako przybliżoną wartość całki przyjmujemy

b

R

a

f (x)dx ≈

b − a

n

n

X

k=1

f (x

k

).

Przykładowy program w Matlabie
function calkowanieMonteCarlo
N=10000;

%N - ilość prób Monte Carlo

%(im wieksze N, tym wynik przyblizony blizszy rzeczywistej wartosci calki)

a=-1;

%a - poczatek przedzialu calkowania

b=1;

%b - koniec przedzialu calkowania

%generujemy x

1

, x

2

, ..., x

N

z rozkładu jednostajnego na przedziale (a, b)

x=a+(b-a)*rand(1,N);

%liczymy wartości funkcji podcałkowej f (x

1

), f (x

2

), . . . , f (x

N

), gdzie f (x) =

√

1 − x

2

f=sqrt(1-x.ˆ2);

%obliczamy przybliżoną wartość całki ze wzoru

b−a

n

P

n
k=1

f (x

k

)

calka=(b-a)/N*sum(f)

Uwaga:

b

R

a

f (x)dx =

1

R

−1

√

1 − x

2

dx =

π

2

≈ 1, 5707963267

Kilka otrzymanych wyników przybliżonych: 1,5725; 1,5680; 1,5736; 1,5729.

8

Dystrybuanta empiryczna:

Rozważmy ciąg X

1

, X

2

, . . . X

n

niezależnych zmiennych losowych o jednakowym rozkładzie

opisanym dystrybuantą F (x). Ciąg ten interpretujemy jako opis wyników n niezależnych
pomiarów pewnej wielkości fizycznej X, dokonywanych w tych samych warunkach fizycz-
nych. Wartości x

1

, x

2

, . . . x

n

zmiennych losowych w tym ciągu to wyniki konkretnych ta-

kich pomiarów. Ciąg X

1

, X

2

, . . . X

n

nazywamy próbą prostą.

Niech S

n

(x; X

1

, X

2

, . . . X

n

) oznacza ilość elementów próby prostej, których wartość jest

mniejsza niż x.

F

n

(x; X

1

, X

2

, . . . X

n

) =

S

n

(x; X

1

, X

2

, . . . X

n

)

n

(albo F

n

(x; x

1

, x

2

, . . . x

n

)) nazywamy dys-

trybuantą empiryczną.

Zauważmy, że S

n

(x; X

1

, X

2

, . . . X

n

) oznacza ilość tych X

i

, których wartość jest mniejsza

niż x. Jest to zatem ilość sukcesów w n próbach Bernoulliego, gdzie sukces w itej próbie
to zdarzenie {X

i

< x} i p = P (X

i

< x) = F (x) niezależnie od i.

Zatem S

n

(x; X

1

, X

2

, . . . X

n

) ma rozkład Bernoulliego B(n, p = F (x)).

Z tw. Borela otrzymujemy, że

F

n

(x; X

1

, X

2

, . . . X

n

) =

S

n

(x; X

1

, X

2

, . . . X

n

)

n

z pr.1

−→

n→∞

p = F (x).

Inaczej mówiąc, dla dużych n, dla prawie każdej wartości (x

1

, x

2

, . . . x

n

) wektora losowego

(X

1

, X

2

, . . . X

n

) mamy F

n

(x; x

1

, x

2

, . . . x

n

) ≈ F (x), czyli dystrybuanta empiryczna jest w

przybliżeniu równa dystrybuancie teoretycznej F .

0

2

4

6

8

0

1

0

2

4

6

8

0

1

0

2

4

6

8

0

1

n=10

n=100

n=1000

Przykład:
Niebieski wykres:
F (x) = 1 − e

−x

dla x > 0,

czerwony wykres:
realizacja dystrybuanty empirycznej.

9