Model klasyczny

Mówimy, że doświadczenie jest losowe jeśli możemy je wielokrotnie powtarzać, ale nie potrafimy przewidzieć który z wyników pojawi przy kolejnym powtórzeniu doświadczenia (np. rzut kostką, monetą).

Aby opisać doświadczenie losowe, musimy określić zbiór możliwych wyników. Wyniki doświadczenia muszą się nawzajem wykluczać, taki zbiór nazywamy przestrzenią zdarzeń elementarnych albo inaczej przestrzenią wyników .

Elementy przestrzeni wyników oznaczać będziemy .

Jeżeli przestrzeń  zawiera skończenie wiele wyników i wszystkie wyniki są jednakowo możliwe (jednakowo prawdopodobne) to powiemy, że doświadczenie możemy opisać za pomocą modelu klasycznego.

Zdarzeniem nazywamy dowolny podzbiór przestrzeni zdarzeń elementarnych .

• Definicja La Place'a (klasyczna definicja prawdopodobieństwa)

Prawdopodobieństwo zajścia zdarzenia P(A) zdefiniujemy jako iloraz mocy tegoż zdarzenia do mocy przestrzeni zdarzeń elementarnych:

- mamy do czynienia ze zbiorem  o skończonej liczbie elementów

Zamiast mówić, że wynik  należy do zbioru A, mówimy wynik  sprzyja zdarzeniu A. Jeżeli pojawi się wynik sprzyjający zdarzeniu A, mówimy że zaszło zdarzenia A.

• Zdarzenie przeciwne

Niech A będzie dowolnym zdarzeniem w przestrzeni . Zdarzeniem przeciwnym do zdarzenia A nazwiemy takie zdarzenie A', które zawiera wyniki niesprzyjające zdarzeniu A.

• Zdarzenia wykluczające się

Zdarzenia A i B nazwiemy wykluczającymi się jeśli nie istnieje w zbiorze  taki wynik , który sprzyjałby jednocześnie zdarzeniu A i zdarzeniu B.

• Suma zdarzeń

Sumą zdarzeń A i B nazywamy zdarzenie C zawierające wyniki sprzyjające zdarzeniu A lub B

• Zdarzenie pewne - będzie to cały zbiór 

• Zdarzenie niemożliwe - nazwiemy zdarzenie, któremu nie sprzyja żaden wynik

Rozkład prawdopodobieństwa

Rozkładem prawdopodobieństwa na przestrzeni  nazwiemy każdą funkcję p, która zdarzeniu _i przypisuje liczbę p(_i) w taki sposób, że liczby te począwszy od _i są nieujemne oraz sumują się do jedności.

Prawdopodobieństwem dowolnego zdarzenia A z przestrzeni  nazwiemy sumę wszystkich zdarzeń elementarnych ze zbioru wyników jej sprzyjających.

Prawdopodobieństwo zdarzenia niemożliwego wynosi 0.

Jeżeli jakieś doświadczenie może się skończyć tylko dwoma wynikami to nazwiemy je próbą Bernoulliego.

Powtórzenie próby nazwiemy niezależnym jeżeli pojawienie się dowolnego wyniku w jednej z prób nie zmienia prawdopodobieństwa pojawienia się każdego z wyników w drugiej próbie.

Schematem n prób Bernoulliego nazwiemy ciąg złożony z n niezależnych powtórzeń tej samej próby.

Oznaczmy jeden z wyników próby i nazwijmy go sukcesem. Niech prawdopodobieństwo sukcesu wynosi p. Drugi z wyników nazwijmy porażką i jego prawdopodobieństwo oznaczmy przez q.

• Wzór Bernoulliego

Prawdopodobieństwo p_n(k) że w schemacie n prób Bernoulliego uzyskamy dokładnie k sukcesów wyraża się wzorem:

gdzie k = 0, 1, … , k

• Prawdopodobieństwo warunkowe

Prawdopodobieństwem zdarzenia A pod warunkiem zajścia zdarzenia B nazywamy liczbę:

Liczbę P(A|B) nazywamy prawdopodobieństwem warunkowym zdarzenia A. Liczbę P(A) nazwiemy prawdopodobieństwem bezwarunkowym.

• Zdarzenia niezależne

Niech A będzie zdarzeniem o dodatnim prawdopodobieństwie zajścia. Zdarzenie A nazwiemy niezależnym od B, gdy zajście zdarzenia B nie wpływa na możliwość zajścia zdarzenia A.

• Prawdopodobieństwo całkowite

Układ zdarzeń B₁, B₂, … , B_n nazwiemy zupełnym układem zdarzeń w przestrzeni , jeżeli spełnione są następujące warunki:

Niech B₁, B₂, … , B_n będzie układem zupełnych zdarzeń w przestrzeni , wówczas dla dowolnego zdarzenia A z przestrzeni  prawdziwy jest następujący wzór:

Wzór ten nosi nazwę wzoru na prawdopodobieństwo całkowite.

Zmienna losowa

Zmienną losową X nazywamy dowolną funkcję, która każdemu wynikowy ze zbioru  przyporządkowuje liczbę rzeczywistą oznaczoną jako:

Prawdopodobieństwo, że zmienna losowa X przyjmie wartość x [P(X=x)] jest równe sumie prawdopodobieństw zajścia wszystkich zdarzeń elementarnych dla których zmienna losowa przyjmie wartość x.

Przykład:

i	1	2	3	4	5
P(1)	0,1	0,2	0,1	0,3	0,3
X(1)	-2	1	0	1	2

Niech X będzie zmienną losową. Oznaczmy przez _x zbiór wszystkich wartości zmiennej losowej X. Zmienna X określa na zbiorze _x pewien rozkład prawdopodobieństwa, rozkład ten nazywany jest rozkładem prawdopodobieństwa zmiennej losowej.

X(1)	-2	0	1	2
pi	0,1	0,1	0,5	0,3

• Wartość oczekiwana zmiennej losowe

Wartość oczekiwana zmiennej losowej X wyraża się wzorem:

Dla przykładu z tabeli wynosi ona zatem:

Niech X oraz Y będą zmiennymi losowymi określonymi na przestrzeni . Sumę tych zmiennych nazwiemy zmienną losową (X+Y)

• Wariancja zmiennej losowej

Wariancją zmiennej losowej X nazywamy liczbę Var(X), która wyraża się wzorem:

Przykład

X	-2	-1	0	1	5
p(X=x)	0,1	0,2	0,1	0,5	0,1

Inne oznaczenia wariancji: D²X, σ²x

Pierwiastek z wariancji nazywamy odchyleniem standardowym. Odchylenie standardowe jest również miarą rozrzutu wartości zmiennej losowej.

Uogólnienie modelu prawdopodobieństwa

Przed dalszymi rozważaniami musimy dokonać uogólnienia modelu prawdopodobieństwa. Zaproponowano wiele różnych modeli, obecnie najbardziej znany model to model Kołmogorowa (1923).

Założenia modelu Kołmogorowa:

1. Przestrzeń zdarzeń elementarnych czyli wyników jest pojęciem pierwotnym. Jej elementy nazywa się zdarzeniem elementarnym.

2. Przestrzeń zdarzeń elementarnych czyli  dobierana jest do każdego doświadczenia losowego.

3. Po określeniu przestrzeni  należy wybrać rodzinę podzbiorów tej przestrzeni zwaną zdarzeniami losowymi Rodzinę będziemy oznaczać A i nazywać przeliczalną algebrą zdarzeń. Rodzina A musi spełniać następujące warunki:

Jeżeli  zawiera skończoną lub przeliczalnie nieskończoną liczbę wyników to za przeliczalną algebrę zdarzeń  przyjmujemy zwykle rodziny wszystkich podzbiorów zbioru .

• Definicja prawdopodobieństwa

Prawdopodobieństwem nazwiemy dowolną funkcję P, która każdemu zdarzeniu A z algebry  przyporządkowuje pewną liczbę P(A) tak aby spełnione były następujące aksjomaty:

Wszystkie podane tu wcześniej wzoru dla modelu klasycznego zachowują ważność.

Rodzaje zmiennych losowych

Zmienne losowe mogą być typu skokowego, gdy przyjmują skończoną lub przeliczalnie nieskończoną liczbę wartości, oraz typu ciągłego jeśli możliwe wartości należą do przedziałów ze zbioru liczb rzeczywistych.

• Zmienne losowe typu ciągłego

Niech zmienna losowa X przypisuje noworodkowi jego wagę. Zbiór jej możliwych wartości jest przedziałem.

Dystrybuantę zmiennej losowej X (funkcję rozkładu) nazywamy funkcję F(X) określoną na zbiorze licz rzeczywistych i określoną równością:

X	-2	0	1	3
pi	0,2	0,1	0,4	0,2

• Funkcja gęstości prawdopodobieństwa

Rozważmy prawdopodobieństwo, że zmienna losowa X przyjmuje wartości pomiędzy x₀, a x_0+x:

F - funkcja rozkładu

F'(x) - pochodna dystrybuanty

Funkcję gęstości prawdopodobieństwo zmiennej losowej typu ciągłego nazywamy funkcję f(x) określoną na zbiorze liczb rzeczywistych o następujących własnościach:

- czyli prawdopodobieństwo, że zmienna losowa jest w przedziale od a do b

Zmienne losowe dwumiarowe

Niech E będzie zbiorem zdarzeń elementarnych danego doświadczenia. Układ n-funkcji X₁, X₂, … , X_n, przyporządkowującej każdemu zdarzeniu elementarnemu e, należącemu do E, n liczb rzeczywistych (x₁, x₂, … , x_n) nazywamy zmienną losową n-wymiarową.

Zmienne losowe mogą być skokowe lub ciągłe.

Dwuwymiarowa zmienna losowa (XY) jest typu skokowego jeśli przyjmuje skończoną lub co najwyżej przeliczalnie nieskończoną liczbę wartości (X_i, Y_j; i, j = 1, 2, …) z prawdopodobieństwem P_ij.

Cechy rozkładu

• Wartość oczekiwana

Wartością oczekiwaną zmiennej losowej X nazywamy wyrażenie:

Własności zmiennej losowej

• Wariancja

Wariancją zmiennej losowej X nazywać będziemy wyrażenie:

Wariancja określa stopień rozrzutu wartości zmiennej X wokół wartości oczekiwanej.

Własności

• Dystrybuanta

Dystrybuantą zmiennej losowej XY typu skokowego nazywamy funkcję rzeczywistą określoną wzorem:

Wniosek: Z definicji wynika, że taką zmienną losową możemy przedstawić za pomocą tablicy:

	y1	y2	…	yl
x1	p11	p12	…	p1l	p1.
x2	p21	p22	…	p2l	p2.
…	…	…	…	…	…
xk	pk1	pk2	…	pkl	pk.
	p.1	p.2	…	p.l	1

Tablica ta określa tzw. funkcję prawdopodobieństwa zmiennej losowej XY.

Zbiory prawdopodobieństw p_i. dla i = 1, 2, … , k oraz p_.j dla j = 1, 2, … , l tworzą funkcję prawdopodobieństwa rozkładów określonych odpowiednio jako rozkład brzegowy zmiennej losowej X oraz zmiennej Y.

Przykład

Niech będzie dana dwuwymiarowa zmienna losowa X oraz Y. Wyznaczyć rozkłady brzegowe dla zmiennej losowe XY o rozkładzie prawdopodobieństw podanym w tabeli.

	1	2	3	4	pij
-10	1/12	1/24	1/24	1/24	5/24
-8	1/6	1/12	0	1/12	8/24
0	5/12	0	1/24	0	11/24
pij	16/24	3/24	2/24	3/24	1

• Standaryzacja zmiennej losowej

Niech X będzie zmienną losową. Zbudujemy nową zmienną:

Nierówności Czebyszewa

Dla zmiennej losowej X o dowolnym rozkładzie zachodzi nierówność

Oznacza to, że (dla przykładu k = 3) w dowolnym rozkładzie wartość zmiennej losowej różni się od swej wartości oczekiwanej o więcej niż 3 odchylenia standardowe jest niewielkie i wynosi 1/9.

• Uogólnienia

1. Momentem zwykłym rzędu k (k = 0, 1, …) zmiennej losowej X nazywamy wartość oczekiwaną k-tej potęgi tej zmiennej:

2. Momentem centralnym rzędu k (k = 0, 1, …) zmiennej losowej X nazywamy wartość oczekiwaną funkcji _k

• Parametry rozkładu zmiennej losowej dwuwymiarowej

1. Momentem zwykłym zmiennej losowej rzędu k + l nazywać będziemy funkcję:

Własności:

Przykład

Dla przykładu z powyższej tabeli obliczyć E (X), E (Y), E (XY)

2. Momentem centralnym rzędu k + l (k, l = 0, 1, …) dwuwymiarowego rozkładu zmiennej losowej XY nazywamy następujące wyrażenie:

kov - kowariancja zmiennych losowych X, Y

Przykład

Policzyć wariancję zmiennych X i Y z poprzedniego zadania

Można udowodnić, ze jeśli zmienne losowe X oraz Y są stochastycznie niezależne to wariancja jest równa 0. Twierdzenie odwrotne nie jest prawdziwe. O zmiennych losowych X oraz Y dla których kowariancja jest równa 0 mówimy, że są nieskorelowe.

Zachodzą nierówności

Zachodzi równość

Kowariancja jest jednym z najważniejszych parametrów dwuwymiarowego rozkładu zmiennej (X,Y)

• Współczynnik korelacji

Wielkości ρ nazywany jest współczynnikiem korelacji zmiennych X oraz Y.

Współczynnik korelacji jest wykorzystywany w analizie zależności między zmiennymi.

Przykład

Wyznaczyć współczynnik korelacji zmiennych X oraz Y z powyższego zadania

Rozkłady warunkowe

Wartością oczekiwaną rozkładu warunkowego (warunkową wartością oczekiwaną) zmiennej losowej X przy założeniu, że losowa Y przyjmuje wartość y jest wyrażeniem:

Analogicznie określamy

Przykład

Dla powyższego zadania wyznaczyć E (X|Y)

• Regresja pierwszego rodzaju

Funkcja

dla zmiennej losowej skokowej oraz funkcja

dla zmiennej losowej ciągłej nazywamy funkcję regresji I-go stopnia rodzaju zmiennego losowej X względem zmiennej Y.

• Regresja drugiego rodzaju

- związek liniowy jest lepszy od nieliniowego

- przenoszenie przez części liniowe

Krzywe regresji I rodzaju wygodnie jest zastąpić liniami prostymi (o ile uzyskane w taki sposób przybliżenie można uznać za zadowalające)

Prostą o równaniu Y = aX + bY spełniająca warunek minimalności nazywamy prostą regresji II-go stopnia zmiennej losowej Y względem zmiennej losowej X. Można wykazać, że współczynniki równania prostej spełniającej wymóg minimalizacji określają następujące wzoru:

Parametr a nazywamy współczynnikiem regresji liniowej. Parametr b nazywamy wyrazem wolnym liniowej funkcji regresji Analogicznie wyznacza się prostą regresji drugiego rodzaju zmiennej losowej X względem zmiennej losowej Y. Obie te proste przechodzą przez punkt [E(X), E(Y)].

Pojęcie prostej regresji można uogólnić na przypadek zmiennej losowej N wymiarowej gdzie N minimum wynosi 2.

Przykład

Wyznaczyć dla wcześniejszego zadania prostą regresji II-go rodzaju zmiennej losowej X względem zmiennej losowej Y.

Zależność pomiędzy dwoma zmiennymi losowymi charakteryzuje się współczynnikiem korelacji.

Jeżeli ρ = 0 to zmienne X i Y są nieskorelowane, wtedy proste regresji drugiego stopnia są równoległe do osi układu.

Jeżeli ρ  0 to zmienne są skorelowane.

Dodatnie skorelowanie zmiennych:

Ujemne skorelowanie zmiennych:

DYSTRYBUANTA

WSPÓŁCZYNNIK KORELACJI
WSPÓŁCZYNNIK REGRESJI

FUNKCJA GĘSTOŚCI

---