WYKŁAD 1 /04.10.2002./

ω - zdarzenie elementarne

Ω - zbiór wszystkich zdarzeń elementarnych

Klasyczna definicja prawdopodobieństwa /La Place'a/:

Jeśli zbiór wszystkich zdarzeń elementarnych Ω jest zbiorem skończonym i wszystkie zdarzenia elementarne ω są jednakowo prawdopodobne to prawdopodobieństwo zajścia zdarzenia A (
) obliczamy ze wzoru:

, gdzie:

/n jest liczebnością zbioru wszystkich zdarzeń, a k liczebnością zbioru A)

Podstawowe własności prawdopodobieństwa:

Gdy nie wszystkie zdarzenia elementarne ω są jednakowo prawdopodobne, ale zbiór Ω jest zbiorem skończonym to spełnione są następujące aksjomaty: /1. i 2./

1. 
   

2. 
   

3. 
   

4. 
   /z 3. i 4. wynika 2./

5. 
   

Prawdopodobieństwo warunkowe:

Jeśli dwa zdarzenia należą do tego samego zbioru
to zapis
oznacza zajście zdarzenia A pod warunkiem, że zaszło zdarzenie B, a prawdopodobieństwo warunkowe obliczamy ze wzoru:

Prawdopodobieństwo całkowite:

Jeśli mamy układ zupełny zdarzeń, tzn. spełnione są warunki:

1.

2.

3.

to prawdopodobieństwo zajścia zdarzenia A obliczamy ze wzoru:

Układ zdarzeń
może być nieskończony, wtedy:

Szereg liczbowy i jego suma:

Zdarzenia niezależne:

Uogólnia się to na układ zdarzeń, jeśli każde dwa zdarzenia układu spełniają tę własność.

Schemat Bernouliego:

Ciąg n niezależnych doświadczeń, w wyniku których pojawia się pewne ustalone zdarzenie ze stałym prawdopodobieństwem p w każdym z doświadczeń.

Prawdopodobieństwo k sukcesów w schemacie n-krotnym obliczamy ze wzoru:

- zdarzenie przeciwne do zdarzenia A

Uogólnienie pojęcia prawdopodobieństwa:

W praktycznych zastosowaniach zdarzenie elementarne jest kojarzone z liczbowym wynikiem pewnego doświadczenia, eksperymentu, obserwacji.

Schemat opisujący model związany z przeprowadzanym eksperymentem, oparty na skończonym zbiorze zdarzeń elementarnych Ω może być i najczęściej jest niewystarczający w opisie modelowanych zjawisk.

Konieczne staje się zatem rozpatrzenie schematu, w którym zbiór zdarzeń elementarnych Ω jest zbiorem bardziej licznym:

• nieprzeliczalnym i równolicznym ze zbiorem liczb rzeczywistych R

• przeliczalnym ale nieskończonym, równolicznym ze zbiorem liczb naturalnych N

W obu przypadkach klasyczna definicja prawdopodobieństwa nie znajduje zastosowania.

Algebra zbiorów:

Jeśli mamy dany zbiór /przestrzeń/ Ω oraz zbiór podzbiorów /niekoniecznie wszystkich/ B zbioru Ω, to zbiór B nazywamy algebrą zbiorów jeśli spełniony jest następujący układ własności:

1.

2.

3.

Jeśli natomiast Ω jest zbiorem zdarzeń elementarnych, to rodzinę zdarzeń B nazywamy algebrą zdarzeń jeśli spełnione są warunki:

1.

2.

Uogólnieniem algebry zdarzeń jest tzw. przeliczalnie addytywna algebra zdarzeń.

Rodzina zdarzeń B jest przeliczalnie addytywną algebrą zdarzeń jeśli:

i jest inaczej określana jako
/sigma/ algebra zdarzeń

Definicja teoretyczna (Kołmogorowa):

Jeśli dany jest zbiór zdarzeń elementarnych Ω i rodzina zdarzeń B podzbiorów zbioru Ω, będąca σ algebrą zdarzeń, wtedy prawdopodobieństwem nazywamy funkcję określoną na σ algebrze zdarzeń:

spełniającą aksjomaty:

1.

2.

WYKŁAD 2 /11.10.2002/

Zmienna losowa - wartość pojawiająca się w wyniku pomiaru, w trakcie eksperymentu. Jest uogólnieniem cechy statystycznej.

Definicja: Mówimy, że funkcja X : Ω R /funkcja X przekształcająca zdarzenia elementarne w zbiór liczb rzeczywistych/ jest zmienną losową, gdy spełnia warunek:

Taki stan mamy, gdy zbiór Ω jest zbiorem skończonym.

Ten zapis oznacza, że zmienna losowa X przyjmuje wartości mniejsze od a.

W celu właściwego i pełnego scharakteryzowania rozmieszczenia wartości liczbowych przyjmowanych przez zmienną losową X /na osi liczbowej/ należy określić tzw. rozkład tych wartości.

Najbardziej ścisłym sposobem określenia rozkłady zmiennej losowej jest określenie tzw. funkcji rozkładu, zwanej dystrybuantą zmiennej losowej.

Dystrybuantą /funkcją rozkładu/ zmiennej losowej X nazywamy funkcję F (czasami z subskryptem) typu R<0;1>

/liczbowo-liczbową/ określoną:

Własności dystrybuanty:

1. Dystrybuanta jest funkcją monotonicznie rosnącą

2. Dystrybuanta jest funkcją przynajmniej lewostronnie ciągłą

1. 
   Prawdopodobieństwo, że zmienna losowa nie przyjmie żadnej wartości jest równe zero.

2. 
   Prawdopodobieństwo przyjęcia jakiejkolwiek wartości jest równe 1.

Dystrybuanta charakteryzuje dowolne zmienne: skończone, nieskończone, przeliczalne i nieprzeliczalne.

Klasyfikacja zmiennych losowych:

1. zmienne losowe dyskretne /skokowe/ - zmienne o rozkładzie dyskretnym /skokowym/

Mówimy, że zmienna losowa X ma rozkład dyskretny, jeśli przyjmuje skończoną /
/ lub przeliczalną /
/ liczbę wartości, gdzie
są punktami skokowymi, przy czym wartości te są przyjmowane /osiągane/ odpowiednio z prawdopodobieństwem
/dla skończonej liczby punktów skokowych/ lub
/dla nieskończonej liczby punktów skokowych, a prawdopodobieństwa
nazywane są skokami.

Czyli, że
.

Rozkład jest prawidłowo określony, gdy

Funkcja prawdopodobieństwa zmiennej losowej dyskretnej:

Funkcję tą graficznie przedstawia się nastepująco:

Z tego wynika, że wykres dystrybuanty to wykres funkcji prawdopodobieństwa.

2. zmienne losowe ciągłe - zmienne o rozkładzie ciągłym

Jeśli zmienna losowa X przyjmuje przeliczalną liczbę wartości /warunek konieczny/, przy czym istnieje taka funkcja f typu R R, że:

,

funkcję f nazywamy gęstością prawdopodobieństwa zmiennej losowej X.

Korzystając z własności funkcji jako górnej granicy całkowania, zawsze w punktach ciągłości /tu: dystrybuanty/ możemy różniczkować i
.

Podstawową zmienną losową typu ciągłego jest tzw. Zmienna o rozkładzie normalnym
, gdzie: m - wartość oczekiwana;
- odchylenie standardowe

Mówimy, ze zmienna losowa X jest typu
jeśli jej funkcja gęstości określona jest wzorem:

Wypukłość i wklęsłość zależą od σ, a n charakteryzuje wartość neutralną.

Szczególnym przypadkiem jest
- symetryczna względem osi OY i parzysta.

Pole zakolorowanego obszaru jest prawdopodobieństwem tego, że zmienna X przyjmuje wartości z przedziału <a;b>

Zmienna losowa ciągła charakteryzuje się tym, że prawdopodobieństwo przyjęcia konkretnej /narzuconej/ wartości jest równe zero, a mimo to może ona przyjąć tą wartość.

Wykład 3 /18.10.2002/

Obliczanie prawdopodobieństwa przynależności zmiennej losowej do pewnych zbiorów (w szczególności
)

• jeżeli zmienna jest dyskretna, to:
  ;
  

• 
  jeżeli zmienna jest ciągła, to:
  i przedstawiane jest geometrycznie jako obszar od a do b

Dowód

Zdarzenie

Ponieważ F jest funkcją ciągłą, to z ciągłości funkcji wynika:

więc

Funkcje zmiennej losowej:

Jeśli dana jest zmienna losowa X oraz funkcja g, to funkcja
jest nazywana funkcją zmiennej losowej i jest ona także zmienną losową. (jeśli spełniony jest warunek z definicji zmiennej losowej - gdy g jest ciągła to zawsze X jest zmienną losową)

Przykład: Wyznaczenie rozkładu zmiennej Y zmiennej typu skokowego X.

Y=2X+1

Rozkład X:

X	0	1

Rozkłady Y:

	1	3

/ 1=2*0+1 / /3=2*1+1/ a prawdopodobieństwa przechodzą.

Twierdzenie o funkcji gęstości zmiennej losowej:

Jeśli X jest zmienną losową typu ciągłego o rozkładzie wyznaczonym przez funkcję gęstości
oraz dana jest zmienna losowa
, przy czym funkcja g jest funkcją ciągłą, różniczkowalną i jej pierwsza pochodna jest także ciągła /
/, przy czym funkcja g jest różnowartościowa, to gęstość zmiennej losowej Y określona jest wzorem:

h - funkcja odwrotna do funkcji g

Gdy funkcja g jest nieróżnowartościowa

Twierdzenie:

Jeżeli w przedziale możliwych wartości zmiennej losowej X funkcja losowa
jest niejednoznaczna (jednej wartości Y jest przyporządkowanych 2 lub więcej wartości zmiennej losowej X) i jeśli te wartości oznaczymy:
, wtedy gęstość zmiennej losowej Y określona jest wzorem:

Przykład:

Momenty zmiennej losowej - parametry rozkładu prawdopodobieństwa zmiennej losowej

Momenty zmiennej losowej dzielimy na 2 rodzaje:

1. momenty zwykłe

Moment zwykły rzędu k (
)

• dla zmiennej losowej typu skokowego definiuje się jako sumę
  , gdzie
  - punkty skokowe, a
  - skoki. Jeśli k=1 to mamy moment zwykły rzędu pierwszego, który nazywa się wartością oczekiwaną zmiennej losowej X.
  . Z tego wynika, że moment zwykły rzędu k-tego to wartość oczekiwana zmiennej losowej, która jest funkcją zmiennej losowej.
  

• dla zmiennej losowej typu ciągłego
  /jeśli funkcja przyjmuje wartości w granicach całkowania/. Jeśli k=1 to również mamy wartość oczekiwaną. Dla zmiennej typu ciągłego także zachodzi wzór
  

Momenty zwykłe są parametrami charakteryzującymi rozkład prawdopodobieństwa zmiennej losowej X, z których pierwszy (
- wartość przeciętna / oczekiwana) charakteryzuje wartości przyjmowane przez daną zmienną losową w sensie średnim. Oznacza to, że jeśli zaobserwowano dostatecznie dużą liczbę wartości zmiennej losowej X (realizacji tej zmiennej) to średnia arytmetyczna z tych wartości dobrze przybliża (szacuje, estymuje) prawdziwą wartość oczekiwaną E(X).

2. momenty centralne
   

Wykład 4 /25.10.2002/

Moment centralny:

Dla k=2:
wariancja zmiennej losowej X

Wariancja jako parametr rozkładu zmiennej losowej charakteryzuje rozproszenie wartości zmiennej losowej względem wartości centralnej jaką jest wartość oczekiwana.

Szczególnie taką miarą jest odchylenie standardowe:

/subskryptu przy σ może nie być/

Moment centralny stopnia drugiego może być wyrażony za pomocą momentów zwykłych stopnia pierwszego i drugiego:

Dla scharakteryzowania zmienności wartości zmiennej losowej dogodnie jest stosować parametr rozkładu, wyrażony w jednostkach niemianowanych, który oznaczamy γ - jest to tzw. współczynnik zmienności.

Wyraża on zmienność (rozproszenie) wartości badanej cechy, jeśli za jednostkę przyjmie się wartość oczekiwaną.

Własności wartości oczekiwanej i wariancji:

Własności wartości oczekiwanej:

1)
- wartość oczekiwana wartości pewnej jest równa tej wartości.

2)

3) gdy zachodzi liniowy związek, to:

4)
(jest konsekwencją własności 2) )

Własności wariancji:

1. wariancja jest najmniejszą wartością spośród wszystkich możliwych średnio-kwadratowych odchyleń wartości zmiennej losowej od danej wartości C co oznacza, że funkcja
   osiąga wartość minimalną dla
   , wtedy oczywiście wariancja jest wartością minimalną tej funkcji; u -dowolna liczba rzeczywista
   

2. 
   , gdy b jest stałe, co oznacza, że przesunięcie nie zmienia rzutu

3. 
   

4. 
   , gdy b jest stałe - rozproszenie wartości zawsze jednakowej jest równe zero.

Wyrażenie momentu centralnego stopnia trzeciego za pomocą momentów zwykłych stopnia pierwszego i drugiego:

Zmienna losowa unormowana

Jeśli dana jest zmienna losowa X i jej odchylenie σ to zmienną losową określoną wzorem
nazywamy zmienną losową unormowaną. Zmienna losowa unormowana ma wariancję i odchylenie standardowe równe jeden.

Zmienna losowa zestandaryzowana:

Jeśli dodatkowo /tzn. do warunków zmiennej losowej unormowanej - dana zmienna X i jej odchylenie σ/
to zmienną losową określoną wzorem
nazywamy zmienną losową zestandaryzowaną.

Charakteryzuje się ona tym, że jej wartość oczekiwana równa jest zero, a odchylenie standardowe równe jest jeden.

Odchylenie przeciętne:

1. gdy zmienna losowa X ma rozkład dyskretny

, gdzie

2. gdy zmienna losowa X ma rozkład ciągły

W obu przypadkach:

Odchylenie przeciętne charakteryzuje rozproszenie (rozrzut, rozłożenie) wartości zmiennej losowej.

W porównaniu do odchylenia standardowego zachodzi zawsze:

W związku z tym odchylenie przeciętne jako miara rozproszenia zaniża faktycznie obserwowaną zmienność wartości badanej cechy.

Symetryczność rozkładu:

Asymetria prawostronna

Asymetria lewostronna

Rozkład idealnie symetryczny

Miara asymetrii:

• współczynnik asymetrii:

Wyrażony jest w jednostkach niemianowanych.

• częściej stosowana miara

Jeśli rozkład jest idealnie symetryczny, tzn. wartości zmiennej losowej położone po prawej stronie wartości oczekiwanej mają swoje odpowiedniki w wartościach położonych z lewej strony wartości oczekiwanej, wtedy moment centralny rzędu trzeciego jako wartość przeciętna nieparzystego odchylenia wartości zmiennej losowej X od jej wartości oczekiwanej jest równy zero.

Przykład zmiennej losowej o rozkładzie idealnie symetrycznym:

1. przypadek dyskretny

	-2	-1	0	1	2





2. przypadek ciągły - rozkładem idealnie symetrycznym jest rozkład normalny:







Definicja rozkładu symetrycznego:

Mówimy, że zmienna losowa X ma rozkład symetryczny, jeżeli istnieje taki punkt a, dla którego spełniona jest równość:

1. przy rozkładzie skokowym:




2. przy rozkładzie ciągłym:


, bo
, a



- środek symetrii

Wykład 5 /08.11.2002/

Obok charakterystyki położenia, jaką jest wartość przeciętna rozpatruje się tzw. charakterystyki pozycyjne, do których należą kwantyle i moda (dominanta).

Def.:

Jeśli dana jest zmienna losowa X to kwantylem
rzędu p tej zmiennej losowej nazywamy taką liczbę, dla której spełniona jest relacja:




Gdy zmienna jest typu ciągłego, to


Przy zmiennych typu dyskretnego, w przypadku, gdy istnieje wiele liczb czyniących zadość układowi nierówności, każdą z nich uważa się za kwantyl rzędu p.

Jeśli
to kwantyl nazywamy miedianą czyli wartością środkową.

Uzupełnienie dotyczące momentów

Twierdzenie o istnieniu momentów zmiennych losowych:

W ogólnym przypadku zmienna losowa X może nie posiadać momentów dowolnego rzędu.

Jeśli natomiast istnieje moment rzędu k, wtedy w zależności od typu zmiennej losowej, odpowiedni szereg (dla zmiennej typu skokowego) musi być bezwzględnie zbieżny lub odpowiednia całka (dla zmiennej typu ciągłego) musi być bezwzględnie zbieżna.

Zachodzi następująca własność:

Jeżeli istnieje moment rzędu k zmiennej losowej X to


Uzasadnienie:




Miarę skośności definiuje się przy pomocy współczynnika asymetrii:




gdzie
- współczynnik skośności

Inną miarą mającą zastosowanie w badaniu asymetrii rozkładu jest tzw. miara skupienia (współczynnik spłaszczenia - kurtoza):




Innym współczynnikiem spłaszczenia jest tzw. eksces:





Służy on jako miara porównująca analizowany rozkład dotyczący dowolnej zmiennej losowej X z rozkładem normalnym.

W przypadku, gdy wartość
wykres funkcji gęstości zmiennej losowej X jest bardziej wysmukły i wyższy ze względu na punkt jakim jest EX, niż wykres rozkładu normalnego.

Gdy
to interpretacja jest przeciwna - wykres jest bardziej spłaszczony.

Nierówność Czebyszewa:

Rola odchylenia standardowego jako parametru charakteryzującego rozproszenie rozkładu występuje szczególnie jaskrawo na tle nierówności zwanej nierównością Czebyszewa.

W nierówności tej:




np.:


Można stwierdzić, że w klasie zmiennych losowych mających moment rzędu 2 nie można otrzymać lepszego odwzorowania, niż to z nierówności Czebyszewa, natomiast w węższych klasach zmiennych losowych mających momenty rzędu 2n (n>1), można otrzymać nierówność lepszą niż nierówność Czebyszewa.

Reguła trzech sigm:

W przypadku zmiennej losowej o rozkładzie normalnym, w zależności od wartości parametrów
i
kształt krzywej gęstości tego rozkładu bardziej lub mniej odbiega od kształtu standardowego, dla

.

Wzrost rozproszenia (czyli wzrost odchylenia standardowego) powoduje, że krzywa Gaussa jest bardziej płaska.

Wynika to (nierówność Czebyszewa) z faktu, że zwiększa się długość przedziału skupienia wartości zmiennej losowej wokół wartości oczekiwanej.

W przypadku, gdy w nierówności Czebyszewa przyjmiemy, że
, to przyjmie ona postać:




Z własności dotyczącej standaryzacji zmiennej losowej i stąd, że wartości dystrybuanty zmiennej losowej typu N(0,1) są stabilizowane wynika, że:




gdzie
funkcja Laplace'a

Dystrybuanta dla dowolnej wartości:


Wracając do postaci pierwotnej stwierdzamy, że:




Z tablic możemy odczytać wartość dla k=3:


Oznacza to, że odchylenie wartości bezwzględnej różnicy
jest mniejsze od potrojonego odchylenia standardowego z prawdopodobieństwem nie mniejszym niż 0,9973.

Reguła trzech sigm bywa stosowana m.in. wtedy, gdy chcemy porównać dowolny rozkład z rozkładem normalnym.

Jeśli szacowane prawdopodobieństwo w dowolnym przypadku przy zastosowaniu reguły trzech sigm odbiega od 1, wtedy można z całą pewnością twierdzić, że rozkład nie ma charakteru rozkładu normalnego.

Wykład 6 /15.11.2002/

Funkcje charakterystyczne:

Znaczenie funkcji charakterystycznych wynika głównie z możliwości jakie wynikają z zastosowania ich do obliczania momentów zmiennych losowych.

/Jest to związane z tzw. przekształceniem Fouriera/

Def.: Jeśli dana jest dowolna zmienna losowa X, to funkcją charakterystyczną tej zmiennej nazywamy funkcję argumentu
określoną wzorem:




Jeśli X jest typu skokowego, to:
,


Jeśłi X jest typu ciągłego, to:


Własności:

Na podstawie wzoru Taylora:




jest w przedziale (-1;+1) bezwzględnie zbieżny i w związku z tym funkcja ta ma bardzo regularne własności:


jest ciągła

jest jednostajnie ciągła:

Jeśli szereg wyznacza funkcję jednostajnie ciągłą, to można go różniczkować wyraz po wyrazie, a także całkować wyraz po wyrazie, co w przypadku różniczkowania oznacza, że pochodna szeregu równa się sumie pochodnych wyrazów szeregu funkcyjnego.





Te własności, które dotyczą szeregów o wyrazach rzeczywistych, przy zachowaniu własności jednostajnej ciągłości przenoszą się na odpowiadające im szeregi o wyrazach zespolonych.

1. 
   

2. szereg
   jest bezwzględnie zbieżny, tzn.
   też jest zbieżny

3. 
   

4. 
   

1. 
   

2. 
   

5. 
   

NIE ZAWSZE:

a.


b.


6. Tzw. wzory Eulera

1. 
   

2. 
   

3. 
   

4. 
   

7. 
   

8. Pochodną funkcji zespolonej f(x) określa się analogicznie jak pochodną funkcji rzeczywistej:
   Własności pochodnej analogicznie jak przy f. rzeczywistych:

1. 
   

2. 
   

3. funkcja wewnętrzna podobnie

9. Jeśli jest szereg potęgowy
   , to z jednostajnej ciągłości wynika, że:
   .

1. Wynika z tego, że na całej płaszczyźnie zespolonej istnieją pochodne
   ,
   i
   . Wyrażają się one wzorami analogicznym do pochodnych w zbiorze liczb rzeczywistych.

1. 
   

2. 
   

3. 
   

2. Przykład 1

Gdy zmienna jest typu skokowego





3. Przykład 2

Gdy X jest zmienną o rozkładzie Poissona








4. Przykład 3


Gdy X ma rozkład jednostajny i jest typu ciągłego:





W wyniku całkowania funkcji o argumencie zespolonym (a wartościach rzeczywistych) definicja całki jest analogiczna, jak całki oznaczonej funkcji liczbo-liczbowej w sensie Limana.

W związku z tym:







Zastosowanie funkcji charakterystycznej do wyznaczania momentów:

Jeśli istnieją momenty rzędu n-tego zmiennej losowej X (co jest równoznaczne z istnieniem
to funkcja charakterystyczna
posiada ciągłe pochodne aż do rzędu n-tego, przy czym:




Dla n=1
, więc




Wykorzystując zasadę indukcji dowodzi się wzoru ogólnego
.

Powrót do Przykładu 1:














, więc:




Co można sprawdzić licząc innym sposobem:


Wykład 7 /22.11.2002/

Wielowymiarowe zmienne losowe:

Jeśli dana jest zmienna losowa
, której
są zmiennymi losowymi, wtedy nazywamy ją n-wymiarową zmienną losową.

Inaczej mówiąc:




to:
nazywamy n-wymiarową zmienną losową.

Podobnie jak przy jednowymiarowej zmiennej losowej, można mówić o rozkładzie prawdopodobieństwa wartości przyjmowanych przez zmienną losową.

Taki rozkład charakteryzuje dystrybuanta.

/od tego miejsca zajmujemy się tylko zmienną losową dwuwymiarową - tzw. wektorem losowym
/

Definicja dystrybuanty:

Funkcję
nazywamy dystrybuantą wektora
, jeśli jest określona wzorem:




Własności dystrybuanty:

1. jest funkcją co najmniej lewostronnie ciągłą

1. 
   , gdzie
   

2. 
   
   , gdzie
   

Można pokazać, że każda funkcja F, która spełnia warunki 1) i 2)

i ponadto:





jest dystrybuantą pewnej zmiennej losowej.

A pole zakreskowane obszaru jest równe:




Typy rozkładów prawdopodobieństwa:

1. Rozkład dyskretny /skokowy/

Mówimy, że zmienna losowa dwuwymiarowa
ma rozkład skokowy (jest typu dyskretnego) jeśli określona jest na co najwyżej przeliczalnym zbiorze punktów:
,

przy czym:





Dystrybuanta takiego rozkładu określona jest wzorem:



Więc dla przykładu:







2. Rozkład ciągły

Mówimy, że wektor losowy
ma rozkład typu ciągłego, jeśli istnieje taka funkcja
, że spełniona jest równość:




czyli


Funkcję
nazywamy gęstością dwuwymiarowej zmiennej losowej
.

Z własności dystrybuanty (
) wynika, że:
.

Jeśli funkcja gęstości jest funkcją ciągłą w (x,y) t wtedy zachodzi związek:




Z określenia pochodnej cząstkowej rzędu drugiego wynika, że:


.

Interpretacja wartości:

Wartość
wyraża udział prawdopodobieństwa przyjmowania przez zmienną losową
,


wartości w jednostce obszaru będącego prostokątem o bokach równych
i
.


prawdopodobieństwo przyjmowania punktowych wartości na płaszczyźnie jest równe zero.





Rozkłady brzegowe:

Jeśli wektor losowy
ma rozkład typu skokowego, przy czym X i Y przyjmują skończoną liczbę wartości, wtedy rozkład zmiennej losowej X nazywa się rozkładem brzegowym w dwuwymiarowym rozkładzie





a rozkład zmiennej Y:




Wykład 8 /29.11.2002/

Dystrybuanta rozkładu brzegowego:

Rozkład brzegowy zmiennej X w dwuwymiarowym rozkładzie (X,Y) ma dystrybuantę określoną wzorem:




Dla zmiennej typu skokowego wzór ma postać:


Dla zmiennej typu ciągłego wzór ma postać:


Funkcja gęstości
/lub
/ jest pochodną z dystrybuanty i ma postać:




Rozkłady warunkowe:

Gdy dane są zdarzenia A i B to:




Zdarzenia A i B są niezależne, gdy
.

Oznacza to, że zdarzenia są niezależne gdy
.

Jeśli dane są dwie zmienne losowe X, Y to z formalnego punktu widzenia można rozpatrywać nową zmienną losową X|Y=y lub Y|X=x .

Z tego typu zmiennymi także są związane rozkłady prawdopodobieństwa.

Rozkłady te nazywamy warunkowymi.

Gdy zmienna losowa X jest typu skokowego, tzn. przyjmuje wartości
odpowiednio z prawdopodobieństwami
oraz zmienna Y jest typu skokowego, tzn. przyjmuje wartości
odpowiednio z prawdopodobieństwami
, wtedy rozkłady warunkowe mają postać:




oraz


Można wykazać, że w obu przypadkach suma prawdopodobieństw jest równa 1.

W przypadku, gdy mamy dwuwymiarową zmienną losową (X,Y) typu ciągłego o gęstości określonej funkcją f(x,y).

Rozpatrujemy przedział dostatecznie mały <x, x+h), h>0, h≈0,

przy czym h jest takie, że


Rozpatrujemy prawdopodobieństwo zmiennej warunkowej Y pod warunkiem, że X=x.


(1)

Otrzymane wyrażenie określa dystrybuantę warunkową zmiennej Y pod warunkiem, że zmienna X przyjmuje wartości z przedziału <x, x+h).

Problem powstaje wtedy, gdy chcemy określić dystrybuantę zmiennej losowej Y pod warunkiem, że zmienna losowa X przyjęła konkretną wartość liczbową. /
/

Trudność ta wynika z faktu, że w przypadku zmiennych typu ciągłego prawdopodobieństwo przyjmowania przez zmienną losową konkretnej wartości liczbowej zawsze jest równe zero.

W celu rozstrzygnięcia tego przypadku założymy, że funkcja f wektora losowego (X,Y) jest wszędzie ciągła i że brzegowa funkcja gęstości zmiennej losowej X
jest funkcją ciągłą zmiennej x.

Ponadto zakładamy, że w rozważanym punkcie
.

We wzorze (1) podzielimy licznik i mianownik prawej strony przez h i dla obu stron obliczymy granicę przy h0.

Operacja ta określa rozkład warunkowy zmiennej Y pod warunkiem, że X przyjęła konkretną wartość liczbową - określa więc dystrybuantę tego rozkładu.




Wyrażenie znajdujące się w mianowniku określa funkcję gęstości zmiennej losowej X, a granica licznika równa jest pochodnej z funkcji pierwotnej tzn. występującej we wzorze (1) funkcji podcałkowej
.

Więc wykazaliśmy, że dystrybuanta określona jest wzorem:
(2)

Otrzymana dystrybuanta jest dystrybuantą typu ciągłego.

Funkcję gęstości rozkładu warunkowego otrzymamy zatem obliczając pochodną f'(x|y) określoną wzorem (2).

Otrzymujemy, że


Analogicznie określa się rozkład f(x|y):


,





Niezależne zmienne losowe:

Niezależność zdarzeń losowych A i B można w naturalny sposób przenieść na zmienne losowe.

Można przyjąć następującą def.:

Dwie zmienne losowe X i Y są niezależne, jeśli dla dowolnych
zdarzenia losowe
,
są niezależne.

Wynika z tego definicja formalna:




Korzystając z definicji dystrybuanty dwuwymiarowej zmiennej losowej otrzymujemy:


jest to końcowa definicja.

Z definicji tej wynika, że przy niezależności zmiennych losowych zachodzi warunek:




WYKŁAD 9 /06.12.2002/

Jeśli zmienne X i Y są niezależne to dystrybuanty warunkowe:







Gęstości wyraża się analogicznie.

Jeżeli n zmiennych losowych
jest niezależnych, to wtedy dystrybuanta łączna:




Analogiczna równość zachodzi dla gęstości.

Twierdzenie o funkcji gęstości funkcji zmiennych losowych

Dana jest dwuwymiarowa zmienna (X,Y) typu ciągłego o gęstości f(X,Y).

Dane jest przekształcenie:

(1)


Jeśli o zmiennych X, Y wiemy, że
(wartości z prostokąta D), to wtedy przekształcenie
przeprowadza ten prostokąt w obszar płaszczyzny
(który w szczególnym przypadku może też być prostokątem).




Założenie:
(są klasy
w prostokącie D, czyli są funkcjami ciągłymi razem z pochodnymi cząstkowymi przynajmniej pierwszego rzędu)

Ponadto tzw. Jakobian




Założenie: Istnieje przekształcenie odwrotne do (1) - wyznaczone w sposób jednoznaczny:

(2)


Założenie: Istnieje Jakobian przekształcenia odwrotnego (2):




W związku z założeniami uczynionymi wcześniej, Jakobian J przyjmuje wartości skończone i jest ciągły w obszarze
płaszczyzny
, w który przekształcenie (1) przeprowadza prostokąt D.

W związku z tym:




Oznacza to, że:




To twierdzenie wykorzystuje się przy wyznaczaniu rozkładu sumy, różnicy, iloczynu i ilorazu zmiennych losowych.

Przykład:

Wyznaczyć gęstość sumy zmiennych losowych.




Rozpatrzmy zmienną losową X+Y będącą funkcją dwuwymiarowej zmiennej losowej (X,Y).

Do zbioru możliwych wartości zmiennej losowej X+Y należą wszystkie możliwe wartości x+y, gdzie X jest możliwą wartością zmiennej losowej X, a y jest możliwą wartością zmiennej losowej Y.

Założenie: Dany jest rozkład dwuwymiarowej zmiennej losowej (X,Y) /tzn. np. gęstość tej zmiennej/ i przypuśćmy, że rozkład jest typu ciągłego.

Z=X+Y

Rozpatrzmy funkcję (odpowiednik (1) )




Przekształcenie proste (odpowiednik (2) )




Zatem:




aby wyznaczyć rozkład zmiennej Z musimy wyznaczyć rozkład brzegowy:


po zcałkowaniu x się wyeliminuje z nierówności

Możliwa jest zamiana argumentów miejscami.

Mając gęstość można wyznaczyć dystrybuantę.







Momenty wielowymiarowej zmiennej losowej

Założenie: (X,Y) jest dwuwymiarową zmienną losową.

Funkcja tych zmiennych
jest jednoznaczną funkcją.

Wartość oczekiwana:

• przypadek dyskretny




przy założeniu, że szereg
jest bezwzględnie zbieżny /
zbieżny/

• przypadek ciągły




Def.:

Mówimy, że zmienna (X,Y) ma moment /zwykły/ rzędu
jeżeli istnieje wartość przeciętna funkcji
określonej wzorem





Szczególnymi przypadkami momentów są momenty:

• rzędu pierwszego

• 
  

• 
  

• rzędu drugiego

• 
  

• 
  

• 
  

Analogicznie przedstawiamy momenty centralne:




W zależności od l i n możemy otrzymać:

• wariancje

• dyspersje

• kowariancje

Jeżeli l=1 i n=1, to moment centralny
nazywa się kowariancją zmiennych (X,Y):




Wykład 10 /13.12.2002/


nie jest miarą związku zależnościowego między X i Y


/czasami
/ - współczynnik korelacji


,


Mówimy, że zmienne losowe X i Y są nieskorelowane, jeśli
i
między tymi zmiennymi są równe 0.

Pojęcie to łączy się z niezależnością.

Jeśli zmienne X i Y są niezależne to są także nieskorelowane. Twierdzenie odwrotne nie zawsze zachodzi.

Z nieskorelowania zmiennych losowych nie zawsze wynika niezależność zmiennych losowych.

Można podać przykład, gdy zmienne X,Y są nieskorelowane, a są związane ścisłą zależnością funkcyjną.

Związek taki to
.

Zmienne zależne mogą być skorelowane i nieskorelowane.

Wartość współczynnika korelacji świadczy o skorelowaniu im bliższy zera tym słabsze skorelowanie.

Twierdzenie:

Warunkiem koniecznym i wystarczającym aby z prawdopodobieństwem równym 1 związek między zmiennymi Y i X był ściśle liniowy (by był postaci
) jest by
.

Jeżeli
to mówimy o korelacji liniowej dodatniej - w przeciwnym przypadku mówimy o korelacji liniowej ujemnej.

Krzywe regresji

Ze względu na zastosowanie w ekonometrii ważne jest rozstrzygnięcie związku zachodzącego między zaobserwowaną wartością zmiennej losowej X, a wartością Y|X=x / x E(Y|X=x) /

Można przyjąć, że zbiór punktów(x, E(Y|X=x)) określa tzw. krzywą regresji zmiennej Y względem zmiennej X.

Okazuje się , że ta warunkowa wartość oczekiwana spełnia warunek minimalności w sensie .................. /?/




Relację powyższą komentujemy:

Średnie odchylenie kwadratowe zmiennej losowej Y od funkcji
/jest to funkcja zmiennej X) jest najmniejsze, gdy funkcja
jest warunkową wartością oczekiwaną zmiennej
pod warunkiem, że zmienna X przyjęła wartość x z prawdopodobieństwem równym 1.

Przedstawiony związek można uogólnić na przypadek układu zmiennych losowych
i określić powierzchnię regresji zmiennych losowych Y określoną jako zbiór punktów
w przestrzenie k+1 wymiarowej typu pierwszego.

W szczególnym przypadku, gdy mamy 2 zmienne losowe X i Y linia regresji pierwszego rodzaju wyznacza kształt zależności funkcyjnej między zmienną Y, a zmienną X.

Szacunkowe wyznaczenie warunkowych wartości oczekiwanych
na podstawie próby losowej pozwala wyznaczyć na płaszczyźnie w układzie współrzędnych XOY pewien zbiór punktów, którego kształt wskazuje charakter (postać)_analityczny zależności występującej między wartościami zmiennej losowej X, a uśrednionymi wartościami zmiennej losowej Y.



związek liniowy

/tzw. smuga wzdłuż linii prostej/

Mogą być także inne kształty, np.:

To jest raczej zależność wielomianowa.

Regresja typu drugiego

W praktycznych zagadnieniach pojawia się potrzeba, a nawet konieczność z barku innych możliwych (dostępnych) sposobów wyznaczenia takiej prostej (lub powierzchni), że spośród wszystkich prostych leżących na płaszczyźnie X,Y średnie odchylenie kwadratowe zmiennej losowej Y od tej prostej jest najmniejsze.


czyli aby suma tych zaznaczonych odcinków byłą minimalna.

Prostą regresji liniową drugiego rodzaju wyznacza się w postaci
(lub
)

Wyznacza się ją tak, by ze względu na nieznane wartości
i
wartość oczekiwana


Kryterium to jest podstawą metody najmniejszych kwadratów.

Def.:

Prostą
spełniającą relację
nazywamy prostą regresji drugiego rodzaju (typu) zmiennej Y względem zmiennej X.

W analogiczny sposób można określić linię (powierzchnię) regresji drugiego rodzaju zmiennej X względem zmiennej Y.

W celu analitycznego wyznaczenia nieznanych wartości parametrów
i
linii regresji drugiego rodzaju stosuje się standardową metodę wyznaczania ekstremum bezwarunkowego funkcji dwóch zmiennych, korzystając przy tym z odpowiednich własności wartości oczekiwanej.

Okazuje się, że w celu wyznaczenia
i
wystarczy
zróżniczkować ze względu na X i ze względu na Y i przyrównać do zera.

Ze względu na postać funkcji, jest to w tym przypadku warunek konieczny i wystarczający zarazem.




Skoro dla cech mamy:










to dla zmiennych losowych mamy:









WYKŁAD 11 /20.12.2002/





/równanie prostej regresji drugiego rodzaju/

Dla x=EX y=EY

Wniosek: Jeśli X jest zrealizowana na poziomie swej wartości oczekiwanej (nigdy jej nie znamy) to zmienna zależna Y (opisywana, endogeniczna) realizuje się na poziomie EY.

Wykazuje się, że


Oznacza to z definicji nieskorelowania zmiennych losowych, że reszta tego modelu /
/ oraz zmienna losowa X są nieskorelowane.

Z równania
i odpowiadającego mu związku X względem Y wynika, że gdy współczynnik korelacji
równa się 1, wtedy proste regresji pokrywają się.

Ponadto, jeśli wartość oczekiwana
oraz wartość oczekiwana
,

to z tego wynika, że wariancja reszty jest określona za pomocą iloczynu
.

Jest to jednocześnie minimalne tzw. średniokwadratowe odchylenie zmiennej losowej Y od prostej na płaszczyźnie.


- nosi nazwę wariancji resztkowej.

Uogólnieniem nierówności Czebyszewa jest nierówność Kołmogorowa.

Zał.:

Jeśli mamy n zmiennych losowych
wzajemnie niezależnych, przy czym wartości oczekiwane
, a wariancja
, dla sumy k zmiennych losowych
mamy następującą nierówność:




gdzie:





W przypadku n=1 nierówność sprowadza się do nierówności Czebyszewa.

Twierdzenia graniczne:

Twierdzenia graniczne mówią o zbieżności ciągów zmiennych losowych do pewnych rozkładów, które noszą nazwę rozkładów granicznych.

Do twierdzeń granicznych zalicza się twierdzenia, które stwierdzają asymptotykę rozkładu Bernouliego z rozkładem Poissona i z rozkładem normalnym.

1. Przybliżenie rozkładu Bernouliego za pomocą rozkładu Poissona.

Rozkładem Poissona można przybliżać rozkład Bernouliego, gdy spełnione są warunki:

Liczba doświadczeń








Tw. Poissona

Jeśli przeprowadzamy ciąg
serii doświadczeń wg schematu Bernouliego, w taki sposób, że liczba doświadczeń w każdej serii wzrasta do nieskończoności, a prawdopodobieństwo p zmierza do zera, przy zachowaniu jednocześnie niezmiennej wartości iloczynu
, wtedy:




2. Twierdzenie lokalne Laplace'a

Jeśli przeprowadzamy ciąg n doświadczeń wg schematu Bernouliego, to dla n dostatecznie dużego, prawdopodobieństwo zajścia zdarzenia A dokładnie k razy w takim ciągu doświadczeń jest w przybliżeniu równe wartości funkcji:


,

gdzie


p - prawdopodobieństwo sukcesu w pojedynczej próbie


jest funkcją gęstości rozkładu
,

natomiast



- wartość oczekiwana rozkładu Bernouliego


- odchylenie standardowe rozkładu Bernouliego




3. Twierdzenie integralne Laplace'a

Założenia jak do twierdznia lokalnego Laplace'a.

W twierdzeniu integralnym określa się prawdopodobieństwo, że
liczba sukcesów
.











a to można odczytać z tablic.


jest funkcją Laplace'a rozkładu N(0,1)

4. Twierdzenie o prawdopodobieństwie odchylenia częstości względnej
   od stałego prawdopodobieństwa p dla doświadczeń niezależnych.




/może tam być słaba lub silna nierówność/

Wykład 12 /10.01.2003r./

W twierdzeniach granicznych podstawowe znaczenie nadaje się sumom zmiennych losowych.

Rozpatrzymy n zmiennych losowych wzajemnie (parami) niezależnych
.

Zmienną określoną wzorem
nazywamy średnią arytmetyczną.

Związki pomiędzy podstawowymi charakterystykami
, a
.

1. 
   




2. 
   

3. 
   

Wniosek: Średnia arytmetyczne dostatecznie dużej liczby zmiennych losowych wzajemnie niezależnych ma rozproszenie (a miarą rozproszenia jest
) znacznie mniejsze niż wynosi rozproszenie każdego ze składników tej średniej.

Ponadto odczytując realizowane wartości danej wielkości losowej w sposób fizyczny lub wynikając z analiz statystycznych stwierdzamy, że średnia arytmetyczna wyników jest dokładniejsza niż poszczególne wyniki wraz ze zwiększaniem się liczby obserwacji.

Twierdzenie Czebyszewa:

Jeżeli zmienne losowe
są parami niezależne, wtedy dla dowolnej liczby
z dużym prawdopodobieństwem, bliskim jedności spełniona jest nierówność:




Dla dostatecznie dużych wartości n i przy założeniu, że
istnieje i jest skończona:
.

Gdy
mają ten sam rozkład otrzymujemy wersję twierdzenia Czebyszewa, która nosi nazwę

Słabego Prawa Wielkich Liczb.

Wniosek z tw. Czebyszewa:

Chociaż nie można przewidzieć jaką możliwą wartość przyjmie każda ze zmiennych losowych, to jednak można przewidzieć jaką wartość przyjmie ich średnia arytmetyczna.

Zatem można powiedzieć, że średnia arytmetyczna zmiennych losowych zatraca losowość.

!!! Wskazuje to na silny związek pomiędzy losowością a koniecznością !!!

Centralne twierdzenie graniczne Lindeberga Levy'ego:

Niech dany jest ciąg
/czyli
/ zmiennych losowych niezależnych o tym samym rozkładzie, przy czym:







wtedy dla zestandaryzowanej sumy n tych zmiennych tzn.:
/dla
/ zachodzi następująca równość:




gdzie:
jest dystrybuantą zestandaryzowanego rozkładu normalnego N (0,1).


jest dystrybuantą zmiennej losowej


Jest ot podstawą do oszacowania prawdopodobieństwa


przy n dostatecznie dużym.

Wykład 13 /17.01.2003/

Zbieżność stochastyczna:

Mówimy, że ciąg zbieżnych losowych
jest stochastycznie zbieżny do zmiennej losowej
, co zapisujemy
, jeśli:


, dla każdego
.

Prawdopodobieństwo zdarzenia przeciwnego = 1.

Zbieżność stochastyczną należy odróżniać od zbieżności funkcyjnej!!!

WKW zbieżności stochastycznej ciągu
zmiennych losowych do 0 /
/ jest zbieżność ciągu dystrybuant
tych zmiennych losowych do dystrybuanty rozkładu jednopunktowego w jej punktach ciągłości.

Twierdzenie centralne Lindeberga:

Zakładamy, że dany jest ciąg
zmiennych losowych o tym samym rozkładzie, przy czym:










Wtedy dla dowolnego
spełniona jest następująca relacja:


,

gdzie
jest dystrybuantą rozkładu
.

Wnioskiem z tego twierdzenia jest sformułowane już wcześniej słabe prawo wielkich liczb mówiące, że:


/
.

To słabsze prawo wielkich liczb zachodzi także wtedy, gdy zmienne losowe
nie mają skończonych wariancji.

Dlatego nazywane jest słabszym, bo ma zastosowanie w większej liczbie przypadków.

Pewne rozkłady ciągłe prawdopodobieństwa:

1. rozkład t-studenta (bo Gosse (fr.) znaczy student):

1. symetryczny względem zera

2. zbliżony w kształcie do rozkłady normalnego

3. zależy on od pewnego parametru który określa tzw. liczbę stopni swobody

2. rozkład
   (chi kwadrat) - otrzymujemy gdy rozpatrujemy sumę n niezależnych zmiennych losowych o tym samym rozkładzie normalnym.

1. Cechuje go asymetria prawostronna

2. Są dwa parametry od których jest zależny stopnie swobody

3. Rozkład Gamma - jest uogólnieniem między innymi rozkładu wykładniczego:




Gdzie funkcja Gamma:


Pojęcie funkcji gamma jest uogólnieniem pojęcia silni.

Można wykazać, że:




















Własności funkcji gamma:

Gdy:



to jest rozkład wykładniczy

Gdy a>1




Gdy 0<a<1

Rozkład Pareto:

Służy do modelowania m.in. wielkich dochodów,

a w ubezpieczeniach do modelowania wielkich nietypowych roszczeń.

Taki rozkład nazywamy rozkładem cięzkoogonowym /gruboogonowym/ charakteryzują się tym, że nie mają wariancji.











Dla
wariancja nie istnieje.

RACHUNEK PRAWDOPODOBIEŃSTWA - WYKŁADY Prof. Szkutnik

© DeX 2002 Str. 30

x

f

x

f

x

f

To jest bardzo, duże powiększenie, ten prostokąt jest bardzo malutki.

x

x+dx

y+dy

y

(x',y')

(x,y)

2

3

4

5

1

(x,y')

(x',y)

(x,y)

(x,y')




Krzywa Gaussa


































---