Zajęcia 1 – 25 lutego 2012

1. Podstawowe pojęcia rachunku prawdopodobieństwa

2. Model statystyczny, próba losowa

3. Statystyka, statystyka dostateczna

4. Kryterium faktoryzacji

Statystyka – nauka poświęcona metodom badania i analizowania zjawisk masowych. Zajmuje się zbiera-niem, przetwarzaniem i prezentacją danych oraz wnioskowaniem na ich podstawie.

Wyróżniamy dwa rodzaje sytuacji, w których zajmujemy się statystyką.

Statystyczna analiza danych (statystyka opisowa) - metody opisu statystycznego stosujemy w sytuacji, gdy nie posiadamy wiedzy a priori o badanym zjawisku (ekonomicznym, społecznym, medycznym, itp.) i na podstawie danych formułujemy wstępne teorie na jego temat będące punktem wyjścia do wnioskowania statystycznego.

Statystyka matematyczna - dział matematyki stosowanej oparty na rachunku prawdopodobieństwa. Zajmuje się wnioskowaniem o charakterystykach rozkładu prawdopodobieństwa obserwowanych zmiennych losowych na podstawie wyników obserwacji uzyskanych w próbie losowej.

Metody wnioskowania statystycznego stosujemy w sytuacji, gdy posiadamy wiedzę a priori o badanym zjawisku w postaci modelu probabilistycznego, w którym parametry rozkładu prawdopodobieństwa obserwowanej zmiennej losowej są nieznane.

Dwa podstawowe działy statystyki matematycznej:

- teoria estymacji – metody wnioskowania statystycznego pozwalające na oszacowanie nieznanych parametrów rozkładu obserwowanej zmiennej losowej na podstawie wyników obserwacji uzyskanych w próbie losowej.

Estymacja punktowa – podanie oszacowania nieznanego parametru rozkładu obserwowanej zmiennej losowej w postaci liczbowej.

Estymacja przedziałowa – podanie oszacowania nieznanego parametru rozkładu obserwowanej zmiennej losowej w postaci liczbowego przedziału nazywanego przedziałem ufności., który z pewnym prawdopodobieństwem zawiera wartość szacowanego parametru.

- teoria weryfikacji hipotez statystycznych – weryfikacja hipotez dotyczących nieznanych wartości parametrów rozkładu obserwowanej zmiennej losowej na podstawie wyników obserwacji uzyskanych w próbie losowej.

1 – Podstawowe pojęcia z rachunku prawdopodobieństwa

Definicja 1.1. Zmienna losowa X ma rozkład dyskretny, jeżeli istnieją liczby xi i prawdopodobieństwa n

p ≥ 0 , takie, że P( X = x =

∑ pi =

i )

p oraz

1 .

i

i

i 1

=

Definicja 1.2. Zmienna losowa X ma rozkład absolutnie ciągły o funkcji gęstości f : R → R , jeżeli dla każ-

dego zbioru A zachodzi P( X ∈ )

A = ∫ f ( x) d .

x

A

Funkcja gęstości f : R → R rozkładu prawdopodobieństwa zmiennej losowej X spełnia warunki: 1. f ( x) ≥ 0

2. ∫ f ( x) dx = .

1

R

Definicja 1.3. Zmienne losowe X ,

1 X ,...,

2

X n o rozkładzie dyskretnym są niezależne, jeżeli

P( X 1 = x , X

1

2 = x ,..., X

2

=

=

1 =

1

2 =

2 ⋅ ... ⋅

=

n

xn ) P( X

x ) P( X

x )

P( X n

xn ).

Definicja 1.4. Zmienne losowe X ,

1 X ,...,

2

X n o rozkładzie absolutnie ciągłym są niezależne, jeżeli

f ( x , x ,..., x

1

2

=

1

2 ⋅ ... ⋅

n )

f ( x ) f ( x )

f ( xn ).

Podstawowe parametry rozkładu prawdopodobieństwa zmiennej losowej X

Definicja 1.5. Wartością oczekiwaną zmiennej losowej X nazywamy liczbę EX, gdzie n

1. EX = ∑ xi pi , jeżeli zmienna losowa ma rozkład dyskretny

i=1

2. EX = ∫ xf ( x) dx , jeżeli zmienna losowa ma rozkład absolutnie ciągły.

R

Definicja 1.6. Własności wartości oczekiwanej zmiennej losowej X:

1. E( aX + b))

2. E( a X

1

1 + a X

2

2 + ... + a

= 1 1 + 2

2 + ... +

n X n )

a EX

a EX

anEX n

przy założeniu, że istnieją EX , i = ,

1 ,

2 ..., n; a , a ,..., a

1

2

∈ R

i

n

p

Definicja 1.7. Momentem absolutnym rzędu p > 0 zmiennej losowej X nazywamy liczbę E X

.

Definicja 1.8. Momentem rzędu p > 0 zmiennej losowej X nazywamy liczbę p

EX .

Definicja 1.9. Wariancją zmiennej losowej X nazywamy liczbę

2

VarX = E( X − EX )

2

= EX − ( EX )2

Wariancję oznacza się również symbolem D 2 X .

Definicja 1.10. Odchyleniem standardowym zmiennej losowej X nazywamy liczbę DX = VarX .

Definicja 1.11. Własności wariancji zmiennej losowej X:

1. VarX ≥ 0

2. Var( aX + b) a V

2

=

arX , a, b ∈ R

3. Jeżeli zmienne losowe X ,

=

,...,

2

∈

1 X ,...,

2

X n są niezależne, istnieją VarX , i

,

1 2

n

i

,..., , a

a

R

n

,

to Var( a X + a X + ... + a

2

2

2

=

+

+ +

1

1

2

2

n X n )

a VarX

a VarX

...

a

1

1

2

2

nVarX n .

Zbieżność ciągów zmiennych losowych

Niech X ,

,...

1 X 2

będzie ciągiem zmiennych losowych określonych na tej samej przestrzeni probabilistycz-

nej (Ω, F, P) .

Definicja 1.12. Ciąg X ,

,...

1 X 2

zmiennych losowych jest zbieżny z prawdopodobieństwem 1 lub zbieżny

prawie wszędzie do zmiennej losowej X , jeżeli

 











P ω ∈ Ω : lim X ω

ω

n (

)= X ( ) = P lim X n = X  = P lim Xn − X = 0 =1.

 

n→∞



 n→∞



 n→∞



p. w.

Zbieżność tę oznaczamy X

 

 → X

n

.

Definicja 1.13. Ciąg X ,

,...

1 X 2

zmiennych losowych jest zbieżny według prawdopodobieństwa do zmien-

nej losowej X , jeżeli

∀ε > 0 lim P( X n − X < ε ) = 1.

n→∞

P

Zbieżność tę oznaczamy X



 → X

n

.

Definicja 1.14. Ciąg X ,

,...

1 X 2

zmiennych losowych jest zbieżny według p-tej średniej do zmiennej loso-

p

p

wej X , jeżeli EX

< ∞, E X < ∞ i

2

p

lim E( X n − X )

= 0 .

n→∞

p

L

Zbieżność tę oznaczamy X



 → X

n

.

W szczególności, dla p = 1i p = 2 mówimy o zbieżności według średniej i zbieżności średniokwadratowej.

Definicja 1.15. Niech

,

∈

n

F oznacza dystrybuantę zmiennej losowej X n ( n N ), F oznacza dystrybuantę zmiennej losowej X.

Ciąg X ,

,...

1 X 2

zmiennych losowych jest zbieżny według rozkładu do zmiennej losowej X , jeżeli lim F

=

n ( x)

F ( x)

n→∞

w każdym punkcie ciągłości dystrybuanty F.

Zbieżność dystrybuant Fn ( x) → F ( x) w każdym punkcie ciągłości dystrybuanty granicznej F nazywamy n→∞

D

zbieżnością słabą. Zbieżność tę oznaczamy X



 → X

n

.

Definicja 1.16. Niech X ,

,...

1 X 2

będzie ciągiem zmiennych losowych. Zmienna losowa ma rozkład asymp-

AN (

2

µ ,σ

µ

n

n )

totycznie normalny

, jeżeli istnieją ciągi ( n )

, (

takie, że

n N

∈

σ n ) n N

∈

X − µ

Y

n

n

D

=

N

n



 → ( )

1

,

0

)

σ

n→∞

AN (

2

µ,σ n )

Twierdzenie 1.1. Niech ciąg zmiennych losowych ( X n )

,

n N

∈ będzie asymptotycznie normalny

przy czym σ

n →

:

→

n → 0 , gdy

∞ . Niech g R

R będzie funkcją różniczkowalną w punkcie µ i

AN (

2

2

g(µ), g' µ

σ n )

g' (µ ) ≠ 0 . Wtedy ciąg ( g( X

∈

[

]

n ) n

N jest asymptotycznie normalny

( )

.

Twierdzenie 1.2, Zachodzą następujące zależności pomiędzy rodzajami zbieżności: p. w.

P

D

1. X

 

 → X ⇒



 → ⇒



 →

n

X

X

X

X

n

n

.

Lp

P

2. X



 → X ⇒



 →

n

X

X

n

, p >0.

P

P

3. Jeżeli X



 → X



 →

n

oraz Y

Y

n

, to

P

a) X + Y



 → X + Y

n

n

,

P

b) X Y



 → XY

n n

.

D

P

Twierdzenie 1.3. (Słuckiego) Jeżeli X



 → X



 →

n

oraz Y

c

n

, c jest stałą, to

D

a) X + Y



 → X + c

n

n

,

D

b) X Y



 → cX

n n

,

X n

D

X

c)



 → , jeżeli c ≠ 0 .

Y

c

n

Twierdzenie1.4. Jeżeli funkcja g : R → R jest ciągłą, to p. w

P

a) X  → X ⇒ g



 →

n

( Xn)

g( X ).

P

P

b) X



 → X ⇒ g



 →

n

( Xn)

g( X ).

D

D

c) X



 → X ⇒ g



 →

n

( Xn)

g( X ) .

3

Twierdzenie 1.5. Mocne prawo wielkich liczb (MPWL)

Niech X ,

,...

1 X 2

będzie ciągiem zmiennych losowych o jednakowym rozkładzie prawdopodobieństwa z

wartością oczekiwaną EX

VarX i =

i = µ < ∞ i wariancją

2

σ .

n

1

Niech S =

∑ X , n ∈ N

n

j

oznacza średnią z pierwszych n zmiennych losowych.

n j=1

Wtedy ciąg ( Sn) n N

∈ jest zbieżny do średniej µ z prawdopodobieństwem 1, co zapisujemy





Pω : lim Sn (ϖ ) = µ  = 1



n→∞



Twierdzenie 1.6. MPWL Kołmogorowa

Niech X ,

,...

1 X 2

będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie o wariancjach

∞

2

VarX

VarX

= σ

∑

n <

n

n oraz

∞ .

=

2

n 1

n

Wtedy dla ciągu zmiennych losowych X ,

,...

1 X 2

zachodzi MPWL.

Twierdzenie 1.7. (Centralne twierdzenie graniczne)

Niech X ,

,...

1 X 2

będzie ciągiem niezależnych zmiennych losowych o rozkładach określonych przez dystry-

buanty F ( x) = P

≤

EX i =

X

( X x

i

) dla których istnieją skończone wartości oczekiwane

µ i wariancje

n

2

VarX

B 2

2

σ

n =

i = σ

, przy czym

∑ i > 0 .

i=1

Sumą unormowaną zmiennych losowych X , X ,..., X

1

2

n nazywamy zmienną losową

n

∑ ( X − µ

i

i )

i

Y = =1

n

Bn

dla której EY

VarYn =

n = 0 ,

1 dla każdego n ∈ N .

y

1

2

Niech F ( y) = P

≤

t

Φ

=

∫ exp −

Y

( Y y

n

) oznacza dystrybuantę sumy unormowanej Y , a ( y)

(

2 ) dt

n

n

2π −∞

dystrybuantę rozkładu normalnego N (

)1

,

0

.

Wtedy

lim F ( y) = Φ( y) dla każdego y ∈ Y ,

n

Y

n→∞

Zbieżność ta jest zbieżnością według rozkładu ciągu zmiennych losowych ( Yn ) n N

∈ do zmiennej losowej o

D

rozkładzie normalnym N (

)1

,

0

i zapisuje się ją symbolicznie Y



 → N

n

(0. )1.

• Równoważnie oznacza to, że

n

 n



i) zmienna losowa ∑ X

AN  ∑

2

µ

i ma rozkład asymptotycznie normalny

,



i Bn

tzn.

i =1

 i=1



n

∑ ( X − µ )

i

i

i

D



 → N (0. )

1

Bn

n

1



2

n



1

B

ii) zmienna losowa X =

∑ X



n 

AN

∑ µ

i ma rozkład asymptotycznie normalny

,

i

, tzn.

n





i=1

 n i=

2

1

n 

4

1 n

∑ ( X − µ )

i

i

n i

D

n



 → N (0. )

1 .

Bn

Twierdzenie 1.8. (Lindeberga-Levy’ego)

Niech X ,

,...

1 X 2

będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie z wartością

oczekiwan

2

ą i EX

VarX i = σ

σ >

i = µ i skończoną wariancją

,

0 .

Wtedy dla dystrybuant F ( y)

n

Y

sum unormowanych

n

∑ X − nµ

i

Y

i

= =1

n

σ n

zachodzi lim F ( y) = Φ( y) dla każdego y ∈ Y .

n

Y

n→∞

• Równoważnie oznacza to, że

n

AN (

2

µ

n , σ

n

)

i) zmienna losowa ∑ X i ma rozkład asymptotycznie normalny

, tzn.

i =1

n

n

∑ X − nµ

∑

−

i

X

nEX

i

i

D

i

D



 → N (0. )

1 lub



 → N (0. )

1

σ n

nVarX

n

1



2 

σ

ii) zmienna losowa X =

∑ X





µ

i ma rozkład asymptotycznie normalny AN

,

, tzn.

n





i=1



n 

X − µ

D

X − EX

D

n



 → N (0. )

1



 →

D

−

σ

lub n

N (0. )

1 lub n( X

EX )

N



 → ( ,

0 VarX )

VarX

n→∞

Uwaga 1.1.

n

n

n

n

E ∑ X = ∑ EX =

Var ∑ X = ∑ VarX =

j

j

σ

j

j

µ

n ,

2

n

j=1

j=1

j 1

=

j 1

=

n

n

1

1

1

n

n

2

1

1

1

σ

E

∑ X

2

∑

=

∑

=

σ =

j =

∑ EX j =

µ

n = µ , Var

X

VarX

n

j

j

n

2

2

j=1

n j=1

n

n j 1

=

n j 1

=

n

n

n

n

∑ X i − E ∑ X

1

 n

n



i =

E ∑ X

E

X

i

i

i −

∑

i = 0

1

=

1

=





EYn = E

n

 i 1

=

i 1

=



n

Var ∑ X

Var ∑

i

X

i 1

=

i

i 1

=

n

n

n

∑ X i − E ∑ X i

1

 n

n



i 1

=

i 1

=

=

Var ∑ X i − E X

1

i =

VarY

Var

n





n =

∑

 i 1

=

i 1

=



n

Var ∑ X

Var ∑

i

X

i 1

=

i

i 1

=

n

Uwaga 1.2.

Niech X , X ,... X

1

2

n będzie ciągiem niezależnych zmiennych losowych o rozkładzie dwupunktowym z parametrem p ∈ (

)1

,

0

, gdzie P( X = )

1 = p P( X = 0) = 1 − p .

)

Parametr p = EX nazywany jest frakcją lub wskaźnikiem struktury. Jego oszacowaniem jest p = X .

)



p 1

( − p) 

Dla dużych n rozkład p jest w przybliżeniu N  p,

 .



n



5

2 - Model statystyczny, próba losowa

Oznaczenia dla zmiennej losowej X

X - zbiór wartości obserwowanej zmiennej losowej X,

F - σ -ciało podzbiorów X,

X

P = { θ

P : θ ∈ }

Θ - rodzina rozkładów prawdopodobieństwa zmiennej losowej X określona na

(X, F ) indeksowana parametrem θ ∈ Θ .

X

x - wartość zmiennej losowej X.

Pθ ( x) = P( X = x), θ ∈Θ - funkcja rozkładu prawdopodobieństwa zmiennej losowej X.

fθ ( x) - funkcja gęstości zmiennej losowej X

Definicja 1.17. Rodzinę rozkładów prawdopodobieństwa P = { θ

P : θ ∈ }

Θ określoną na (X, F ) indek-

X

sowaną parametrem θ ∈ Θ nazywamy rodziną parametryczną wtedy i tylko wtedy, gdy Θ

Rk

⊂

dla pew-

nego k całkowitego i dodatniego i każdy rozkład Pθ jest rozkładem znanym, gdy parametr θ jest znany.

Zbiór Θ nazywamy przestrzenią parametrów, a liczbę k jej wymiarem.

Definicja 1.18. Modelem statystycznym nazywamy trójkę (X, X

F ,P), gdzie

X – zbiór wartości obserwowanej zmiennej losowej X,

F - σ -ciało podzbiorów X

X

P = { θ

P : θ ∈ }

Θ rodzina rozkładów prawdopodobieństwa określona na (X, F ) indeksowana parametrem X

θ ∈Θ .

Jeżeli rodzina rozkładów prawdopodobieństwa P = { θ

P : θ ∈ }

Θ jest rodziną parametryczną, to mówimy o

parametrycznym modelu statystycznym.

Definicja 19. Wektor losowy X= ( X ,

1 X ,...,

2

X ) T

n

, gdzie X ,

1 X ,...,

2

X n są zmiennymi losowymi o tym

samym rozkładzie prawdopodobieństwa θ

P , θ ∈ Θ nazywamy próbą losową.

Jeżeli zmienne losowe X ,

1 X ,...,

2

X n są niezależne, to próbę losową nazywamy prostą.

Równoważnie: ciąg niezależnych zmiennych losowych X ,

1 X ,...,

2

X n o tym samym rozkładzie

θ

P , θ ∈ Θ nazywamy próbą losową prostą.

Model statystyczny dla próby losowej prostej X = ( X ,

1 X ,...,

2

X ) T

n

zapisujemy w postaci n - krotnego pro-

duktu modelu statystycznego dla pojedynczej zmiennej losowej:

(X, F , P) n

X

Przestrzeń (X, F ) n indukowaną przez próbę losową prostą X= ( X , 1 X ,...,

2

X n) T nazywamy przestrzenią

X

prób (obserwacji), X n - jest zbiorem wartości próby losowej prostej X= ( X , 1 X ,...,

2

X ) T

n

.

Oznaczenia dla próby losowej prostej X

x ,

1 x ,...,

2

xn - wartości zmiennych losowych X ,

1 X ,...,

2

X n ,

Pθ ( x ,...,

1

x

=

1 =

,

1

2 =

,...,

2

=

n)

P( X

x X

x

X n

xn ) -funkcja rozkładu prawdopodobieństwa wektora losowe-

go X

f θ ( x ,...,

1

xn) - funkcja gęstości wektora losowego X ,

Na mocy niezależności zmiennych losowych X ,

1 X ,...,

2

X n zachodzą wzory

6

1. Pθ ( x ,...,

1

x

=

1 =

,

1

2 =

,...,

2

=

=

1 = 1

2 =

2 ⋅ ... ⋅

=

n)

P( X

x X

x

X n

xn ) P( X

x ) P( X

x )

P( X n

xn )=

= Pθ ( x 1 ) Pθ ( x )⋅ ...

2

⋅ Pθ ( xn )

2. f θ ( x 1,..., x =

1

2 ⋅ ⋅ ⋅

n)

f θ ( x ) f θ ( x )

f θ ( xn)

Przykład 1.1.

W każdym tygodniu kierowca powoduje 1 wypadek z prawdopodobieństwem równym θ .

1. Model statystyczny dla pojedynczej zmiennej losowej X ma postać (X, X

F ,P), gdzie.

X = { }

1

,

0

– zbiór wartości zmiennej losowej X.

Zmienna losowa X przyjmuje wartość x =1, gdy kierowca miał wypadek i wartość x = 0, gdy kierowca nie miał wypadku z prawdopodobieństwem

1

P

x

−

θ ( x) = P( X = x) = θ (1 − θ ) x , x ∈{ }

1

,

0

, θ ∈ (

)1

,

0

.

Zmienna losowa ma rozkład zero-jedynkowy z parametrem θ ∈ (

)1

,

0

.

X

F - σ -ciało podzbiorów X.

P = { Be ,

1

( θ ) :θ ∈ }

Θ , Θ = ( )

1

,

0

- rodzina rozkładów zmiennej losowej X, rodzina rozkładów Bernoulliego

indeksowana parametrem θ ∈ (

)1

,

0

.

2. Model statystyczny dla ciągu X ,

1 X ,...,

2

X n zmiennych losowych niezależnych o rozkładzie zero-

jedynkowym z parametrem θ ∈ (

)1

,

0

ma postać (X, F , P) n , gdzie

X

X = { }

1

,

0

,

= Be ,

1

( θ ) :θ ∈

Θ =

X

F - σ -ciało podzbiorów X, P {

}

Θ ,

( )1

,

0

.

W tym modelu statystycznym:

X n = { } n

1

,

0

- zbiór wartości wektora losowego X jest zbiorem wszystkich n

2 n –wyrazowych ciągów zer i

jedynek.

Funkcja rozkładu prawdopodobieństwa wektora losowego X jest postaci

n

∑

n

n

xi

i =

n

1

−

Pθ ( x ,...,

θ

θ

θ

xi ∈ 1

,

0 , i =

,

2

,

1 ..., ,

n θ ∈

1

,

0

=

1

xn) = ∏ P ( xi) =

(1− ) ∑ xi ,

{ }

( ) Θ

i =1

i=1

Przykład 1.2.

Poborowy na strzelnicy oddaje 10 strzałów z prawdopodobieństwem trafienia równym θ .

Model statystyczny dla pojedynczej zmiennej losowej ma postać (X, X

F ,P), gdzie

X = {

,

2

,

1

,

0

.. 1

.

}

0 - zbiór wartości zmiennej losowej X. Zmienna losowa X przyjmuje wartości równe liczbie celnych trafień z prawdopodobieństwem

10

10−

Pθ ( x)

x

= P( X = x) =  θ (1−θ ) x , θ ∈( )

1

,

0

, x ∈{

,

2

,

1

,

0

.. 1

.

}

0 -

 x 

Zmienna losowa ma rozkład dwumianowy z parametrem θ ∈ (

)1

,

0

.

X

F - σ -ciało podzbiorów X.

P = { Be( ,

n θ ) :θ ∈ }

Θ , Θ = ( )

1

,

0

- rodzina rozkładów zmiennej losowej X, rodzina rozkładów dwumiano-

wych Be( ,

n θ ) indeksowana parametrem θ ∈ ( )

1

,

0

.

Przykład 1.3.

Liczba wypadków drogowych w ciągu tygodnia jest zmienną losową X o rozkładzie Poissona 7

x

θ

− θ

Pθ ( x) = P( X = x) = e

, x =

,

1

,

0 2. ..

!

x

Niech X ,

1 X ,...,

2

X n oznaczają wypadki zdarzające się niezależnie w kolejnych tygodniach.

Jeżeli sytuacja jest stabilna (pogoda jest podobna i nie zaczyna się właśnie okres wakacyjny), to można przyjąć, że każda ze zmiennych X ,

1 X ,...,

2

X n ma taki sam rozkład jak zmienna losowa X.

W ten sposób otrzymujemy próbę losową X= ( X ,

1 X ,...,

2

X n) z rozkładu Poissona o funkcji rozkładu praw-

dopodobieństwa

n

∑ xi

i 1

=

θ

− n

n

θ x ! x !...

Pθ (

1

2

n

= ∏ θ

=

1

x ,

x

x 2 ,... xn )

P ( xi )

!

e

.

i 1

=

1. Model statystyczny dla pojedynczej zmiennej losowej X ma postać (X, X

F ,P), gdzie.

X = {

,

2

,

1

,

0

.. }

. – zbiór wartości zmiennej losowej X.

X

F - σ -ciało podzbiorów X.

P = { Poiss θ

( ) :θ ∈ }

Θ , Θ = ( ,

0 +∞) - rodzina rozkładów zmiennej losowej X, rodzina rozkładów Poissona

indeksowana parametrem θ > 0 .

2, Model statystyczny dla ciągu X ,

1 X ,...,

2

X n niezależnych zmiennych losowych o tym samym rozkładzie

ma postać (X, F , P) n , gdzie

X

X = {

,

2

,

1

,

0

.. }

. ,

= Poiss θ

( ) :θ ∈

Θ = ,

0 +∞

X

F - σ -ciało podzbiorów X, P {

}

Θ ,

(

).

W tym modelu statystycznym:

X n = {

2

,

1

,

0

} n

,... - zbiór wartości wektora losowego X.

Funkcja rozkładu prawdopodobieństwa wektora losowego X jest postaci

n

∑ xi

i 1

=

θ

− n

n

θ x ! x !...

Pθ (

1

2

n

= ∏ θ

=

xi ∈

,

2

,

1

,

0

, i =

,

2

,

1 ..., ,

n θ ∈

1

,

0

=

1

x ,

x

x 2 ,... xn )

P ( xi )

!

e

,

{

}

( ) Θ

i 1

=

Przykład 1.4.

Ogólnie, przedmiotem badania jest zbiór składający się z N elementów i zawierający pewną liczbę M elementów wyróżnionych. Interesuje nas przypadek, gdy N jest ustalone i znane, a M nie jest znane i chcemy się dowiedzieć, jaka jest wartość M.

Sondaż opinii publicznej.

Interesuje nas, jaki procent wyborców popiera partię A.

Zakładamy, ze spośród N wszystkich wyborców M popiera partię A, a N-M wyborców nie popiera partii. M

i M jest wielkością nieznaną.

Jeżeli liczba N wszystkich wyborców jest tak duża, że zbadanie każdego ze względu na preferencje partyjne i ustalenie liczby M wyborców popierających partię A jest niemożliwe lub nieopłacalne postępuje się w na-stępujący sposób.

Spośród N elementowego zbioru wszystkich wyborców losujemy n- elementowy podzbiór i każdemu wy-borcy z tego podzbioru zadajemy pytanie „Czy popierasz partię A ?”

Przez X oznaczamy liczbę wyborców popierających partię A w wylosowanym n- elementowym podzbiorze.

8

Jeżeli losowanie jest wykonane w taki sposób, że każdy n –elementowy podzbiór może być wylosowany z 1

jednakowym prawdopodobieństwem

, to prawdopodobieństwo, że w wylosowanym podzbiorze znaj-

 N 

 

 n 

dzie się x wyborców popierających partię A jest równe

 M 

 N − M 









 x 

 n − x 

P

=

−

−

M ( x) = P( X = x) =

, x

ma {

x ,

0 n

( N

M }

) ,..., mi {

n n, M },

 N 

 

 n 

Zmienna losowa X ma rozkład hipergeometryczny z parametrem M.

W tym modelu statystycznym ustalonymi i znanymi wielkościami jest liczba N wszystkich wyborców i li-czebność n losowanej próbki. Nieznanym parametrem jest M ∈{ ,

1

,

0 ..., N}.

Model statystyczny ma postać ma postać (X, X

F ,P), gdzie

X = {

,

2

,

1

,

0

..., }

n – zbiór wartości zmiennej losowej X,

X

F - σ -ciało podzbiorów X,

P = { H ( N , M , n) : M ∈{ ,

1

,

0 ..., N }, N ∈ Ν, n ∈{ ,

2

,

1 ..., N } - rodzina rozkładów zmiennej losowej X, rodzina

rozkładów hipergeometrycznych indeksowana parametrem M.

O zmiennej losowej X wiemy tyle, że ma pewien rozkład z tej rodziny, ale nie wiemy który z nich.

Przykład 1.5.

Dokonujemy pomiaru pewnej nieznanej wielkości µ (np. długości, masy, wydajności procesu technologicz-nego). Pomiar zwykle jest obarczony pewnym błędem- oznaczamy ten błąd przez ε tak, że wynikiem pomiaru jest X = µ + ε . Na podstawie wyniku pomiaru X lub na podstawie serii takich pomiarów X = µ + ε , i = ,

1 ,

2 ..., n

i

i

należy udzielić informacji o nieznanej wielkości µ .

Jeżeli przyjmujemy, ze błąd ε jest wielkością losową, to mamy do czynienia ze statystyką matematyczną.

Różne i coraz bardziej szczegółowe założenia o probabilistycznej naturze zmiennej losowej ε prowadzą do różnych i coraz węższych, statystycznych modeli pomiaru. Zwykle zakłada się, ze ε jest zmienną losową, której rozkład nie zależy od µ .

Jeżeli wykonuje się serię pomiarów X ,

ε ,1ε ..

2

ε

1 X ... X

2

n , to najczęściej zakłada się, że

. n są niezależnymi

N (

2

µ,σ )

zmiennymi losowymi o jednakowym rozkładzie, np. normalnym

o wartości oczekiwanej µ ∈ R i

wariancji

2

σ , σ > 0 .

1. Model statystyczny dla pojedynczego pomiaru X ma postać (X, X

F ,P), gdzie

X= R – zbiór wartości zmiennej losowej X,

F

= B

X

( R) -σ - ciało podzbiorów borelowskich R

P = {

θ = (

2

µ,σ )

N (µ, 2

σ ): µ ∈ ,

R σ > }

0 ,

∈Θ = R × +

R - dwuparametryczna rodzina rozkładów normal-

nych.

N (

2

µ,σ )

Funkcja gęstości zmiennej losowej X o rozkładzie normalnym

, µ ∈ R ,σ > 0 jest dana wzorem

1



xi −

2

µ 

f

x

x

exp

µ,σ ( ,1..., n )

(

)

=

−

 .

σ 2π



2

2σ







2. Model statystyczny dla n pomiarów X ,

1 X ... X

2

n ma postać (X, F

, P) n , gdzie

X

X=

= {

θ = (

2

µ,σ )

N µ, 2

σ : µ ∈ ,

R σ > }

R, F

= B

∈Θ = R ×

X

( R) , P

( )

0 ,

+

R .

9

W tym modelu statystycznym:

X n

n

= R - zbiór wartości wektora losowego X ,

(X,

( R, B R ) n

X

F ) n =

( ) – przestrzeń prób (obserwacji).

Łączna gęstość pomiarów X ,

1 X ... X

2

n jest dana wzorem



1

 n



n

x

2

µ

i −



f

exp

µ

, . µ ∈ R ,σ > 0 .

,σ ( x

x

,

1 ..., n )

(

)

= 



− ∑



 σ 2π 



2

i=1

2σ







3 – Statystyka, statystyka dostateczna

Aby wnioskować na podstawie danych należy zawarte w nich informacje przedstawiać w sposób bardziej zwarty, czyli konstruować funkcje tych danych. W tym celu wprowadzone są pojęcia takich funkcji jak statystyka i statystyka dostateczna. Pojęcie statystyki w statystyce matematycznej jest odpowiednikiem pojęcia zmiennej losowej w rachunku prawdopodobieństwa. Statystyka dostateczna umożliwia redukcję danych bez straty informacji o nieznanym parametrze rozkładu. Cała informacja o nieznanym parametrze rozkładu obserwowanej zmiennej losowej jest zawarta w statystyce dostatecznej.

Definicja 1.20. Statystyką nazywamy funkcję T : X n

k

→ R .

Statystyka nie zależy od nieznanych parametrów rozkładu.

Definicja 1.21. Statystykę T : X n

k

→ R nazywamy dostateczną dla rodziny rozkładów P = { θ

P : θ ∈ }

Θ

lub dostateczną dla parametru θ ∈ Θ , jeżeli dla każdej wartości t statystyki T rozkład warunkowy próby X= ( X ,

θ ∈

1 X ,...,

2

X n) pod warunkiem T= t nie zależy od parametru

Θ tzn.

prawdopodobieństwo

P X

θ

= x,T = t

θ

P (X = x T = t)

(

)

=

θ

P (T = t)

nie zależy od θ ∈ Θ .

Przykład 1.6.

Niech X= ( X ,

1 X ,...,

2

X n) będzie próbą losową prostą z rozkładu zero-jedynkowego o funkcji rozkładu prawdopodobieństwa

−

1

Pθ ( )

x

x = θ (1 − θ ) x , x ∈{ }

1

,

0

, θ ∈ ( )

1

,

0

.

Funkcja rozkładu prawdopodobieństwa próby losowej X jest postaci

n

∑

n

xi

i =

n

1

−

Pθ ( x ,..., x

θ

θ

i

x ∈

θ ∈

,

1

n ) =

(1− ) ∑ xi ,

{ }1

,

0

,

( )1

,

0

i =1

Zbiorem wartości próby losowej X jest zbiór X n = { } n

1

,

0

wszystkich n

2 n –wyrazowych ciągów zer i jedy-

nek.

Dla ustalonego zdarzenia – ciągu zer i jedynek - próba losowa X zawiera informację o liczbie sukcesów w n doświadczeniach Bernoulliego i numerach doświadczeń, w których te sukcesy nastąpiły.

Ze wzoru na funkcję rozkładu prawdopodobieństwa próby losowej X wynika, że informacja o numerach do-

świadczeń, w których nastąpił sukces jest nieistotna, gdyż tylko liczba sukcesów w n doświadczeniach rów-n

na ∑ xi jest podstawą do wnioskowania o wartości parametru θ .

i=1

10

n

 n

Wiadomo również, że jeżeli ∑ x = k

i

, to każdy z   możliwych układów k jedynek w próbie ma to samo

i=1

 k 

prawdopodobieństwa wystąpienia, niezależnie od wartości parametru θ .

n

Definiujemy statystykę T (X) = ∑ X i . Jest to liczba sukcesów w n doświadczeniach Bernoulliego. Rozkład i=1

tej statystyki jest rozkładem dwumianowym o funkcji rozkładu prawdopodobieństwa

 n t

n−

P T

θ ( = t) =  θ (1 −θ ) t , θ ∈ (

)1

,

0

, t =

,

1

,

0 ..., n

 t 

P X

θ

= x,T = t

Wyznaczamy θ

P (X = x T = t)

(

)

=

.

θ

P (T = t)

n

Prawdopodobieństwo w liczniku jest równe zeru z wyjątkiem przypadku, gdy ∑ x = t i

i każde xi jest równe

i=1

zeru lub jedynce. Stąd

n

∑ x

n

i

n

=1

− ∑

−

i

xi

t

n

θ

P (X = x,T = t) = θ

P (X = x)= θ

(1−θ)

1

θ 1 θ

=

=

−

i

(

) t

i

t

θ 1− n− t

θ

1

Pθ (X = x T = t)

(

)

=

=

.

 n t

n−

n

t

 θ (1 − θ )

 

 

 t 

 t 

Z tego wzoru wynika, że rozkład warunkowy θ

P (X = x T = t) nie zależy od parametru θ .

 n

Interpretacja: gdy wiemy, że T= t, to informacja o tym, który z   punktów przestrzeni prób faktycznie

 t 

się zrealizował nie wnosi żadnej wiedzy parametrze θ . To uzasadnia nazywanie statystyki T dostateczną.

• Znalezienie statystyki dostatecznej bezpośrednio z definicji jest niekiedy trudne. Prosty sposób rozpoznawania, czy dana statystyka jest dostateczna i konstruowania statystyk dostatecznych podaje poniższe twierdzenie.

4 – Kryterium faktoryzacji

Twierdzenie 1.9. (Kryterium faktoryzacji Neymana)

Statystyka T jest dostateczna dla parametru θ ∈ Θ wtedy i tylko wtedy, gdy funkcję rozkładu prawdopodobieństwa/gęstości próby losowej prostej X= ( X ,

1 X ,...,

2

X ) T

n

można przedstawić w postaci

Pθ ( x ,...,

=

⋅

1

xn) gθ ( T ( x ,...,

1

xn) h( x ,...,

1

xn)

f θ ( x ,...,

=

⋅

1

xn)

gθ ( T ( x ,...,

1

xn) h( x ,...,

1

xn) ,

gdzie funkcja h( x ,...,

θ ∈

gθ ( T x ,...,

1

xn )

1

xn) nie zależy od parametru

Θ , a funkcja

(

zależna od parametru

θ ∈Θ , zależy od argumentu x = (x ,...,

1

x ) T

n

tylko poprzez wartość statystyki T.

Przykład 1.7.

Niech X= ( X ,

1 X ,...,

2

X ) n

n

będzie próbą losową prostą z rozkładu zero-jedynkowego o funkcji rozkładu prawdopodobieństwa

−

1

Pθ ( )

x

x = θ (1 − θ ) x , x ∈{ }

1

,

0

, θ ∈ ( )

1

,

0

.

Funkcja rozkładu prawdopodobieństwa wektora losowego X jest postaci

11

n

∑

n

xi

i =

n

1

−

Pθ ( x ,..., x

θ

θ

i

x ∈

θ ∈

1

n ) =

(1− ) ∑ xi ,

{ }1

,

0

,

( )1

,

0

i =1

n

n

t

n−

Przyjmujemy h( x ,..., x

gθ ( T x ,...,

t =

T X =

1

x

= θ 1−θ

n )

(

) t

n =

1

) 1,

(

)

, gdzie

∑ xi oraz ( ) ∑ X i .

i=1

i=1

Stąd na mocy kryterium statystyka T jest statystyką dostateczną dla parametru θ w rozkładzie zero-jedynkowym z parametrem θ ∈ (

)1

,

0

.

Wniosek 1.1. Statystyka T jest dostateczna dla parametru θ ∈ Θ wtedy i tylko wtedy, gdy dla dowolnych dwóch różnych wartości parametru θ , θ ∈

' Θ i θ ≠ θ ' iloraz

Pθ ( x ,...,

f θ ( x ,...,

1

xn)

1

xn)

lub

Pθ

f θ'( x ,...,

1

xn)

' ( x ,...,

1

xn)

jest funkcją statystyki T (x) (zależy od x tylko poprzez T (x)).

Przykład 1.8.

Niech X= ( X ,

1 X ,...,

2

X ) T

n

będzie próbą losową prostą z rozkładu zero-jedynkowego o funkcji rozkładu

prawdopodobieństwa

−

1

Pθ ( )

x

x = θ (1 − θ ) x , x ∈{ }

1

,

0

, θ ∈ ( )

1

,

0

.

Funkcja rozkładu prawdopodobieństwa wektora losowego X jest postaci

n

∑

n

xi

i =

n

1

−

Pθ ( x ,..., x

θ

θ

i

x ∈

θ ∈

,

1

n ) =

(1− ) ∑ xi ,

{ }1

,

0

,

( )1

,

0

i =1

n

1

Pθ ( x

x

,

1 ..., n )

n− ∑ x

n

i

∑

i =

 θ  xi

θ

i =1

1 − 

oraz

.

Pθ

θ

θ

' ( x

x

,

1 ..., n ) = 







 ' 

1 − 

n

Stąd T (X) = ∑ X

θ ∈

i jest statystyką dostateczną dla parametru

( )1

,

0

w rozkładzie zero-jedynkowym.

i=1

12