Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

1

WYKŁAD 7b

Estymatory c.d. Własności asymptotyczne



Estymatory zgodne



Estymatory asymptotycznie normalne



Metoda delta



Własności estymatorów wyznaczanych metodą

największej wiarogodności

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

2

„ Próba nieskończona ”



Badaliśmy własności estymatorów, zdefiniowanych na
próbie losowej

n

1

X

,...,

X

o skończonym rozmiarze, n





.



Rozważmy teraz sytuacje, w której rozmiar próbki może
się dowolnie zwiększać.



Pytanie: jak zachowuje się estymator

)

X

,

,

X

(

gˆ

n

1



parametru g(



) gdy n





?

Estymatory zgodne

Definicja 1. Estymator

)

X

,

,

X

(

gˆ

n

1



wielkości g(



) jest

zgodny, jeśli dla każdego







,

1

)

|

)

(

g

)

X

,

,

X

(

gˆ

(|

P

lim

n

1

n



















dla każdego



> 0.

Innymi słowy estymator jest zgodny, jeśli zbiega do
estymowanej wielkości według prawdopodobieństwa.

Definicja 2. Estymator

)

X

,

,

X

(

gˆ

n

1



wielkości g(



) jest

mocno zgodny, jeśli dla każdego







1

))

(

g

)

X

,

,

X

(

gˆ

lim

(

P

n

1

n















Innymi słowy estymator jest mocno zgodny, jeśli zbiega do
estymowanego parametru prawie na pewno.

Zatem estymator jest zgodny (mocno zgodny) jeśli przy

powiększaniu rozmiaru próby zbiega - w odpowiednim sensie

– do estymowanego parametru.

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

3

Przypominamy: zbieżność prawie na pewno i zbieżność

według prawdopodobieństwa.

Ciąg zm. losowych {Y

n

} zbiega do liczby g

a) z prawdopodobieństwem 1 (prawie na pewno), co
zapisujemy,

g

Y

.

n

.

p

n



, jeśli

1

})

g

)

(

Y

:

({

P

n









;

b) według prawdopodobieństwa (stochastycznie, według
miary), co zapisujemy

g

Y

P

n



, jeśli

1

})

|

g

)

(

Y

|

:

({

P

lim

n

n













dla każdego

0





.



Zbieżność

g

Y

.

n

.

p

n



ma miejsce wtedy i tylko wtedy, gdy

dla każdego

0





})

|

g

)

(

Y

|

sup

:

({

P

lim

n

n

k

n

















= 1

MPWL Kołmogorowa. Jeżeli X

1

,X

2

,…, X

n

,… są

niezależnymi zm. los. o jednakowym rozkładzie

z wartością oczekiwaną



, to dla każdego

0





.

1

)

|

k

X

X

|

(sup

P

lim

k

1

n

k

n























Wniosek. Przyjmując

k

X

otrzymujemy:

k

X





.

n

.

p

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

4

Własność ta nazywa się (MPWL) co uzasadnia nazwę
Twierdzenia Kołmogorowa.
Przykład 1. MPWL dla niezależnych zm. los.
zerojedynkowych o jednakowym rozkładzie:

=



n

X

p, gdzie p = P(X

1

=1),

oznacza, że estymator wyrażający częstość sukcesów w
próbie

losowej

jest

zgodnym

estymatorem

prawdopodobieństwa sukcesu w rozkładzie teoretycznym .

Przykład 2. (Inne sformułowanie MPWL). Niech

n

1

X

,

,

X 

będzie próbą prostą z rozkładu zm. los. X. O rozkładzie X
zakładamy jedynie, że









)

X

(

E

Niech

n

X

oznacza średnią z tej n elementowej próby. Mocne

prawo wielkich liczb (MPWL) mówi, że





.

n

.

p

n

X

co oznacza,

że średnia jest mocno zgodnym estymatorem wartości
oczekiwanej rozkładu X.

Przykład 3. Często używanymi statystykami są także
momenty z próby wyższych rzędów niż średnia. Niech

n

1

X

,

,

X 

będzie próbą prostą z rozkładu zm. los. X.

O rozkładzie X zakładamy jedynie, że m

k

=E(X

k

)





, k

.

1



(k-ty moment rozkładu teoretycznego)

a) Rozważmy A

k

=





n

1

i

k

i

X

n

1

. Na mocy MPWL (zauważmy, że

Y

i

=

k

i

X

;

i=1,2,...,n, są niezależne o jednakowym rozkładzie i

że E(Y

i

) = m

k

<

) mamy więc także

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

5

A

k

=





n

1

i

k

i

X

n

1







n

przy

,

k

.

n

.

p

m

.

Zatem k-ty moment zwykły z próby jest estymatorem mocno
zgodnym k-tego zwykłego momentu rozkładu teoretycznego .

b) Niech





X

(

E

k



m

1

)

k

– k-ty moment centralny rozkładu

X. Rozważmy k-ty moment centralny z próby. Można
wykazać, że zachodzi następująca zbieżność

M

k

=

k

n

1

i

.

n

.

p

k

i

)

X

X

(

n

1











Dowód. Można pokazać, że między momentami centralnymi
i zwykłymi z próby (między M

k

i A

k

) zachodzą takie same

związki jak między momentami centralnymi i zwykłymi z
rozkładu (między

k



i m

k

).

Np. M

2

=

2

Sˆ

= A

2

-

2

1

A

,

2

1

2

2

m

m







.

Zatem z a) wynika, że

M

2

=

2

Sˆ

= A

2

-

2

1

A

n

.

p



2

2

2

1

2

m

m



 





Oznacza to, że M

2

=

2

Sˆ

jest zgodnym estymatorem wariancji

rozkładu teoretycznego zm. los. X. Podobny dowód można
przeprowadzić dla innych momentów.

Komentarz. Zgodność estymatora jest bardzo naturalnym
wymaganiem. Stąd też prawie wszystkie stosowane w
praktyce estymatory są zgodne (nawet mocno zgodne).

(Estymatory niezgodne jednak istnieją. Oto przykład.

Niech

X

1

,….X

n

,

E(X) =

. Niech X

1

=

. Estymator jest nieobciążony ale jeśli

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

6

X

1

na zbiorze o dodatnim prawdopodobieństwie, to nie jest on zgodny.

Mamy bowiem

0

})

|

)

(

X

|

:

({

P

})

|

)

(

|

:

({

P

lim

1

n

n



































dla pewnego

Asymptotyczna efektywność

Miarę efektywności estymatora określaliśmy dla ustalonego
rozmiaru próby losowej.

Miara efektywności estymatora (

Przypominamy).

Niech

)

X

,...,

X

(

ˆ

n

1

1



i

)

X

,...,

X

(

ˆ

n

1

2



będą dwoma estymatorami tego

samego parametru



i niech

)

X

,...,

X

(

ˆ

n

1

1



będzie estymatorem

najefektywniejszym (ENMW).

Definicja. Wielkość

)

ˆ

(

Var

)

ˆ

(

Var

)

ˆ

(

eff

2

1

2









przyjmuje się za miarę efektywności estymatora

2

ˆ



.

Zauważmy, że

0 <

1

)

ˆ

(

Var

)

ˆ

(

Var

)

ˆ

(

eff

2

1

2











Oczywistym jest fakt, że równość

1

)

ˆ

(

eff

2





oznacza, iż

2

ˆ



jest najefektywniejszy.



Miarą asymptotycznej efektywności estymatora



ˆ

parametru



nazywamy granicę





n

lim

eff(

(

)

X

,...,

X

n

1

).

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

7



Mówimy, że estymator

gˆ

jest asymptotycznie

najefektywniejszy

jeśli

miara

asymptotycznej

efektywności tego estymatora wynosi 1.

W dalszym ciągu przy badaniu estymatorów wygodnie będzie
korzystać z następującej własności rozkładu normalnego.

Uwaga. (Przypominamy wiadomości z rachunku
prawdopodobieństwa).

a) O liniowym przekształceniu zm. los. normalnej. Jeżeli X ma
rozkład normalny N(





, ), to dla dowolnych liczb a,b (a



0) zmienna

Y=aX+b ma rozkład N(a



+b, |a|



)

b)

Jeżeli ciąg zm. losowych

),

,

0

(

N

Z

d

n





to oznacza, że



n

Z

)

1

,

0

(

N

d



.

Dowód.

.

tzn

)

,

0

(

N

Z

d

n





dt

)

2

x

exp(

2

1

)

a

Z

(

P

2

2

a

n



















a więc

dx

)

2

x

exp(

2

1

)

a

Z

(

P

2

2

a

n























.

Przez zamianę zmiennych w ostatniej całce, podstawiając
s = (x/

otrzymujemy

ds

)

2

s

exp(

2

1

)

a

Z

(

P

2

/

a

n





















.

Wobec dowolności a, oznaczając

, mamy

ds

)

2

s

exp(

2

1

)

z

Z

(

P

2

z

n

















,

Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

8

co oznacza, że



n

Z

)

1

,

0

(

N

d



.

Estymatory asymptotycznie normalne

Mówimy, że estymator

gˆ

(

)

X

,

,

X

n

1



wielkości g(

)



jest

asymptotycznie normalny, jeśli dla każdego







istnieje

takie

),

(





że















n

przy

)),

(

,

0

(

N

))

(

g

)

X

,

,

X

(

gˆ

(

n

(*)

d

n

1



Zaznaczona zbieżność jest zbieżnością według rozkładu.

Fakt. Własność (*) oznacza , że estymator jest
asymptotycznie normalny jeśli

)

a

(

),

a

(

)

a

))

(

g

)

X

,

,

X

(

gˆ

(

)

(

n

(

P

lim

n

1

n

























jest

dystrybuantą rozkładu N(0,1).
Dowód wynika z punktu b)

Wniosek. Mówiąc mniej precyzyjnie oznacza to, że dla
dostatecznie dużych n rozkład statystyki

))

(

g

)

X

,

,

X

(

gˆ

(

)

(

n

n

1











jest bliski rozkładowi N(0,1). Zatem

na mocy Uwagi a) rozkład

gˆ

(

)

X

,

,

X

n

1



jest bliski

rozkładowi N(g(

)

n

/

)

(

),







Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

9

Zwykło się nazywać wielkość

)

n

/

)

(

2





wariancją

asymptotyczną estymatora, chociaż z definicji nie wynika,
że

)

(

)

X

,

,

X

(

gˆ

nVar

2

n

1











.

Przykład.

gˆ

(

)

X

,

,

X

n

1



=

n

X

, g(

)



=



= E(X), X zmienna o

rozkładzie, z którego pochodzi próba. Z Centralnego
Twierdzenia Granicznego mamy









n

przy

),

,

0

(

N

)

X

(

n

d

n





gdzie

X

Var

)

(

2









Zauważmy, że w tym przypadku

)

n

/

)

(

2





jest wariancją

n

X

.

Przy badaniu asymptotycznej normalności wygodny jest
następujący lemat zwany Metodą delta.

Lemat. (Metoda delta). Jeżeli dla ciągu zmiennych losowych

n

T

mamy

)

,

0

(

N

)

T

(

n

d

n









przy n





i h:R

R



jest

funkcją różniczkowalną w punkcie



to

)

|

)

(

h

|

,

0

(

N

))

(

h

)

T

(

h

(

n

d

n















Idea dowodu. Rozwijamy h (wykorzystując wzór Taylora )
wokół



w następujący sposób

)

t

(

r

)

t

)(

(

h

)

(

h

)

t

(

h

















, r(t)/(t-



)

0



dla t





Wstawiamy t =

n

T

i mnożymy strony równości przez

n

.

Otrzymujemy

n

)

T

(

r

n

)

T

(

n

)

(

h

))

(

h

)

T

(

h

(

n

n

n

















Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne

10

Okazuje się , że przy n





składnik z resztą można pominąć,

a wykorzystując założenie lematu dostajemy tezę.


Komentarz. Metoda delta pozwala „ budować” estymatory
asymptotycznie normalne. Wykorzystamy ją przy konstrukcji
asymptotycznych przedziałów ufności.

Własności asymptotyczne estymatorów największej

wiarogodności

Są bardzo dokładne twierdzenia dotyczące estymatorów
otrzymywanych metodą największej wiarogodności. Nie
będziemy ich tutaj szczegółowo przytaczać. Wspomnieć
należy jednak, że w bardzo wielu przypadkach estymatory te
są zgodne, asymptotycznie normalne i asymptotycznie
efektywne.