Materiał dla studentów

Estymatory i ich własności

(studium przypadku)

Nazwa przedmiotu: Statystyka matematyczna I, Statystyka, Ekonometria

Kierunek studiów: MIESI

Studia I stopnia/studia II stopnia

Opracowała: dr Elzbieta Getka-Wilczyńska, Zakład Statystyki Matematycznej, Instytut

Ekonometrii, KAE

Warszawa, 2010

2

I.

Informacje wstępne

(przedstawiające cele oraz kontekst dydaktyczny analizy przypadku, np. czy chodzi o po-
kazanie jak dokonywane są wybory, uświadomienie, co modeluje zachowanie osób w kon-
kretnych sytuacjach, czy też, jakie są możliwe strategie rozwiązywania problemów stoją-
cych przed osobą, grupa społeczną lub organizacją. Informacje powinny też uwzględniać
doświadczenie studentów, ich wiedzę z zakresu dyscypliny naukowej, z perspektywy, której
studium przypadku jest rozważane.)

Studium przypadku „Estymatory i ich własności ” umiejscowione jest w procesie dydaktycznym przedmio-
tów Statystyka matematyczna I, Statystyka oraz Ekonometria i zawiera podstawowe pojęcia teorii estymacji (pa-
rametrycznej) w podanym poniżej zakresie.

•

Estymacja punktowa:

Estymatory i ich podstawowe własności (dopuszczalność, nieobciążoność, zgodność i efek-
tywność w sensie Cramera -Rao)

Kryteria oceny jakości estymatorów (błąd średniokwadratowy – miara jakości estymatora i
wariancja – miara precyzji estymatora)

Wybrane metody konstrukcji estymatorów - metoda momentów i metoda największej wiaro-
godności

Asymptotyczne własności estymatorów

Ogólnie, statystyka zajmuje się metodami zbierania danych liczbowych oraz ich analizą i interpretacją.

Ze statystyczną analizą danych (statystyką opisową) mamy do czynienia wtedy, gdy nie posiadamy wiedzy a
priori o badanym zjawisku (ekonomicznym, społecznym, medycznym, itp.) i ograniczamy się tylko do wyzna-
czenia podstawowych wskaźników badanej zbiorowości na podstawie zebranych danych i formułowania wstęp-
nych teorii, natomiast statystyka matematyczna zajmuje się metodami zbierania danych i wnioskowaniu o
nich, gdy posiadamy wstępną wiedzę o badanym zjawisku w postaci nie w pełni wyspecyfikowanego modelu
probabilistycznego i wiedzę tę uzupełniamy lub weryfikujemy stosując w zależności od rodzaju zagadnienia me-
tody
- teorii estymacji lub
- testowaniu hipotez statystycznych.

Obie teorie są szczególnymi przypadkami ogólnego problemu podejmowania decyzji w warunkach niepewności,
który jest rozwiązywany w ramach statystycznej teorii podejmowania decyzji.- teorii statystycznych funkcji de-
cyzyjnych.
Merytoryczna treść studium przypadku „Estymatory i ich własności” należy do teorii estymacji (dokładniej,
parametrycznej estymacji punktowej i przedziałowej) jako działu statystyki matematycznej.

Wprowadzenie

Wnioskowania statystyki matematycznej opierają się na danych, które są wynikami doświadczenia losowego.
W matematycznym modelu zjawiska wyniki doświadczenia nazywamy obserwacjami i interpretujemy jako war-
tości zmiennych losowych

X

X

X

n

,...,

,

2

1

określonych na pewnej przestrzeni probabilistycznej

Ω

i których

rozkłady prawdopodobieństwa przynajmniej częściowo są nieznane.

Obserwacja jest wartością zmiennej losowej X lub wektora losowego

(

)

X

X

X

n

,...,

1

=

.

Przyjmujemy, że wyniki doświadczenia – obserwacje - jako wartości zmiennych losowych

X

X

X

n

,...,

,

2

1

maja postać skończonego ciągu liczb

x

x

x

n

,...,

,

2

1

tj.

( )

( )

( )

ω

ω

ω

n

n

X

x

X

x

X

x

=

=

=

,...,

,

2

2

1

1

dla

Ω

∈

ω

.

1. Niech

(

)

P

B,

,

χ

będzie modelem statystycznym, w którym

•

χ

jest zbiorem wartości zmiennej losowej X (przestrzeń zdarzeń elementarnych),

•

B jest wyróżnionym sigma-ciałem podzbiorów (zdarzeń) zbioru

χ

3

•

{

}

Θ

∈

=

θ

θ

:

P

P

oznacza rodzinę rozkładów prawdopodobieństwa określonych na przestrzeni

(

)

B

,

χ

indeksowaną parametrem

Θ

∈

θ

, zbiór

R

k

⊂

Θ

nazywa się przestrzenią parametrów.

2. Wektor losowy

(

)

X

X

X

n

,...,

1

=

, gdzie

X

X

X

n

,...,

,

2

1

są niezależnymi zmiennymi losowymi o jedna-

kowym rozkładzie prawdopodobieństwa

Θ

∈

θ

θ

,

P

nazywamy n- elementową próbą losową

i stosujemy zapis:

(

)

X

X

X

n

,...,

1

=

jest próbą z rozkładu

P

θ

,

Θ

∈

θ

.

3. Funkcję próby

(

)

X

X

X

n

,...,

1

=

postaci

( ) (

)

X

X

T

X

T

n

,...,

1

=

nazywamy statystyką, jeżeli jest

zmienną losową na

(

)

P

B,

,

χ

.

Statystyka jest funkcją

n

n

R

T

→

χ

:

i nie może zależeć od nieznanego parametru

Θ

∈

θ

.

4. Przykładowe statystyki:

a) średnia z próby (moment z próby zwykły rzędu pierwszego)

(

)

X

X

X

n

,...,

1

=

jest dana wzorem

( ) (

)

=

=

X

X

T

X

T

n

,...,

1

X

X

n

n

i

i

=

∑

=

=

1

1

Jeżeli zmienne losowe

n

i

X

,...

2

,

1

,

i

=

mają

n

i

X

E

i

,...,

2

,

1

,

=

∞

<

=

µ

, to

µ

θ

=

X

E

b) wariancja z próby (moment z próby centralny rzędu drugiego)

(

)

X

X

X

n

,...,

1

=

(

)

2

1

2

1

2

2

1

1

X

X

n

X

X

n

S

n

i

i

n

i

i

−

∑

=

∑

−

=

=

=

lub

(

)

2

1

2

2

1

1

1

~

S

n

n

X

X

n

S

n

i

i

−

=

∑

−

−

=

=

, gdy nieznana jest

µ

=

EX

(

)

∑

−

=

=

n

i

i

X

n

S

1

2

2

1

ˆ

µ

, gdy znana jest wartość oczekiwana

µ

=

EX

Jeżeli zmienne losowe

n

i

X

,...

2

,

1

,

i

=

mają

n

i

X

Var

i

,...,

2

,

1

,

2

=

∞

<

=

σ

, to

( )

=

2

S

E

2

1

σ

n

n

−

,

( )

(

)

4

2

2

1

2

σ

n

n

S

Var

−

=

,

( )

2

2

~

σ

=

S

E

,

( )

.

ˆ

2

2

σ

=

S

E

5. Funkcję prawdopodobieństwa albo gęstości próby

(

)

X

X

X

n

,...,

1

=

oznaczamy przez

(

)

x

x

f

n

,...,

1

θ

i na

mocy niezależności zmiennych losowych zachodzi wzór

(

)

( ) ( )

( )

x

f

x

f

x

f

x

x

f

n

n

θ

θ

θ

θ

⋅⋅

⋅

=

2

1

1

,...,

.

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą wylosowaną z rozkładu

P

θ

,

Θ

∈

θ

.

Problemy statystyki matematycznej charakteryzują się tym, że rozkład prawdopodobieństwa

P

θ

,

Θ

∈

θ

wektora

(

)

X

X

X

n

,...,

1

=

nie jest całkowicie znany (tzn. wartość parametru

Θ

∈

θ

identyfikującego ten

rozkład nie jest znana), wiemy jedynie tyle, że należy do pewnej rodziny rozkładów

{

}

Θ

∈

=

θ

θ

:

P

P

.

Na podstawie informacji z próby

(

)

X

X

X

n

,...,

1

=

chcemy odpowiedzieć na pytania dotyczące wartości pa-

rametru

Θ

∈

θ

.

4

I – Estymatory i ich podstawowe własności

Problem parametrycznej estymacji punktowej polega na oszacowaniu (znalezieniu przybliżonej wartości)

nieznanego parametru

Θ

∈

θ

rozkładu prawdopodobieństwa próby

(

)

X

X

X

n

,...,

1

=

na podstawie jej reali-

zacji x=

(

)

x

x

x

n

,...,

,

2

1

.

Narzędziem służącym do szacowania nieznanego parametru rozkładu próby

(

)

X

X

X

n

,...,

1

=

są statystyki.

Niech

R

g

→

Θ

:

będzie funkcją .nieznanego parametru

Θ

∈

θ

, której wartości chcemy oszacować.

Definicja 1. .Statystykę

(

)

X

X

T

n

,...,

1

o wartościach w zbiorze wartości funkcji g służącą do oszacowania

nieznanej wartości funkcji

( )

θ

g

nazywamy estymatorem wartości funkcji

( )

θ

g

i oznaczamy przez

( ) ( )

X

g

X

T

ˆ

=

lub symbolicznie

( )

X

g

T

ˆ

=

gdzie

R

g

n

→

χ

:

ˆ

.

Dla konkretnych wartości próby

n

n

x

X

x

X

x

X

=

=

=

,...,

,

2

2

1

1

liczbę

(

) (

)

x

x

x

g

x

x

x

T

n

,...,

,

ˆ

,...,

,

2

1

2

1

=

nazywamy wartością estymatora

(oceną punktową).

W szczególności, gdy

( )

θ

θ

=

g

otrzymujemy definicję 2.

Definicja 2. Statystykę

(

)

X

X

T

n

,...,

1

o wartościach w zbiorze

Θ

służącą do oszacowania nieznanego para-

metru

θ

rozkładu prawdopodobieństwa próby

(

)

X

X

X

n

,...,

1

=

nazywamy estymatorem parametru

θ

i

oznaczamy

( )

θ

ˆ

=

X

T

lub symbolicznie

θ

ˆ

=

T

gdzie

Θ

→

n

χ

θ

:

ˆ

.

Dla konkretnych wartości

(

)

x

x

x

x

n

,...,

,

2

1

=

próby

(

)

X

X

X

n

,...,

1

=

liczbę

(

)

x

x

T

n

,...,

1

nazywamy war-

tością estymatora (oceną punktową).

•

W naturalny sposób powstają pytania: jakie są kryteria doboru estymatorów stosowanych do oceny nie-

znanego parametru rozkładu prawdopodobieństwa próby

(

)

X

X

X

n

,...,

1

=

, czy istnieją estymatory

optymalne w sensie przyjętych kryteriów i jakie są kryteria oceny jakości konstruowanych estymato-
rów.

Przy analizowaniu jakości estymatorów rozważane są własności:

•

nieobiążoność estymatora - wartość oczekiwana estymatora wartości funkcji estymowanej powinna być
równa wartości funkcji estymowanej (przy założeniu, że istnieje co najmniej jeden estymator nieobcią-
ż

ony funkcji estymowanej)

•

zgodność słaba (i mocna)- estymator powinien być zbieżny według prawdopodobieństwa ( z prawdo-
podobieństwem 1) do wartości oczekiwanej funkcji estymowanej przy liczbie prób zmierzających do
nieskończoności

•

efektywność – estymator powinien być estymatorem nieobciążonym o najmniejszej wariancji

Oceny jakości estymatorów dokonuje się za pomocą błędu średniokwadratowego (miara dokładności estymato-
ra) i wariancji (miara precyzji estymatora). Formalne definicje są podane poniżej.

1. Nieobciążoność i błąd średniokwadratowy

Niech statystyka

( )

X

g

T

ˆ

=

będzie estymatorem wartości funkcji

( )

θ

g

.

Definicja 3. Estymator

( )

X

g

T

ˆ

=

nazywamy estymatorem nieobciążonym wartości funkcji

( )

θ

g

, jeżeli

( )

[

]

( )

θ

θ

g

X

g

E

=

ˆ

dla każdego

Θ

∈

θ

,

przy założeniu, że wartość oczekiwana istnieje.

5

Jeżeli

( )

[

]

( )

θ

θ

g

X

g

E

≠

ˆ

, to statystykę

( )

X

g

T

ˆ

=

nazywamy estymatorem obciążonym wartości funkcji

( )

θ

g

.

Różnicę

( )

( )

(

) ( )

θ

θ

θ

g

g

E

T

b

−

=

ˆ

nazywamy obciążeniem estymatora T.

Zakładamy że istnieje co najmniej jeden estymator nieobciążony funkcji

( )

θ

g

.

Przykład 1. Dla każdego rozkładu, takiego, że wartość oczekiwana

∞

<

=

µ

θ

X

E

jest skończona, niech

(

)

X

X

n

X

X

T

n

i

i

n

=

∑

=

1

,...,

1

Wówczas mamy (obliczenia w Aneksie)

µ

θ

=

X

E

Zatem średnia z próby

X

jest nieobciążonym estymatorem wartości oczekiwanej

µ

.

Jeżeli

x

i

jest wartością zmiennej losowej

X

i

dla

n

i

,...,

2

,

1

=

, to

x

x

n

n

i

i

=

∑

1

jest wartością estymatora

X

,

czyli liczba

x

jest nieobciążoną oceną punktową parametru

µ

.

Przykład 2. Dla każdego rozkładu, dla którego wariancja

( )

(

)

[

]

2

2

X

E

X

E

X

Var

θ

θ

θ

σ

−

=

=

jest skoń-

czona, niech

(

)

=

n

X

X

T

,...,

1

(

)

2

1

2

~

1

1

S

X

X

n

n

i

i

=

∑

−

−

=

Wtedy

( )

2

2

~

σ

θ

=

S

E

. Stąd wariancja z próby

2

~

S

jest nieobciążonym estymatorem wariancji

2

σ

.

Jeżeli

x

i

jest wartością zmiennej losowej

X

i

dla

n

i

,...,

2

,

1

=

, to

(

)

2

1

2

~

1

1

s

x

x

n

n

i

i

=

∑

−

−

=

jest wartością es-

tymatora

2

~

S

, czyli liczba

2

~

s

jest nieobciążoną oceną punktową parametru

2

σ

.

Definicja 4. Wartość średnią kwadratu odległości

( ) ( )

(

)

2

ˆ

θ

g

X

g

−

nazywamy błędem średniokwadrato-

wym estymatora

( )

X

g

T

ˆ

=

i zapisujemy

(1)

( )

( ) ( )

(

)

2

ˆ

θ

θ

θ

g

X

g

E

T

BSK

−

=

.

•

Funkcja kwadratowa pod znakiem wartości oczekiwanej

( ) ( )

(

)

2

ˆ

θ

g

X

g

−

we wzorze 1 określa błąd

(stratę) statystyka w przypadku, gdy prawdziwą wartością szacowanego parametru jest

( )

θ

g

, a

( )

X

g

T

ˆ

=

jest

estymatorem punktowym wybranym do oceny wartości

( )

θ

g

. Funkcję tę nazywamy kwadratową funkcją stra-

ty. W teorii funkcji decyzyjnych błąd średniokwadratowy nazywany jest ryzykiem estymatora T przy kwadrato-
wej funkcji straty.
Błąd średniokwadratowy jest charakterystyką liczbową zależną od estymowanego parametru.

2. Dopuszczalność

Błąd średniokwadratowy jako miara dokładności estymatora pozwala w zbiorze wszystkich estymatorów
wprowadzić częściowy porządek w następujący sposób.

Definicja 5. Estymator

1

T

jest lepszy od estymatora

2

T

, jeżeli

( )

( )

T

BSK

T

BSK

2

1

θ

θ

≤

dla każdego

Θ

∈

θ

i co najmniej dla jednej wartości

Θ

∈

0

θ

zachodzi nierówność ostra

6

( )

( )

T

BSK

T

BSK

2

1

0

0

θ

θ

≤

.

Estymator T nazywa się estymatorem dopuszczalnym, jeżeli nie istnieje estymator lepszy od niego. W prze-
ciwnym razie estymator T nazywa się estymatorem niedopuszczalnym.

Ponadto ze wzoru 1 wynika, że dla dowolnego estymatora

( )

X

g

T

ˆ

=

błąd średniokwadratowy jest sumą jego

wariancji i kwadratu obciążenia

(2)

( )

( ) ( )

(

)

(

)

( ) ( )

[

]

( )

( )

T

b

T

Var

g

T

E

T

E

T

E

g

X

g

E

T

BSK

2

2

2

2

)

(

ˆ

θ

θ

θ

θ

θ

θ

θ

θ

+

=

=

−

+

−

=

−

=

Definicja 6. Jeżeli

( )

0

lim

=

∞

→

n

n

T

b

θ

, to statystyka

(

)

X

X

T

T

n

n

,...,

1

=

jest asymptotycznie nieobciążonym

estymatorem parametru

θ

.

•

Z definicji 5 wynika, że estymator jest estymatorem dopuszczalnym, gdy nie można znaleźć innego

estymatora, który miałby mniejszy błąd średniokwadratowy dla pewnej wartości parametru i co najmniej równy
dla pozostałych wartości parametru. Jeżeli dla danego estymatora istnieje lepszy estymator w sensie definicji 4,
to dany estymator jest niedopuszczalny (przykład w Arkuszu testowym).
Definicja 5 pozwala na porównywanie estymatorów ze względu na błąd średniokwadratowy w ograniczonym
zakresie - dla pewnych wartości parametrów z dwóch estymatorów jeden może być lepszy od drugiego, a dla
innych wartości parametrów odwrotnie. Zatem w ogólnym przypadku z definicji 5 nie wynika istnienie estyma-
tora jednostajnie (tj. dla wszystkich wartości szacowanego parametru) minimalizującego błąd średniokwadrato-
wy.
Stąd wynika potrzeba przyjęcia innych kryteriów redukujących zbiór wszystkich estymatorów do zbioru dostar-
czającego estymatorów optymalnych przy przyjętych ograniczeniach. Jednym z możliwych kryteriów ogranicza-
jących jest własność nieobciążoności i poszukiwanie estymatora optymalnego w sensie przyjętej miary jakości w
zbiorze estymatorów nieobciążonych. W zbiorze estymatorów nieobciążonych za miarę jakości estymatorów
przyjmujemy wariancję.

Przyjęcie kryterium nieobciążoności nie ma wpływu na wielkość błędu średniokwadratowego –estymator nie-
obciążony może mieć błąd średniokwadratowy większy od obciążonego estymatora.
Istnieje obciążony estymator wariancji rozkładu normalnego o mniejszym błędzie średniokwadratowym od błę-
du średniokwadratowego nieobciążonego estymatora wariancji tego rozkładu, a stąd wynika, że estymator nie-
obciążony jest estymatorem niedopuszczalnym w klasie wszystkich estymatorów wariancji dla rodziny rozkła-
dów normalnych. (przykład w Arkuszu testowym).

Poza tym, jeżeli estymator

( )

X

g

T

ˆ

=

jest nieobciążonym estymatorem wartości funkcji estymowanej

( )

θ

g

,

to tylko estymatory będące funkcjami liniowymi estymatora

( )

X

g

T

ˆ

=

są nieobciążone (dla nieliniowych

funkcji estymatora

( )

X

g

T

ˆ

=

nie zawsze istnieją jednoznaczne rozwiązania równań całkowych definiujących

nieobciążoność (przykład w Arkuszu testowym).

•

Jeżeli estymator

( )

X

g

T

ˆ

=

jest estymatorem nieobciążonym funkcji

( )

θ

g

, to obciążenie

( )

0

2

=

T

b

θ

i błąd średniokwadratowy jest równy wariancji estymatora

( )

X

g

T

ˆ

=

( )

( )

T

Var

T

BSK

θ

θ

=

Zatem mając dwa nieobciążone estymatory funkcji

( )

θ

g

,

T

1

i

T

2

, możemy je porównać, porównując ich

wariancje, a mianowicie, estymator

T

1

jest lepszy od

T

2

, jeżeli

( )

( )

2

1

T

Var

T

Var

θ

θ

≤

dla każdego

Θ

∈

θ

i co najmniej dla jednej wartości

Θ

∈

0

θ

zachodzi nierówność ostra

( )

( )

2

1

T

Var

T

Var

θ

θ

<

(przykład w Arkuszu testowym).

7

3. Estymatory nieobciążone o minimalnej wariancji

W zbiorze estymatorów nieobciążonych poszukujemy estymatora o minimalnej wariancji (estymatora
NMW), estymatora najlepszego wśród nieobciążonych w sensie przyjętego kryterium jakości: wariancji jako
miary precyzji estymatora.
W teorii estymacji punktowej formułowane są różne kryteria poszukiwania estymatorów NMW, które w istocie
rozważają dwie sytuacje: potrafimy dowieść, że estymator NMW istnieje i można go wyznaczyć przy spełnieniu
pewnych warunków lub nie potrafimy ustalić istnienia estymatora NMW.

W studium przypadku

•

nie omawiamy zagadnienia istnienia estymatorów nieobciążonych

•

z kryteriów poszukiwania estymatora NMW ograniczamy się do nierówności Cramera –Rao zwanej
też nierównością informacyjną, spełniającej założenia modelu regularnego w sensie Cramera-
Rao .

Metoda oparta na nierówności informacyjnej pozwala w praktyce na wskazanie estymatora, którego wariancja
jest porównywalna z kresem dolnym wariancji estymatorów nieobciążonych, przy założeniu, że model staty-
styczny spełnia pewne warunki regularności. Formalne definicje i twierdzenia są podane poniżej.

Niech

•

R

g

→

Θ

:

będzie funkcją nieznanego parametru

Θ

∈

θ

rozkładu prawdopodobieństwa próby

(

)

X

X

X

n

,...,

1

=

, którą chcemy oszacować

•

U zbiorem jej wszystkich estymatorów nieobciążonych wartości funkcji

( )

θ

g

mających skończoną

wariancję dla każdego

Θ

∈

θ

•

( )

X

g

T

ˆ

=

dowolnym estymatorem wartości funkcji

( )

θ

g

.

Definicja 7. Statystykę

( )

X

g

T

ˆ

=

nazywamy estymatorem nieobciążonym o minimalnej wariancji (esty-

matorem NMW) wartości funkcji

( )

θ

g

, jeżeli

(i)

( )

U

X

g

T

∈

=

ˆ

(ii) dla każdego estymatora

( )

U

~

∈

=

X

g

U

i każdego

Θ

∈

θ

( )

( )

U

Var

T

Var

θ

θ

<

.

•

Z definicji 7 wynika, że dowolny estymator

( )

X

g

T

ˆ

=

wartości funkcji

( )

θ

g

jest estymatorem

nieobciążonym o minimalnej wariancji tylko wtedy, gdy jest estymatorem nieobciążonym funkcji

( )

θ

g

, jego

wariancja

( )

( )

∞

<

=

2

T

E

T

Var

θ

θ

jest skończona dla każdego

Θ

∈

θ

i wśród wszystkich estymatorów nie-

obciążonych wartości funkcji

( )

θ

g

mających skończoną wariancję dla każdej wartości parametru

Θ

∈

θ

nie

istnieje estymator, którego wariancja byłaby mniejsza.

4. Estymatory efektywne w sensie Cramera-Rao

Model regularny w sensie Cramera-Rao

Definicja 8. Model statystyczny

{

}

(

)

Θ

∈

=

θ

χ

θ

:

,

,

P

P

B

,

R

⊂

Θ

, gdzie każdy rozkład

P

θ

ma gęstość

( )

x

f

θ

względem pewnej ustalonej miary dominującej

µ

nazywamy modelem regularnym w sensie Crame-

ra –Rao, jeżeli spełnia warunki:

(i)

Θ

jest otwartym przedziałem ( skończonym lub nieskończonym) zawartym w R

(ii) zbiór

( )

{

}

0

:

0

>

=

x

f

x

θ

χ

(nośnik gęstości

( )

x

f

θ

rozkładu

P

θ

) pokrywa się ze zbiorem

χ

i jest nie-

zależny od

θ

8

(iii) funkcja

( )

x

f

θ

jest dwukrotnie różniczkowalna

Θ

dla wszystkich

χ

∈

x

z wyjątkiem być może zbioru

A, dla którego

( )

0

=

A

P

θ

dla każdego

Θ

∈

θ

, tj. pochodne

( )

( )

2

2

i

θ

θ

θ

θ

∂

∂

∂

∂

x

f

x

f

istnieją p.w.

µ

dla

wszystkich

Θ

∈

θ

(iv)

( )

dx

x

f

∫

χ

θ

oraz

( )

dx

x

x

f

∫

∂

∂

χ

θ

można różniczkować względem

θ

pod znakiem całki, tj.

( ) ( )

( ) ( )

dx

x

f

dx

x

f

d

d

µ

θ

µ

θ

χ

θ

χ

θ

∫













∂

∂

=

∫

oraz

( ) ( )

( ) ( )

dx

x

f

dx

x

f

d

d

µ

θ

µ

θ

θ

χ

θ

χ

θ

∫















∂

∂

=

∫













∂

∂

2

2

(v)

( )

∞

<













∂

∂

<

θ

θ

θ

x

f

Var

ln

0

dla każdego

Θ

∈

θ

(vi) dla dowolnej statystyki

( )

X

T

takiej, że

( )

(

)

∞

<

X

T

E

θ

dla wszystkich

Θ

∈

θ

można różniczkować pod

znakiem całki

( ) ( ) ( )

dx

x

f

X

T

µ

χ

θ

∫

.

Wprost z definicji 8 wynikają następujące fakty.

Z warunku (iv) wynika, że wartość oczekiwana zmiennej losowej

( )

θ

θ

∂

∂

X

f

ln

( )

( )

( ) ( )

( ) ( )

( )

0

1

ln

∫

=

∫

∫

=













∂

∂

=













∂

∂

=













∂

∂

χ

θ

χ

χ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

dx

x

f

d

d

dx

x

x

f

dx

x

f

x

f

x

f

X

f

E

jest równa zeru dla każdego

Θ

∈

θ

.

Stąd i z warunku (v) wariancja zmiennej losowej

( )

θ

θ

∂

∂

X

f

ln

jest równa

( )

( )

( )

( )

2

2

2

ln

ln

ln

ln













∂

∂

=

























∂

∂

−













∂

∂

=













∂

∂

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

X

f

E

X

f

E

X

f

E

X

f

Var

Informacja Fishera

Fakt 1. Funkcję

( )

( )

( )

( )

( )

( )















∑













∂

∂

∫













∂

∂

=













∂

∂

=

=

dyskretnej

losowej

zmiennej

dla

ln

ciaglej

losowej

zmiennej

dla

ln

ln

1

2

2

2

n

i

x

f

X

f

dx

x

f

X

f

X

f

E

I

θ

θ

χ

θ

θ

θ

θ

θ

θ

θ

θ

nazywamy informacją Fishera zawartą w zmiennej losowej X o gęstości

( )

x

f

θ

.

Przykłady obliczeniowe są podane w Arkuszu testowym.

Fakt 2. Informację Fishera możemy również wyznaczyć ze wzoru

( )

( )















∂

∂

−

=

2

2

ln

θ

θ

θ

θ

X

f

E

I

.

9

Nierówność Cramera- Rao

Twierdzenie 1. (nierówność informacyjna)

Zakładamy, że są spełnione warunki regularności (i) – (vi) modelu regularnego w sensie Cramera-Rao.

Niech

( )

X

T

będzie nieobciążonym estymatorem wartości funkcji

( )

θ

g

o skończonej wariancji

( )

(

)

( )

(

)

∞

<

=

X

T

E

X

T

Var

2

θ

θ

dla każdego

Θ

∈

θ

.

Wtedy

(i)

( )

(

)

( )

[

]

( )

θ

θ

θ

I

g

X

T

Var

2

'

≥

dla każdego

Θ

∈

θ

(3)

(ii) w nierówności (3) równość zachodzi wtedy i tylko wtedy, gdy z prawdopodobieństwem 1

( ) ( ) ( ) ( )

[

]

θ

θ

θ

θ

g

X

T

k

X

f

−

=

∂

∂

ln

(4)

gdzie

( )

θ

k

nie zależy od X .

•

Nierówność w warunku (i) nosi nazwę nierówności informacyjnej lub nierówności Cramera - Rao.

Prawa strona nierówności w warunku (i) nazywa się ograniczeniem od dołu Cramera-Rao lub dolnym ograni-
czeniem Cramera-Rao.
Funkcję

( )

θ

I

nazywaną informacja Fishera uważa się za miarę informacji o parametrze

Θ

∈

θ

zawartą w

zmiennej losowej X o gęstości

( )

x

f

θ

.

Jeżeli zachodzi równość w nierówności informacyjnej dla nieobciążonego estymatora wartości funkcji

( )

θ

g

, to

im większa jest wartość

( )

θ

I

, tym mniejsza jest wariancja estymatora, a zatem parametr ten może być dokład-

niej oszacowany.

Wniosek 1. Jeżeli

( )

θ

θ

=

g

, to z twierdzenia 1 wynika, że

( )

(

) ( )

θ

θ

I

X

T

Var

1

≥

.

Estymatory efektywne w sensie Cramera-Rao

Definicja 9. Nieobciążony estymator

( )

X

T

wartości funkcji

( )

θ

g

, którego wariancja jest równa dolnemu

ograniczeniu Cramera-Rao dla każdego

Θ

∈

θ

nazywamy estymatorem efektywnym w sensie Cramera –Rao.

•

Jeżeli jest spełniony warunek (4) z Twierdzenia 1, to

( )

X

T

jest estymatorem efektywnym dla

( )

θ

g

i

jego wariancja jest wynosi

( )

(

)

( )

( )

θ

θ

θ

k

g

X

T

Var

'

=

,

co równa się prawej stronie nierówności Cramera-Rao we wzorze (3) , tzn.

( )

[

]

( )

θ

θ

I

g

2

'

.

•

Z warunku (ii) twierdzenia 1 wynika, że estymator

( )

X

T

jest efektywny wtedy i tylko wtedy, gdy

można go zapisać w postaci

( )

( )

( )

( ) ( )

θ

θ

θ

θ

θ

g

X

f

I

g

X

T

+

∂

∂

=

ln

'

(5)

dla dowolnej ustalonej wartości parametru

Θ

∈

θ

.

(przykład w Arkuszu testowym)

10

•

Analogiczne wzory zachodzą dla wektora losowego

(

)

X

X

X

n

,...,

1

=

.

Wniosek 2. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

Θ

∈

θ

θ

,

P

o łącznej gęstości

(

)

( )

i

n

i

n

x

f

x

x

f

∏

=

=

1

1

,...,

θ

θ

Wtedy na podstawie Twierdzenia 1

( )

(

)

( )

[

]

( )

θ

θ

θ

I

g

X

T

Var

n

2

'

≥

, (6)

gdzie

( )

(

)

( )

θ

θ

θ

θ

θ

nI

X

X

f

E

I

n

n

=













∂

∂

=

2

1

,...,

ln

jest informacją Fishera zawartą w próbie rozmiaru n,

(

)

X

X

X

n

,...,

1

=

, natomiast

( )

( )

2

ln









∂

∂

=

θ

θ

θ

θ

X

f

E

I

(Fakt 2)

jest informacją Fishera zawartą w pojedynczej zmiennej losowej X .

Równość zachodzi wtedy i tylko wtedy, gdy z prawdopodobieństwem 1

(

) ( ) ( ) ( )

[

]

θ

θ

θ

θ

g

X

T

k

X

X

f

n

−

=

∂

∂

,...,

ln

1

(7)

gdzie

( )

θ

k

nie zależy od X .

•

Ponadto wzór (5) określający postać estymatora efektywnego przyjmuje postać

( )

( )

( )

( ) ( )

θ

θ

θ

θ

θ

g

X

f

I

g

X

T

n

i

i

n

+

∑

∂

∂

=

=

1

ln

'

(8)

Wyznaczenie informacji Fishera

( )

(

)

2

1

,...,

ln













∂

∂

=

θ

θ

θ

θ

X

X

f

E

I

n

n

Dla próby

(

)

X

X

X

n

,...,

1

=

o gęstości

(

)

( )

i

n

i

n

x

f

x

x

f

∏

=

=

1

1

,...,

θ

θ

mamy

(

)

( )

x

f

x

x

f

i

n

i

n

θ

θ

∑

=

=

1

1

ln

,...,

ln

,

(

)

( )

x

f

x

x

f

i

n

i

n

ln

,...,

ln

1

1

θ

θ

θ

θ

∑

∂

∂

=

∂

∂

=

.

Zmienne losowe

( )

( )

( )

X

f

X

f

X

f

n

θ

θ

θ

θ

θ

θ

ln

,...,

ln

,

ln

2

1

∂

∂

∂

∂

∂

∂

są niezależnymi zmiennymi losowymi o

jednakowym rozkładzie, ponieważ są funkcjami niezależnych zmiennych losowych

X

X

n

,...,

1

o identycznych

rozkładach.
Z warunków (iv) i (v) definicji 7 oraz Faktu 1 wynika, że wartość oczekiwana każdej zmiennej losowej

( )

X

f

i

θ

θ

ln

∂

∂

, i=1,2,…,n jest równa zeru dla każdego

Θ

∈

θ

, a wariancja jest równa

( )

θ

I

.

Stąd i z warunku (v) mamy, że wariancja zmiennej losowej

(

)

X

X

f

n

,...,

ln

1

θ

θ

∂

∂

jest równa

11

(

)

(

)

=













∂

∂

=













∂

∂

2

1

1

,...,

ln

,...,

ln

θ

θ

θ

θ

θ

θ

X

X

f

E

X

X

f

Var

n

n

( )

( )

=













∂

∂

=













∂

∂

=

∑

=

∑

=

2

1

2

1

ln

ln

θ

θ

θ

θ

θ

θ

X

f

E

X

f

E

i

n

i

n

i

i

( )

( )

θ

θ

θ

nI

X

f

Var

n

i

=

∑













∂

∂

=

=

1

ln

Uwaga 1. Jeżeli rodzina rozkładów

{

}

Θ

∈

θ

θ

:

P

spełnia warunki regularności Cramera-Rao i jeżeli istnieje

nieobciążony estymator

( )

X

T *

wartości funkcji

( )

θ

g

, taki, że

( )

(

)

( )

[

]

( )

θ

θ

θ

I

g

X

T

Var

2

'

*

=

dla wszystkich

Θ

∈

θ

,

to

( )

X

T *

jest estymatorem NMW wartości funkcji

( )

θ

g

.

•

Wzory 4 i 5 oraz ich wersje dla próby

(

)

X

X

X

n

,...,

1

=

są użyteczne do wyznaczania estymatorów

efektywnych w sensie Cramera- Rao (przykłady w Arkuszu testowym).

Twierdzenie 1 i jego wersja (wniosek 2) dla próby

(

)

X

X

X

n

,...,

1

=

mówi tyle, że gdy spełnione są warunki

regularności Cramera-Rao, to istnieje dolne ograniczenie wariancji każdego nieobciążonego estymatora wartości

funkcji

( )

θ

g

. Ograniczenie to zależy jedynie od

( )

θ

g

i nie zależy od rozpatrywanego estymatora. Stąd jest to

jednostajne ograniczenie od dołu dla wariancji. Istnieje więc granica jakości nieprzekraczalna dla wszystkich es-

tymatorów nieobciążonych wartości funkcji

( )

θ

g

. Prowadzi to do wniosku (uwaga 1), że każdy nieobciążony

estymator wartości funkcji

( )

θ

g

, którego wariancja jest równa dolnemu ograniczeniu Cramera – Rao jest esty-

matorem najlepszym wśród nieobciążonych, a zatem jest estymatorem NMW.

Zachodza też sytuacje:
- warunki regularności nie są spełnione, chociaż estymator NMW istnieje,
- estymator w modelu regularnym nie musi być efektywnym w sensie Cramera- Rao (jego wariancja może być
większa od dolnego ograniczenia Cramera- Rao)
- estymator NMW może w ogóle nie istnieć, choć w tym studium przypadku zagadnienie istnienia estymatorów
NMW nie jest rozpatrywane.
Oznacza to, że metoda poszukiwania estymatora NMW oparta na nierówności informacyjnej nie jest uniwersal-
na.

Przykład 3. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu zero-jedynkowego o gęstości

( )

(

)

( )

1

,

0

1

,

0

1

1

∈

=

−

=

−

θ

θ

θ

θ

x

x

f

x

x

Zbadamy, czy statystyka

( )

X

X

n

X

T

n

i

i

=

∑

=

=

1

1

jest estymatorem efektywnym w sensie Cramera-Rao funkcji

( )

θ

θ

=

g

.

1.Sprawdzenie warunków regularności

Wartość oczekiwana, drugi moment zwykły i wariancja zmiennej losowej X w rozkładzie zero-jedynkowym są
równe

( )

θ

θ

=

X

E

,

( )

θ

θ

=

2

X

E

,

( ) (

)

θ

θ

θ

−

=

1

X

Var

.

Informacja Fishera (Fakt1).

12

Ponieważ

( )

( )

(

)

[

]

θ

θ

θ

θ

θ

θ

θ

θ

−

−

−

=

−

−

+

∂

∂

=

∂

∂

1

1

1

ln

1

ln

ln

x

x

x

x

f

,

to

( )

(

)

[

]

(

)

( )

(

)

(

)

(

)

(

)

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

θ

−

=

−

−

=

−

=

−

−

=













−

−

=









−

−

−

=

1

1

1

1

1

1

1

1

1

2

2

2

2

2

2

2

2

2

X

Var

X

E

X

E

X

X

E

I

( )

( ) ( )

θ

θ

θ

θ

−

=

=

1

n

nI

I

n

Stąd dolne ograniczenie Cramera –Rao (Wniosek 2, wzór 6) jest równe

( )

[

]

( )

( )

(

)

n

nI

nI

g

θ

θ

θ

θ

θ

−

=

=

1

1

'

2

2. Sprawdzenie założeń twierdzenia 1 –nierówności Cramera-Rao

Estymator T jest nieobciążony

( )

θ

θ

=

T

E

dla każdego

( )

1

,

0

∈

θ

(punkt 2 w Aneksie)

( )

( ) (

)

n

X

Var

n

X

n

Var

T

Var

n

i

i

n

i

i

θ

θ

−

∑

=

=













∑

=

=

=

1

1

1

1

2

1

Zatem wariancja estymatora T jest równa dolnemu ograniczeniu Cramera-Rao i estymator T jest estymatorem
NMW.

3. Sprawdzenie efektywności

Gęstość próby

(

)

X

X

X

n

,...,

1

=

jest równa

(

)

(

)

∑

−

∑

=

=

−

=

n

i

i

n

i

i

x

n

x

n

x

x

f

1

1

1

...,

1

θ

θ

θ

.

Stąd

(

)

( ) (

)

θ

θ

θ

θ

θ

θ

θ

−

−

=













−

−

−

=

∂

∂

∑

=

∑

=

x

n

x

n

x

x

x

f

n

i

n

i

n

1

1

1

1

,...,

ln

1

1

1

1

1

, gdzie

∑

=

=

n

i

i

x

n

x

1

1

.

Zatem z równości we wniosku 2 (wzór 7) mamy:

( )

( )

( ) ( )

θ

θ

θ

θ

θ

−

=

=

=

1

,

,

n

k

X

X

T

g

.

A stąd wynika, że średnia

X

jest efektywnym estymatorem średniej

θ

w rozkładzie zero-jedynkowym.

Przykład 4. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu normalnego

( )

2

,

σ

µ

N

o gęstości

( )

(

)

2

2

2

2

1

σ

θ

θ

σ

π

−

−

=

x

e

x

f

z nieznaną średnią

R

∈

θ

i znaną wariancją

2

σ

.

Niech

( )

θ

θ

=

g

i

( )

X

X

n

X

T

n

i

i

=

∑

=

=

1

1

.

Ponieważ

( )

2

ln

σ

θ

θ

θ

−

=

∂

∂

x

x

f

, to informacja Fishera jest równa

( )

(

)

[

]

2

2

4

2

4

2

2

1

1

1

σ

θ

σ

θ

σ

σ

µ

θ

θ

θ

θ

=

−

=













−

=













−

=

X

E

X

E

X

E

I

i dolne ograniczenie Cramera –Rao (Wniosek 2, wzór 6) jest równe

13

( )

( )

n

nI

g

2

'

σ

θ

θ

=

.

Z drugiej strony, estymator T jest nieobciążony

( )

θ

θ

=

T

E

dla każdego

R

∈

θ

i

( )

( )

n

X

Var

n

X

n

Var

T

Var

n

i

i

n

i

i

2

1

2

1

1

1

σ

∑

=

=













∑

=

=

=

.

Zatem wariancja estymatora T jest równa dolnemu ograniczeniu Cramera –Rao i średnia

X

jest efektywnym es-

tymatorem średniej

θ

.

II - Podstawowe metody konstrukcji estymatorów

1. Metoda momentów (MM)

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

k

R

P

⊆

Θ

∈

θ

θ

,

, gdzie

(

)

θ

θ

θ

k

,...,

1

=

jest nieznanym

wektorem parametrów.

Metoda momentów estymacji parametrów jest oparta na wykorzystaniu dwóch faktów: po pierwsze znamy natu-
ralne estymatory momentów rozkładu prawdopodobieństwa i po drugie, momenty te są pewnymi funkcjami nie-
znanych parametrów danego modelu.
Naturalnymi estymatorami momentów rozkładów prawdopodobieństwa są odpowiednie momenty z próby, tzn.

momenty z próby zwykłe rzędu k ,

∑

=

=

n

i

k

i

k

X

n

A

1

1

, są nieobciążonymi estymatorami momentów rozkładu

( )

k

k

X

E

=

µ

.

Momenty rozkładu

( )

k

k

X

E

=

µ

są zwykle funkcjami parametrów

θ

θ

k

,...,

1

.

Definicja 10. Mówimy, że estymator

(

)

θ

θ

θ

ˆ

,...,

ˆ

ˆ

1

k

=

parametru

(

)

θ

θ

θ

k

,...,

1

=

jest uzyskany metodą mo-

mentów, jeżeli jest rozwiązaniem względem

θ

θ

k

,...,

1

wyrażonym w terminach

A

A

k

,...,

1

układu równań

(

)

(

)











=

=

θ

θ

µ

θ

θ

µ

n

k

k

n

A

A

,...,

......

..........

..........

,...,

1

1

1

1

Układamy tyle równań, ile jest współrzędnych wektora

(

)

θ

θ

θ

k

,...,

1

=

.

Przykład 5. Niech X będzie zmienną losową z rozkładu gamma z parametrami p i b .

Wartość oczekiwana i wariancja rozkładu gamma z parametrami p i b są równe

( )

b

p

X

E

=

,

( )

2

b

p

X

Var

=

Stąd mamy

p

=

1

θ

b

=

2

θ

b

p

EX

=

=

1

µ

( )

( )

[

]

(

)

2

2

2

1

b

p

p

X

E

X

Var

+

=

+

=

µ

X

A

=

1

∑

=

=

n

i

i

X

n

A

1

2

2

1

.

14

I rozwiązujemy układ równań

(

)












+

=

∑

=

=

2

1

2

1

1

b

p

p

X

n

b

p

X

n

i

i

Estymatory parametrów p i b uzyskane metodą momentów są postaci

2

2

2

~

oraz

~

S

X

b

S

X

p

=

=

,

gdzie

(

)

2

1

2

2

1

2

1

2

2

1

1

A

A

X

X

n

X

X

n

S

n

i

i

n

i

i

−

=

−

∑

=

∑

−

=

=

=

.

Przykład 6. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu Poissona z parametrem

0

>

λ

.

Ponieważ

( )

( )

λ

=

=

X

Var

X

E

, to metodą momentów otrzymujemy dwa różne estymatory parametru

0

>

λ

, a mianowicie

X

=

λ

1

oraz

( )

2

2

2

X

A

−

=

λ

, które są rozwiązaniem równań estymacyjnych







+

=

=

2

2

λ

λ

λ

A

X

•

Problemy z estymatorami wyznaczonymi metoda momentów polegają na tym, że w ogólności nie są

wyznaczone jednoznacznie i nie są funkcjami statystyk dostatecznych. Układ równań estymacyjnych może też

nie mieć rozwiązania. W takiej sytuacji poszukuje się estymatorów

θ

θ

ˆ

,...,

ˆ

1

n

, dla których wyrażenie

(

)

θ

θ

ˆ

,...,

ˆ

1

1

n

n

i

p

g

∑

=

jest możliwie bliskie zeru. Tak otrzymane estymatory nazywa się estymatorami opartymi na

uogólnionej metodzie momentów. Są też sytuacje, w których zaproponowanie estymatora innego niż estymator
MM lub UMM jest trudne lub praktycznie niewykonalne – no w przypadku estymacji uogólnionego rozkładu
dwumianowego, w zadaniach regresji, jeżeli zrezygnować z założenia normalności oraz w zadaniach analizy
szeregów czasowych.

2. Metoda największej wiarogodności (NW)

Metoda największej wiarogodności podana przez R.A. Fishera jest najbardziej popularną metodą konstrukcji es-
tymatorów.

Niech

(

)

P

B

,

,

χ

będzie modelem statystycznym z rodziną rozkładów prawdopodobieństwa

{

}

Θ

∈

=

θ

θ

:

P

P

,

R

n

⊆

Θ

.

Niech X będzie zmienną losową z rozkładu

P

θ

,

Θ

∈

θ

o gęstości

( )

x

f

θ

.

Gęstość

( )

x

f

θ

rozpatrywaną jako funkcja parametru

θ

dla każdego ustalonego

χ

∈

x

nazywamy funkcją

wiarogodności i oznaczamy przez

( )

x

L

,

θ

.

Jeżeli

(

)

X

X

X

n

,...,

1

=

jest próbą z rozkładu

P

θ

,

Θ

∈

θ

, to funkcja wiarogodności

+

→

Θ

R

L

:

jest dana

wzorem

(

)

( )

i

n

i

n

x

f

x

x

L

∏

=

=

1

1

,...,

;

θ

θ

.

Definicja 11. Estymatorem największej wiarogodności (estymatorem NW) parametru

Θ

∈

θ

nazywamy

statystykę

(

)

X

X

n

,...,

ˆ

1

θ

, której wartość

(

)

x

x

n

,...,

ˆ

1

θ

dla każdego punktu

(

)

x

x

n

,...,

x

1

=

spełnia warunek

( )

(

)

( )

x

,

sup

x

;

x

ˆ

θ

θ

θ

L

L

Θ

∈

=

.

(Wyznaczamy taką wartość

θ

ˆ

parametru

θ

, dla której funkcja wiarogodności osiąga maksimum. W oblicze-

niach zamiast funkcji L możemy zastosować funkcję lnL, ponieważ obie funkcje osiągają ekstrema w tych sa-
mych punktach w przedziale

)

,

0

(

∞

).

15

Przykład 7. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu zero-jedynkowego o gęstości postaci

( )

(

)

( )

1

,

0

1

,

0

1

,

1

∈

=

−

=

−

θ

θ

θ

θ

θ

x

x

f

x

x

.

Funkcja wiarogodności określona na przedziale

( )

1

,

0

ma postać

(

)

(

)

(

)

y

n

y

x

n

x

n

n

i

i

n

i

x

x

L

−

∑

−

∑

−

=

−

=

=

=

θ

θ

θ

θ

θ

1

1

,...,

;

1

1

1

1

,

n

x

y

n

i

i

≤

∑

=

≤

=

1

0

Szukamy maksimum funkcji L, gdy

( )

n

y

,

0

∈

.

Mamy kolejno

(

) (

)

θ

θ

−

−

+

=

1

ln

ln

ln

y

n

y

L

(

)

0

1

1

1

ln

=

−

−

+

=

∂

∂

y

n

y

L

θ

θ

θ

Rozwiązaniem tego równania jest

x

y

n

=

=

1

ˆ

θ

Ponieważ

(

)

(

)

(

)

0

1

1

1

1

ln

3

ˆ

2

2

ˆ

2

2

<

−

⋅

−

=















−

−

−

−

=

∂

∂

=

=

y

n

y

n

y

n

L

θ

θ

θ

θ

θ

θ

θ

, to funkcja L osiąga w

punkcie

x

=

=

θ

θ

ˆ

.Stąd

(

)

X

X

n

X

X

n

i

i

n

=

∑

=

=

1

1

1

,...,

ˆ

θ

jest estymatorem NW. Jest również (przykład 3) es-

tymatorem NMW parametru

θ

.

III - Asymptotyczne własności estymatorów

W części I i II były badane własności estymatorów konstruowanych na podstawie próby o ustalonej liczebności
n. W części III są podane podstawowe definicje i twierdzenia potrzebne do badania własności ciągu estymato-

rów

( )

(

)

,....

2

,

1

,

=

=

n

X

T

T

n

n

, gdzie dla każdego n,

T

n

jest statystyką opartą na n- elementowej próbie

(

)

X

X

X

n

,...,

1

=

. Inaczej- chcemy badać własności ciągu

( )

,....

2

,

1

,

=

n

T

n

, gdy n rośnie.

1. Zgodność

Pożądaną własnością estymatora

T

n

jest, by wraz ze wzrostem liczności próby, jego wartość coraz lepiej

przybliżała prawdziwą wartości funkcji parametrycznej

( )

R

g

→

Θ

:

θ

. Ta własność nazywana jest zgodno-

ś

cią.

Definicja 12. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

P

θ

,

Θ

∈

θ

.

Mówimy, że ciąg

( )

,....

2

,

1

,

=

n

T

n

estymatorów funkcji parametrycznej

R

g

→

Θ

:

jest słabo zgodny, je-

ż

eli jest zbieżny według prawdopodobieństwa do

( )

θ

g

, tzn. dla każdego

Θ

∈

θ

i każdego

0

>

ε

( )

{

}

0

lim

=

≥

−

∞

→

ε

θ

θ

g

T

P

n

n

Estymator

T

n

będący elementem słabo zgodnego ciągu estymatorów nazywamy estymatorem słabo zgodnym

(lub zgodnym)

Mówimy, że ciąg

( )

,....

2

,

1

,

=

n

T

n

estymatorów funkcji parametrycznej

R

g

→

Θ

:

jest mocno zgodny,

jeżeli jest zbieżny z prawdopodobieństwem 1 do

( )

θ

g

, tzn. dla każdego

Θ

∈

θ

i każdego

0

>

ε

( )

1

lim

=













=

∞

→

θ

θ

g

T

P

n

n

Estymator

T

n

będący elementem mocno zgodnego ciągu estymatorów nazywamy estymatorem mocno zgod-

nym.

Z mocnej zgodności ciągu

( )

,....

2

,

1

,

=

n

T

n

wynika jego słaba zgodność.

16

Twierdzenie 2. Jeżeli

( )

,....

2

,

1

,

=

n

T

n

jest ciągiem estymatorów nieobciążonych funkcji

( )

θ

g

oraz

( )

0

→

T

Var

n

, gdy

∞

→

n

, to ciąg

( )

,....

2

,

1

,

=

n

T

n

jest słabo zgodny.

Twierdzenie 2 jest użyteczne przy badaniu słabej zgodności ciągu estymatorów

( )

,....

2

,

1

,

=

n

T

n

Przykład w Arkuszu testowym.

Przykład

8.

Niech

(

)

X

X

X

n

,...,

1

=

będzie

próbą

z

rozkładu

P

θ

,

Θ

∈

θ

o

gęstości

( )

R

R

x

x

f

⊆

Θ

∈

∈

θ

θ

,

,

.

a) Niech

( )

( )

∞

<

∫

=

=

xdx

f

x

X

E

g

R

θ

θ

θ

. Z mocnego prawa wielkich liczb średnia z próby

(

)

∑

=

=

=

n

i

i

n

n

X

X

n

X

X

T

1

1

1

,...,

jest mocno zgodnym estymatorem funkcji

( )

θ

g

.

b) Niech

( )

( ) (

)

( )

∞

<

∫

−

=

=

dx

x

f

EX

x

X

Var

g

R

θ

θ

θ

2

.

Niech

(

)

(

)

( )












∑

−

∑

−

=

=

=

n

i

i

n

i

i

n

n

X

X

n

X

X

n

X

X

T

1

2

2

1

2

2

1

1

1

,...,

Z mocnego prawa wielkich liczb zastosowanego do zmiennych losowych

X

X

n

2

2

1

,...

estymator

∑

=

n

i

i

X

n

1

2

1

jest

prawie wszędzie zbieżny do

2

X

E

θ

, z punktu a) wiadomo, że średnia

( )

X

E

X

θ

→

prawie wszędzie, gdy

∞

→

n

.

Stąd estymator

S

T

n

2

=

jest estymatorem mocno zgodnym wariancji

( )

( )

( )

[

]

2

2

X

E

X

E

X

Var

−

=

θ

θ

.

2. Zgodność estymatorów największej wiarogodności (estymatorów NW)

Przy badaniu zgodności estymatorów NW przyjmowane są następujące założenia.

A1. różnym wartościom parametru

Θ

∈

θ

odpowiadają różne gęstości

( )

Θ

∈

∈

θ

θ

,

,

R

x

x

f

A2. gęstości

( )

Θ

∈

∈

θ

θ

,

,

R

x

x

f

maja ten sam nośnik (nośnik niezależny od

θ

A3. przestrzeń parametrów

Θ

zawiera pewien przedział otwarty i prawdziwa wartość parametru

θ

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

P

θ

,

Θ

∈

θ

.

Twierdzenie 3. Jeżeli są spełnione założenia A1-A2 i przestrzeń parametrów

Θ

jest skończona, to estymator

NW

( )

X

θ

ˆ

parametru

( )

X

θ

ˆ

istnieje, jest wyznaczony jednoznacznie z prawdopodobieństwem dążącym do

jedności (gdy

∞

→

n

) i jest estymatorem słabo zgodnym

Twierdzenie 4. Jeżeli są spełnione założenia A1-A3 oraz funkcja

( )

x

f

θ

jest ciągła względem

θ

, to istnieje

ciąg punktów

( )

X

n

θ

ˆ

, w których funkcja wiarogodności

( ) ( )

x

;

θ

θ

L

L

n

=

osiąga lokalne maksima, zbieżny

prawie wszędzie do prawdziwej wartości parametru

0

θ

, gdy

∞

→

n

.

Twierdzenie 5. Jeżeli są spełnione założenia A1-A3 oraz funkcja

( )

x

f

θ

jest różniczkowalna względem

θ

oraz równanie wiarogodności

17

( )

0

x

;

ln

=

∂

∂

θ

θ

L

ma dla każdego n i dla każdego x jedyne rozwiązanie, to estymator NW

( )

X

n

θ

ˆ

jest mocno zgodny.

3. Asymptotyczna normalność

Definicja 13. Mówimy, ze ciąg estymatorów

( )

,....

2

,

1

,

=

n

T

n

jest asymptotycznie normalny

(

)

σ

µ

2

,

n

n

AN

,

jeżeli istnieją ciągi liczbowe

( ) ( )

,...

2

,

1

,

,

=

n

n

n

σ

µ

takie, że

( )

1

,

0

N

T

Y

D

n

n

n

n

→

−

=

σ

µ

, gdy

∞

→

n

tzn. rozkład statystyki

T

n

jest rozkładem asymptotycznie normalnym

(

)

σ

µ

2

,

n

n

AN

.

Liczba

n

µ

nazywa się asymptotyczną średnią, liczba

σ

2

n

asymptotyczną wariancją.

4. Asymptotyczna efektywność

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

P

θ

,

R

⊆

Θ

∈

θ

Niech

( )

X

T

T

n

=

będzie estymatorem wartości funkcji parametrycznej

( )

θ

g

. Załóżmy, że ciąg estymatorów

( )

,....

2

,

1

,

=

n

T

n

jest asymptotycznie normalny

( ) ( )













n

g

AN

θ

ν

θ

,

,

( )

0

>

n

θ

ν

tzn. dla

∞

→

n

( )

[

]

( )

(

)

θ

ν

θ

,

0

N

g

T

n

D

n

→

−

(9)

Definicja 14. Ciąg estymatorów

( )

,....

2

,

1

,

=

n

T

n

, spełniający (9) dla

( )

[ ]

( )

θ

θ

θ

ν

I

g

2

'

=

, tzn. spełniający (9)

z wariancją asymptotyczną

( )

n

θ

ν

równą dolnemu ograniczeniu Cramera-Rao nazywamy asymptotycznie efek-

tywnym.

Definicja 15. Estymator

( )

X

T

T

n

=

parametru

θ

nazywamy nadefektywnym, jeżeli

(i)

( )

[

]

( )

(

)

θ

ν

θ

,

0

→

−

D

n

g

T

n

, gdy

∞

→

n

, dla wszystkich

Θ

∈

θ

(ii)

( )

(

)

θ

θ

ν

1

−

≤

I

dla wszystkich

Θ

∈

θ

i

( )

( )

0

1

0

θ

θ

ν

−

<

I

dla co najmniej jednej wartości

Θ

∈

0

θ

5. Asymptotyczna efektywność estymatorów największej wiarogodności (estymatorów NW)

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu

P

θ

,

R

k

⊆

Θ

∈

θ

o gęstości

( )

x

f

θ

.

Twierdzenie 6 Zakładamy, ze są spełnione warunki regularności typu Cramera-Rao.

(i)

Istnieje wtedy ciąg estymatorów

( )

(

)

,...

2

,

1

,

ˆ

ˆ

=

=

n

X

n

n

θ

θ

parametru

θ

, taki, że przy

∞

→

n

( )

1

0

X

;

ln

→













=

∂

∂

θ

θ

L

P

i

θ

θ

→

n

ˆ

według prawdopodobieństwa.

18

(ii) Każdy zgodny ciąg

( )

,...

2

,

1

,

ˆ

=

n

n

θ

rozwiązań równań wiarogodności jest asymptotycznie normalny

( )

(

)

(

)

1

,

−

θ

θ

nI

AN

tzn.

(

)

( )

(

)

(

)

1

,

ˆ

−

→

−

θ

θ

θ

θ

nI

N

n

k

D

n

.

6. Efektywność asymptotyczna Cramera-Rao

Definicja 16. Niech

{

}

(

)

Θ

∈

=

θ

χ

θ

:

,

,

P

P

B

,

R

⊂

Θ

będzie modelem regularnym w sensie Cramera-Rao,

(

)

X

X

X

n

,...,

1

=

próbą z rozkładu

P

θ

,

Θ

∈

θ

,

( )

X

T

T

n

=

nieobciążonym estymatorem funkcji

( )

θ

g

,

przy czym

( )

∞

≤

≤

)

(

0

X

T

Var

θ

Efektywnością Cramera-Rao estymatora nieobciążonego n

T

nazywamy funkcję

(

)

( )

[

]

( )

θ

θ

θ

n

n

n

I

T

Var

g

T

e

)

(

'

,

2

=

.

Jeżeli spełniona jest nierówność informacyjna Cramera-Rao, to

1

))

(

,

(

≤

X

T

e

θ

dla każdego estymatora nie-

obciążonego.

Jeżeli

( )

X

T

jest estymatorem NMW, to mogą zajść dwa przypadki:

1

))

(

,

(

=

X

T

e

θ

,

1

))

(

,

(

<

X

T

e

θ

.

Jeżeli

1

)

,

(

=

T

e

n

θ

, to

( )

X

T

nazywa się estymatorem efektywnym.

Jeżeli istnieje granica

(

)

e

T

e

n

=

,

lim

θ

, to nazywamy ją efektywnością asymptotyczną w sensie Cramera-Rao

ciągu estymatorów

( )

,...

2

,

1

,

=

n

T

n

Jeżeli

1

)

,

(

=

T

e

n

θ

, to ciąg

( )

,...

2

,

1

,

=

n

T

n

nazywa się asymptotycznie efektywny w sensie Cramera -Rao.

Arkusz testowy

Minimum testowe: – Definicje i co najmniej jedno zadanie z każdego zestawu II – VI.

Uzupełnienie jednego wiersza w tabelach jest równoważne rozwiązaniu jednego zadania.

Definicje

Podkreśl właściwą odpowiedź

.

1 Modelem statystycznym jest; a) przestrzeń zdarzeń elementarnych

Ω

,

b) rodzina rozkładów

{

}

Θ

∈

=

Ρ

θ

θ

:

P

c) uporządkowana trójka

(

)

P

B,

,

χ

2.

Dziedziną funkcji nazywanej statystyką jest: a) przestrzeń zdarzeń elementarnych

Ω

b)

przestrzeń prób

n

χ

c) rodzina rozkładów

{

}

Θ

∈

=

Ρ

θ

θ

:

P

3.

Która z podanych funkcji nie jest statystyką: a)

∑

=

=

n

k

k

X

T

1

1

b)

θ

+

=

2

2

X

T

, c)

2

1

1

X

X

T

=

4.

Estymator T parametru

θ

jest nieobciążony, gdy spełnia warunek

a)

T

ET

=

b)

θ

=

ET

c)

θ

≠

ET

5. Który ze wzorów definiuje błąd średniokwadratowy estymatora T parametru

θ

a)

2

)

(

)

(

θ

+

=

T

BSK

T

BSK

b)

)

(

)

(

)

(

2

T

b

T

Var

T

BSK

−

=

c)

2

)

(

)

(

θ

−

=

T

E

T

BSK

6. Estymator

( ) (

)

n

X

X

T

X

T

,...,

1

=

jest efektywny w sensie Cramera - Rao,gdy

a)

( )

)

(

1

)

(

θ

I

X

T

Var

=

b)

( )

)

(

1

)

(

θ

nI

X

T

Var

=

c)

( )

)

(

)

(

θ

I

n

X

T

Var

=

7. Który ze zbiorów jest dziedziną funkcji wiarogodności L a)

Ω

b)

Θ

c) R

19

8. Estymatorem największej wiarogodności jest statystyka

(

)

X

X

n

,...,

ˆ

1

θ

, której wartość

(

)

( )

x

ˆ

ˆ

,...,

1

θ

θ

=

n

x

x

dla danych

(

)

n

n

R

x

x

∈

=

,...,

x

1

spełnia warunek

a)

( )

(

)

( )

x

,

inf

x

,

x

ˆ

θ

θ

θ

L

L

Θ

∈

=

próby b)

( )

(

)

( )

x

,

sup

x

,

x

ˆ

θ

θ

θ

L

L

Θ

∈

=

c)

( )

(

)

( )

x

,

x

,

x

ˆ

θ

θ

L

L

=

9.

II Dopuszczalność

Zadanie 1. X jest zmienną losową taką, że

( )

∞

<

2

X

E

θ

,

( )

( )

X

E

g

θ

θ

=

jest funkcją parametru nieznanego

parametru

Θ

∈

θ

, której wartości chcemy oszacować na podstawie próby dwuelementowej

(

)

X

X

X

2

1

,

=

z

rozkładu zmiennej losowej X . Rozważamy dwa estymatory

(

)

1

2

1

1

,

X

X

X

T

=

i

(

) (

)

X

X

X

X

T

2

1

2

1

2

2

1

,

+

=

.

I. Podkreśl właściwą odpowiedź:

a)

( )

( )

2

1

T

E

T

E

θ

θ

=

b)

( )

( )

2

1

T

E

T

E

θ

θ

<

c)

( )

( )

2

1

T

E

T

E

θ

θ

>

II. Uzupełnij zdania, podkreślając właściwą odpowiedź:

(i)

Jeżeli

( )

( )

2

1

T

E

T

E

θ

θ

=

, to a)

( )

( )

2

1

T

b

T

b

θ

θ

=

b)

( )

( )

2

1

T

b

T

b

θ

θ

<

c)

( )

( )

2

1

T

b

T

b

θ

θ

>

(ii) Jeżeli

( )

( )

2

1

T

E

T

E

θ

θ

=

, to a)

( )

( )

2

1

T

BSK

T

BSK

θ

θ

=

b)

( )

( )

2

1

T

BSK

T

BSK

θ

θ

<

c)

( )

( )

2

1

T

BSK

T

BSK

θ

θ

>

III. Które ze zdań jest prawdziwe ?

a) Jeżeli

( )

( )

2

1

T

BSK

T

BSK

θ

θ

>

, to estymatorem niedopuszczalnym jest

2

T

b) Jeżeli

( )

( )

2

1

T

BSK

T

BSK

θ

θ

>

, to estymatorem niedopuszczalnym jest

1

T

Zadanie 2. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu normalnego

( )

2

,

σ

µ

N

o gęstości

( )

(

)

0

,

,

2

1

2

2

2

2

,

>

∈

=

−

−

σ

µ

σ

π

σ

µ

σ

µ

R

e

x

f

x

.Estymatorami wariancji

2

σ

są statystyki

(

)

∑

−

−

=

=

n

i

i

X

X

n

S

1

2

2

1

1

~

i

(

)

∑

−

=

=

n

i

i

X

X

n

S

1

2

2

1

.

Korzystając z obliczeń w Aneksie podkreśl właściwą odpowiedź:

(i) a)

( ) ( )

2

2

~

S

E

S

E

θ

θ

=

b)

( ) ( )

2

2

~

S

E

S

E

θ

θ

≠

(ii)

( ) ( )

2

2

~

S

b

S

b

θ

θ

=

b)

( ) ( )

2

2

~

S

b

S

b

θ

θ

<

c)

( ) ( )

2

2

~

S

b

S

b

θ

θ

>

Uzupełnij zdanie:

Jeżeli

( )

( )

2

2

~

..........

S

BSK

S

BSK

θ

θ

, to estymator ……….jest estymatorem niedopuszczalnym w klasie

wszystkich estymatorów wariancji.

20

Zadanie 3. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu zmiennej losowej X, takiej, że

( )

∞

<

2

X

E

θ

.

Estymatory

( )

=

X

T

1

X

X

n

n

i

i

=

∑

=

1

1

i

( )

=

X

T

2

∑

=

n

i

i

i

X

c

n

1

1

, gdzie

1

1

=

∑

=

n

i

i

c

są nieobciążonymi estyma-

torami funkcji

( )

( )

X

E

g

θ

θ

=

. Ich wariancje są równe

( )

( )

X

Var

n

X

Var

θ

θ

1

=

i

( )

∑

=













∑

=

=

n

i

i

n

i

i

i

c

X

Var

X

c

Var

1

2

1

θ

θ

.

Ostatnia wariancja, przy warunku pobocznym osiąga minimum dla

n

c

i

1

=

,

n

i

,...,

2

,

1

=

.

Które ze zdań jest prawdziwe?

a)

Estymator

T

1

jest lepszy od

T

2

, gdy

n

c

i

1

=

n

i

,...,

2

,

1

=

b)

Estymator

T

2

jest lepszy od

T

1

, gdy

n

c

i

1

≠

n

i

,...,

2

,

1

=

c)

Estymator

T

1

jest lepszy od

T

2

, gdy

n

c

i

1

≠

n

i

,...,

2

,

1

=

d)

Estymator

T

2

jest lepszy od

T

1

, gdy

n

c

i

1

=

n

i

,...,

2

,

1

=

III Nieobciążoność

Zadanie 1. Pytanie o istnienie nieobciążonego estymatora jest równoważne pytaniu o istnienie rozwiązania rów-
nania całkowego

(1)

(

)

[

]

( )

θ

θ

g

X

X

T

E

n

=

,...,

1

, gdzie

R

g

→

Θ

:

jest funkcją .nieznanego parametru

Θ

∈

θ

, której

wartości chcemy oszacować.

Niech X będzie próbą rozmiaru 1 z rozkładu dwumianowego b(n,p),

( )

1

,

0

∈

p

, gdzie n jest ustalone.

Niech

( )

p

p

g

1

=

. warunek nieobciążoności estymatora

( )

X

gˆ

jest postaci

( )

(

)

p

p

p

x

n

x

g

x

n

x

n

x

1

1

ˆ

0

=

−













∑

−

=

dla każdego

( )

1

,

0

∈

p

lub równoważnie

( )

(

)

1

0

1

ˆ

+

=

+

=













∑

n

x

n

x

v

v

x

n

x

g

ν

(2)

dla każdego

( )

∞

∈

,

0

v

, gdzie

θ

θ

−

=

1

v

. Badamy granice obu stron równania (2), gdy

0

→

v

.

( )

0

ˆ

lim

0

0

=













∑

=

→

x

n

x

v

v

x

n

x

g

ν

. Oblicz

(

)

1

0

1

lim

+

→

+

n

v

v

= 1 i wybierz właściwą odpowiedź:

(i) istnieje jednoznaczne rozwiązanie równania 2
(ii) nie istnieje jednoznaczne rozwiązanie równania 2


Zadanie 2. Uzupełnij tabelę 1.

Tabela 1
Rozkład

praw-

dopo-

dobień-

stwa

Funkcja gęstości

( )

x

f

θ

Estymo-

wany pa-

rametr

Estymator

(

)

X

X

T

n

,...,

1

Wartość ocze-

kiwana estyma-

tora

Obcią-

żenie

estyma-

tora

21

B(1,p)

( )

(

)

( )

1

,

0

1

,

0

1

1

∈

=

−

=

−

θ

θ

θ

θ

x

x

f

x

x

( )

θ

θ

=

g

X

B(1,p)

( )

(

)

( )

1

,

0

1

,

0

1

1

∈

=

−

=

−

θ

θ

θ

θ

x

x

f

x

x

( )

(

)

θ

θ

θ

−

=

1

g

( )

[

]

2

1

X

X

n

n

−

−

(

2

,

σ

µ

N

( )

(

2

,

2

1

σ

µ

σ

π

−

=

e

x

f

2

σ

(

)

∑

−

−

=

=

n

i

i

X

X

n

S

1

2

2

1

1

~

(

2

,

σ

µ

N

( )

(

2

,

2

1

σ

µ

σ

π

−

=

e

x

f

2

σ

(

)

∑

−

=

=

n

i

i

X

X

n

S

1

2

2

1

Każdy rozkład, dla którego

wartość oczekiwana

∞

<

=

µ

θ

X

E

jest

skończona

µ

X

Każdy rozkład, dla którego wartość

oczekiwana

∞

<

=

µ

θ

X

E

jest

skończona

2

µ

2

)

( X

Każdy rozkładu, dla którego wa-

riancja

( )

( )

(

)

[

]

2

2

X

E

X

E

X

Var

g

θ

θ

θ

θ

σ

−

=

=

=

jest skończona

2

σ

(

)

∑

−

−

=

=

n

i

i

X

X

n

S

1

2

2

1

1

~

(

)

1

2

−

n

χ

(

)

2

2

1

S

n

Y

σ

−

=

σ

S

n

n

n













Γ













+

Γ

−

2

2

1

2

1

IV Efektywność

Zadanie1. Uzupełnij rozwiązania A i B zadania

Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu normalnego

( )

2

,

σ

µ

N

o gęstości

( )

(

)

2

2

2

2

2

1

σ

θ

σ

σ

π

−

−

=

x

e

x

f

ze znaną średnią

R

∈

θ

i nieznaną wariancją

2

σ

.

A

22

Niech

( )

2

2

σ

σ

=

g

będzie estymowaną funkcją, a statystyka

(

)

∑

−

−

=

=

n

i

i

X

X

n

S

1

2

2

1

1

~

rozważanym esty-

matorem wariancji

2

σ

. Ponieważ

( )

(

)

4

2

2

2

2

2

2

1

ln

σ

θ

σ

σ

σ

−

+

−

=

∂

∂

x

x

f

, to informacja Fishera jest równa

( )

( )

...

..........

ln

2

2

2

2

=













∂

∂

=

x

f

E

I

σ

θ

σ

σ

i dolne ograniczenie Cramera –Rao jest równe

( )

( )

......

..........

..........

'

=

θ

θ

nI

g

.

Z drugiej strony, estymator

2

~

S

jest nieobciążony

( )

2

2

~

σ

=

S

E

dla każdego

0

>

σ

,

( )

4

2

1

2

σ

−

=

n

S

Var

.

Podkreśl właściwą odpowiedź:

a)

( )

( )

( )

θ

θ

nI

g

S

Var

'

2

=

b)

( )

( )

( )

θ

θ

nI

g

S

Var

'

2

<

c)

( )

( )

( )

θ

θ

nI

g

S

Var

'

2

>

B

Wiemy, że równość w nierówności Cramera Rao zachodzi wtedy i tylko wtedy, gdy

(

)

( )

( )

( )

[

]

2

2

1

,...,

ln

2

σ

σ

θ

σ

g

X

T

k

X

X

f

n

−

=

∂

∂

z prawdopodobieństwem 1 i

( )

θ

k

nie zależy od X (wniosek 2, wzór 7)

Ponadto postać estymatora efektywnego można wyznaczyć ze wzoru (8)

( )

( )

( )

( )

( )

2

1

2

2

2

2

ln

'

σ

σ

σ

σ

σ

g

X

f

I

g

X

T

n

i

i

n

+

∑

∂

∂

=

=

Przekształcając równość w nierówności Cramera –Rao lub korzystając z podanego wzoru (8) uzyskujemy efek-

tywny estymator

(

)

n

X

X

T

,...,

1

wariancji

2

σ

postaci :

a)

(

)

(

)

∑

−

=

=

n

i

i

n

X

n

X

X

T

1

2

1

2

1

,...,

θ

b)

(

)

(

)

∑

−

=

=

n

i

i

n

X

n

X

X

T

1

2

1

1

,...,

θ

c)

(

)

(

)

∑

−

=

=

n

i

i

n

X

n

X

X

T

1

2

1

2

1

,...,

θ

-podkreśl właściwą odpowiedź.

Zadanie 2. Uzupełnij tabelę 2.

Tabela 2

Rozkład prawdo-

podobieństwa

Informacja Fishe-

ra

( )

θ

I

Estymator

( ) (

)

X

X

T

X

T

n

...,

1

=

( )

(

)

X

T

Var

Efektywność

estymatora

( )

(

)

X

T

e

,

θ

( )

θ

Poiss

X

23

( )

θ

Ex

2

θ

n

X

1

2

2

−

n

θ













θ

1

Ex

X

V Metody konstrukcji estymatorów

1. Uzupełnij tabelę 3

Tabela 3

Rozklad prawdopo-

dobieństwa

Estymatory MM

Estymatory NW

( )

p

B ,

1

Przykład 7

( )

2

,

0

Gamma

X

p

2

ˆ

=

( )

θ

Poiss

Przykład 6

( )

θ

Ex

X

1

( )

θ

Geom

X

+

1

1

( )

2

,

σ

µ

N

2

2

ˆ

;

ˆ

S

X

=

=

σ

µ

VI Asymptotyczne własności estymatorów1

1. Uzupełnij Tabelę 4 (stosując np. Twierdzenie 2 i definicję 6)

Tabela 4

Rozkład praw-

dopodobieństwa

estymator

Wariancja

es-

tymatora

Zgodność

Asymptotyczna nie-

obciązoność

( )

θ

Poiss

X

=

θ

ˆ

n

θ

( )

2

,

σ

µ

N

2

2

ˆ

S

=

σ

(

)

4

2

1

2

σ

n

n

−

( )

2

,

σ

µ

N

2

2

~

ˆ

S

=

σ

σ

1

2

−

n

( )

θ

Ex

X

1

,

1

1

−

=













n

n

X

E

θ

θ

2

2

−

n

θ

24

2. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu normalnego

( )

2

,

σ

µ

N

o gęstości

( )

(

)

2

2

2

2

1

σ

θ

θ

σ

π

−

−

=

x

e

x

f

z nieznaną średnią

R

∈

θ

i znaną wariancją

2

σ

.

Niech

( )

θ

θ

=

g

i

( )

X

X

n

X

T

n

i

i

=

∑

=

=

1

1

. Są spełnione założenia twierdzenia 6:

(i) Rodzina rozkładów normalnych

( )

2

,

σ

µ

N

spełnia warunki regularności modelu Cramera-Rao.

(ii) W przykładzie 4 dla modelu regularnego w sensie Cramera –Rao zostało wykazane, że wariancja estymatora

T jest równa dolnemu ograniczeniu Cramera –Rao, a stąd średnia

X

jest efektywnym estymatorem średniej

θ

rozkładu

( )

2

,

σ

µ

N

.

(iii)

X

jest estymatorem NW.

Uzupełnij warunek (ii) twierdzenia 6: Każdy zgodny ciąg

( )

,...

2

,

1

,

=

n

T

n

rozwiązań równań wiarogodności

jest asymptotycznie normalny

(

)

(

)

1

..........

,

−

θ

AN

tzn.

(

)

(

)

(

)

1

......

..........

,

−

→

−

θ

θ

N

T

n

k

D

n

.

ANEKS

1. Jeżeli zmienne losowe

n

i

X

,...

2

,

1

,

i

=

mają rozkład ze skończoną wartością oczekiwaną

n

i

X

E

i

,...,

2

,

1

,

=

∞

<

=

µ

θ

,to

=

∑

=

=

n

i

i

X

n

E

X

E

1

1

θ

EX

nEX

n

EX

n

n

i

i

=

=

∑

=

1

1

1

2. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu zero-jedynkowego o gęstości postaci

( )

(

)

( )

1

,

0

1

,

0

1

,

1

∈

=

−

=

−

θ

θ

θ

θ

θ

x

x

f

x

x

.

∑

=

=

n

i

i

X

n

X

1

1

jest nieobciążonym estymatorem parametru

θ

:

( )

( )

∑

∑

∑

∑

=

=

=

=

=

=

=













=













=

n

i

n

i

i

n

i

i

n

i

i

n

X

E

n

X

E

n

X

n

E

X

E

1

1

1

1

1

1

1

1

θ

θ

.

( )

( ) (

)

n

X

Var

n

X

n

Var

X

Var

n

i

i

n

i

i

θ

θ

−

∑

=

=













∑

=

=

=

1

1

1

1

2

1

.

( )

(

)

0

1

lim

lim

=

−

=

∞

→

∞

→

n

X

Var

n

n

n

θ

θ

- średnia z próby jest zgodnym estymatorem parametru

θ

w rozkładzie

zero-jedynkowym.

3. Niech

(

)

X

X

X

n

,...,

1

=

będzie próbą z rozkładu normalnego

( )

2

,

σ

µ

N

o gęstości zmiennej losowej X

postaci

( )

(

)

2

2

2

2

,

2

1

σ

µ

σ

µ

σ

π

−

−

=

x

e

x

f

.

(i)

(

)

2

1

2

1

2

2

1

1

X

X

n

X

X

n

S

n

i

i

n

i

i

−

=

−

=

∑

∑

=

=

.

25

Statystykę

2

S

możemy zapisać w postaci

2

1

2

2

1

X

X

n

S

n

i

i

−

∑

=

=

( )

=

2

S

E

2

1

σ

n

n

−

,

( )

(

)

4

2

2

1

2

σ

n

n

S

Var

−

=

,

( ) ( )

n

S

E

S

b

2

2

2

2

σ

σ

−

=

−

=

( )

0

lim

lim

2

2

=

−

=

∞

→

∞

→

n

S

b

n

n

σ

- statystyka

2

S

jest asymptotycznie nieobciążonym estymatorem wariancji

σ

2

.

( ) ( ) ( )

2

2

2

2

S

b

S

Var

S

BSK

+

=

4

2

1

2

σ

n

n

−

=

(ii) Statystyka

(

)

2

1

2

2

1

1

1

~

S

n

n

X

X

n

S

n

i

i

−

=

−

−

=

∑

=

jest nieobciążonym estymatorem parametru

σ

2

:

( )

( )

2

2

2

2

1

1

1

~

σ

σ

=

−

−

=

−

=

n

n

n

n

S

E

n

n

S

E

( ) ( )

4

2

2

1

2

~

~

σ

−

=

=

n

S

Var

S

BSK

( )

( )

2

2

~

S

BSK

S

BSK

<

i estymator

2

~

S

jest niedopuszczalny w klasie wszystkich estymatorów wariancji.

.

II. Harmonogram/scenariusz realizacji/kolejność działań

1.

Indywidualne zapoznanie się z opisem problemów/ zadań zawartych w częściach I-III

Materiałów dla studentów.

2.

Praca w grupach nad rozwiązywaniem problemów/zadań z części IV (Arkusz testowy)

Materiałów dla studentów.

3.

Dyskusja w grupach, a następnie na forum ogólnym nad odpowiedziami na postawio-

ne pytania.

4.

Komentarz prowadzącego.

III. Opis przypadku/sytuacji

(w tym np. opis ról odgrywanych przez studentów; tło

przypadku – film, kroniki; materiały liczbowe: tabele z danymi, arkusze kalkulacyjne;, arku-
sze decyzyjne; oprogramowanie obliczeniowe, wyszukujące lub prezentujące, itd.)

26

W częściach I- III Materiałów dla studentów są podane teoretyczne podstawy parametrycznej

estymacji punktowej

•

część I – Estymatory i ich podstawowe własności

•

część II –Podstawowe metody konstrukcji estymatorów

•

część III – Asymptotyczne własności estymatorów

konieczne do rozwiązania problemów/zadań zawartych w części IV (Arkusz testowy)

Część IV (Arkusz testowy) Materiałów dla studentów zawiera problemy/ zadania, które nale-

ż

y rozwiązać stosując pojęcia wprowadzone w częściach I- III.

IV. Wymagane rezultaty pracy i ich forma

Rezultatem Twojej pracy, a następnie w grupach jest zrozumienie podanych pojęć i ich zasto-

sowanie w różnych modelach statystycznych

•

poprawne konstruowanie estymatorów metodą momentów i metoda największej wia-

rogodności w różnych modelach statystycznych

•

umiejętność zbadania podanych własności estymatorów w różnych modelach staty-

stycznych

•

umiejętność stosowania nierówności informacyjnej Cramera-Rao do wyznaczana wa-

riancji estymatorów nieobciążonych w różnych modelach statystycznych

•

poprawne zastosowanie kryteriów oceny jakości estymatorów we wnioskowaniu sta-

tystycznym w zakresie parametrycznej estymacji punktowej