2. ESTYMACJA PUNKTOWA
2.1. Własności parametryczne rozkładów
Niech dana jest próbka o liczności n, której elementy x1, ..., xn są niezależne oraz
spełniają rozkład Pq� , który w znany sposób zależy od nieznanego parametru q� .
Tu Pq� jest pewną klasą rozkładów zupełnie określonych przez wartość parametru
q� . Parametr q� przybiera wartości z pewnego zbioru Q� .
Np. dla wszystkich i =�1, n
�� xi mają rozkład Poissona l� , gdzie l� >� 0 jest parametrem nieznanym; tu
Pq� =� l� , q� =� l� , Q� =� (0, Ą�) ;
�� xi mają rozkład Bernoulliego B , gdzie p��(0;1) jest parametrem nieznanym;
p
tu Pq� =� B , q� =� p , Q� =� (0;1);
p
�� xi mają rozkład jednostajny Ua, b , gdzie a <� b są parametrami nieznanymi; tu
Pq� =� Ua, b , q� =� (a; b) , Q� =� {(a, b) : a <� b};
�� xi mają rozkład jednostajny U0, q� , gdzie q� >� 0 jest parametrem nieznanym; tu
Pq� =� U0, q� , Q� =� (0; Ą�) ;
�� xi mają rozkład normalny N , gdzie a ��R , s� >� 0 są parametrami niezna-
a, s�2
nymi; tu Pq� =� N , q� =� (a, s�2) , Q� =� R �� (0; Ą�) ;
a, s�2
�� xi mają rozkład normalny Na, 4, gdzie a ��R jest parametrem nieznanym; tu
Pq� =� Na, 4 , q� =� a , Q� =� R .
Sformułowane zagadnienie ma sens, ponieważ dość rzadko spotykamy się z sy-
tuacją, gdy nie możemy nic powiedzieć o badanym doświadczeniu. Zwykle typ roz-
kładu jest z góry znany i wyznaczeniu podlegają jego parametry.
Np. wzrost młodych ludzi przy dość szerokich założeniach spełnia rozkład nor-
malny (z nieznanymi WO i wariancją), a liczba klientów zwiedzających sklep w cią-
gu jednej godziny ma rozkład Poissona z nieznaną  intensywnością l�.
2.2. Estymatory punktowe. Estymatory nieobciążone i zgodne
Niech x1, ..., xn będzie próbką o liczności n z rodziny parametrycznej rozkładów
Pq� , gdzie q���Q� .
18
Zauważmy, że wszystkie charakterystyki ZL x1, ..., xn zależą od parametru q� .
Np. jeżeli xi ma rozkład Poissona l� , to
l�2
Ex1 =� l� , P{x1 =� 2} =� e-�l� , Dx1 =� l� itd.
2
Aby ujawnić wskazaną zależność będziemy pisali Eq�x1 zamiast Ex1 itd. Np.
Dq�1 x1 oznacza wariancję ZL x1 obliczoną przy założeniu q� =� q�1.
W wielu przypadkach jest to niezbędne. Załóżmy np. że xi ma rozkład Poissona
l� . Wówczas dla l� =�1 mamy Ex1 =�1, natomiast dla l� =� 7 mamy Ex1 =� 7 . Ozna-
czenie Ex1 w tym przypadku, więc, nie ma sensu jeżeli rozkład ZL x1 nie jest omó-
wiony w całości.
Definicja 1. Dowolna funkcja borelowska q�* =� q� * (x1, ..., xn ) elementów próbki
nazywa się statystyką.
Oczywiście statystyką jest nie dowolna lecz mierzalna funkcja próbki (czyli
funkcja borelowska, dla której przeciwobraz dowolnego zbioru borelowskiego z R
znów jest zbiorem borelowskim z Rn ), nadal my nie będziemy to omawiały, ponie-
waż nie będziemy mieć do czynienia z funkcjami innego rodzaju.
Uwaga 1. Statystyka jest funkcją wyłącznie danych empirycznych, parametr q�
nie jest, więc, jej argumentem. Statystyka zwykle wprowadza się w celu oszacowania
nieznanego parametru q� (dlatego ona inaczej nazywa się estymatorem) i właśnie z
tych względów nie może od niego zależeć.
Definicja 2. Statystyka q�* =� q� * (x1, ..., xn ) nazywa się nieobciążonym estymato-
rem parametru q� , gdy dla dowolnego q���Q� zachodzi równość Eq�q�* =� q�.
Definicja 3. Statystyka q�* =� q� * (x1, ..., xn ) nazywa się estymatorem zgodnym pa-
rametru q� , gdy dla dowolnego q���Q� ma miejsce zbieżność q� * ��p , gdy n �� Ą� .
���q�
Nieobciążoność jest własnością estymatorów przy ustalonym n. Jej obecność
oznacza brak błędu systematycznego w sensie wartości średniej obserwowanych wy-
ników doświadczeń.
Własność zgodności oznacza, że ciąg estymatorów zbliża się do wartości niezna-
nego parametru ze wzrostem liczności próbki. Jest jasne, że korzystanie z estymato-
rów niezgodnych nie ma sensu praktycznego.
Przykład 1. Niech x1, ..., xn będzie próbką o liczności n z rozkładu normalnego
N , gdzie a ��R , s� >� 0. Jak możemy znalez
ć estymatory dla parametrów a, s�2 w
a, s�2
19
przypadku, gdy oba wskazane parametry (można uważać je za jeden parametr dwu-
wymiarowy) są nieznane?
Przez nas są już znane dobre estymatory dla WO i wariancji rozkładu dowolne-
go.
Estymatorem prawdziwej WO E x1 może służyć empiryczna wartość prze-
a, s�2
ciętna a* =� x . Własność 2 z punktu 1.6 orzeka, że ten estymator jest nieobciążony i
zgodny.
Co do wariancji s�2 =� D x1 to mamy dwa jej estymatora:
a, s�2
n n
1 1
2
s2 =� oraz s0 =�
��(x -� x)2 ��(x -� x)2
i
n n -�1i =�1 i
i =�1
(wariancja empiryczna oraz wariancja empiryczna nieobciążona).
2
Na mocy własności 4 z p. 1.6 oba estymatory są zgodne, a estymator s0 jest nie-
obciążony.
Następna metoda oceniania nieznanych parametrów rozkładów poleca zastąpie-
nie prawdziwych momentów przez momenty empiryczne.
2.3. Metody wyznaczenia estymatorów: metoda momentów
Istota metody momentów polega na tym, co następuje: moment dowolny ZL x1
(np. moment rzędu k) zależy (najczęściej w sposób funkcyjny) od parametru q� . Pa-
rametr q� , więc, także jest funkcją k-go momentu teoretycznego. Podstawiając we
wzór na wskazaną funkcję zamiast k-go momentu teoretycznego jego analogon empi-
ryczny otrzymamy zamiast parametru q� jego estymator q� *.
Niech x1, ..., xn będzie próbką o liczności n z rodziny parametrycznej rozkładów
Pq� , gdzie q���Q� . Wybierzmy pewną funkcję g(y) w taki sposób, aby istniał moment
Eq�g(x1) =� h(q�), (2.1)
oraz funkcja h miała funkcję odwrotną na zbiorze Q� . Wówczas jako estymator q� *
parametru q� przyjmiemy rozwiązanie równania
g(x) =� h(q�*).
Albo, co jest to samo, najpierw rozwiązujemy równanie (2.1) względem q� , po
czym zastępujemy prawdziwy moment przez empiryczny:
n
ć� ��
1
�� ��
q� =� h-�1(�Eq�g(x1))�, q�* =� h-�1(�g(x))�=� h-�1��
��g(x )�� .
i
n
Ł� i=�1 ł�
Najczęściej jako g(y) wybieramy g(y) =� yk . Mamy wówczas
Eq�x1k =� h(q�) ,
i jeżeli funkcja h ma odwrotną na zbiorze Q� , to
20
n
ć� ��
1
��
q� =� h-�1(�Eq�x1k)�, q�* =� h-�1(�xk)�=� h-�1�� ik ��.
��x ��
n
Ł� i =�1 ł�
Można powiedzieć, że wybieramy jako estymator taką (losową) wartość parame-
tru q� , dla której moment prawdziwy zgadza się z odpowiednim momentem empi-
rycznym.
Przykład 2. Niech x1, ..., xn będzie próbką o liczności n z rozkładu jednostajne-
go U0, q� na odcinku [0; q�], gdzie q� >� 0 .
Korzystając z metody momentów znajdziemy estymator parametru q� najpierw
na podstawie pierwszego momentu:
q�
*
Eq�x1 =� , wówczas q� =� 2Eq�x1 , a więc mamy estymator q�1 =� 2x .
2
Estymator na podstawie k-go momentu to
q�
1 q�k
Eq�x1k =� yk dy =� ,
��
q� k +�1
0
wówczas
k
k
q� =� (k +� 1)Eq�x1k , a więc mamy estymator q�* =� (k +�1)xk . (2.2)
k
Uwaga 2. Możliwe jest, że q�* =� h-�1(g(x))��Q� , chociaż q���Q� . W tym przypadku
niezbędna jest korekta estymatora. Np. jako estymator przyjmują najbliższy w sto-
sunku do h-�1(g(x)) punkt z Q� , albo punkt z zamykania Q� .
Przykład 3. Niech x1, ..., xn będzie próbką o liczności n z rozkładu normalnego
Na,1 z WO a ł� 0. Szukamy estymator dla a na podstawie pierwszego momentu:
Ea x1 =� a , skąd wynika a* =� x .
Jednak z treści zadania mamy a ł� 0, chociaż x może być ujemne. Jeśli x <� 0 , to
jako estymator możemy wziąć 0. Jeśli x ł� 0 , to jako estymator należy wybrać x .
Ostatecznie mamy a* =� max{0, x}. Jest to poprawiony (po korekcie) estymator a
otrzymany metodą momentów.
2.4. Zgodność estymatorów otrzymanych za pomocą metody
momentów
Twierdzenie 1. Niech q�* =� h-�1(g(x)) będzie estymatorem parametru q� otrzyma-
nym według metody momentów, gdzie funkcja h-�1 jest ciągła. Wówczas estymator q� *
jest zgodny.
21
Dowód. Na mocy prawa wielkich liczb w postaci Chinczyna mamy
n
1
g(x) =� ���Eq�g(x1) =� h(q�).
��g(x ) ��p
i
n
i =�1
Ponieważ funkcja h-�1 jest ciągła, to
q�* =� h-�1(g(x)) ��p
���h-�1(Eq�g(x1)) =� h-�1(h(q�)) =� q� .
Uwaga 3. Dla funkcji zwrotnej (tj. wzajemnie jednoznacznej) h : R �� R cią-
głość h a ciągłość h-�1 są równoważne.
Już mówiliśmy, iż otrzymane przez nas estymatory muszą być zgodne. Nato-
miast z estymatorami nieobciążonymi spotykamy się dość rzadko.
Rozpatrzmy np. ciąg estymatorów parametru nieznanego q� rozkładu jednostaj-
nego na odcinku [0; q�] otrzymany w przykładzie 2 i zbadamy jego własności.
Zgodność:
*
1. Na mocy prawa wielkich liczb (PWL) mamy q�1 =� 2x ��p��2Eq�x1 =�
��
*
=� 2q� 2 =� q� , co oznacza ze estymator q�1 =� 2x jest zgodny.
2. Na mocy PWL (albo własności 3 momentów) mamy przy n �� Ą�
q�k
xk ��p
���Eq�x1k =� .
k +�1
k
Ponieważ funkcja (k +�1) y jest ciągła dla wszystkich y >� 0, to przy n �� Ą�
q�k
k
q�* =� (k +� 1)xk ��p (k +� 1) =� q�.
���k
k
k +� 1
k
Ćwiczenie. Gdzie tu stosuje się własność ciągłości funkcji (k +�1) y ?
Nieobciążoność:
1. Zgodnie z określeniem
*
Eq�q�1 =� Eq� (2x) =� 2Eq� x =� (patrz własność 2) =� 2q� 2 =� q� ,
*
co oznacza, że estymator q�1 =� 2x jest nieobciążony.
2. Rozpatrzmy estymator q�* . Zauważmy, że
2
Eq�q�* =� Eq� 3x2 .
2
Natomiast z własności 3 momentów empirycznych (p. 1.6) wynika, że
22
q� =� 3Eq�x12 =� 3Eq� x2 .
Równość Eq�q�* =� q� oznaczałaby, że dla ZL x� =� 3x2 spełniona jest równość
2
Eq� x� =� Eq�x� , a dla ZL h� =� x� jest spełniono Eq�h�2 =� (Eq�h�)2 czyli Dq�h� =� 0 .
Natomiast ZL h� =� 3x2 ma rozkład niedegeneratywny (ten rozkład jest abso-
lutnie ciągły). Wówczas estymator q�* =� 3x2 jest obciążony. Obciążone są
2
także estymatory q�* , k >� 2 .
k
��
k
Otrzymaliśmy w ten sposób, że cały ciąg {q�* }Ą� =� (k +� 1)xk �� składa się z es-
�� ż�
k k =�1
�� ��
*
tymatorów zgodnych, przy czym tylko estymator q�1 =� 2x z tego ciągu jest nieobcią-
żony.
2.5. Metody wyznaczenia estymatorów: metoda największej
wiarygodności
Metoda największej wiarygodności to jeszcze jeden sposób wyznaczenia estyma-
tora parametru nieznanego. Jego istota polega na tym, że jako najwięcej prawdopo-
dobną wartość parametru wybieramy taką wartość q� , przy której prawdopodobień-
stwo otrzymania w n doświadczeniach aktualnej próbki x =� (x1, ..., xn ) osiąga mak-
simum. Wybraną wartość parametru q� , która zależy od próbki uważamy za szukany
estymator.
Najpierw wyjaśnimy, co oznacza  prawdopodobieństwo otrzymania aktualnej
próbki , tj., od czego należy szukać maksimum. Przypomnijmy, że dla rozkładów ab-
solutnie ciągłych Pq� wyrażenie fq� (y)D�y , gdzie fq� (y) jest gęstością ZL q� , jest z
dokładnością do o(D�y) prawdopodobieństwem tego, że ZL q� przyjmuje wartości z
przedziału [y; y +� D�y], czyli fq� (y) dy jest prawdopodobieństwem  trafienia ZL do
punktu y (dokładniej, prawdopodobieństwem jej trafienia do przedziału [y; y +� dy)).
Dla rozkładów dyskretnych Pq� prawdopodobieństwo trafienia ZL x� do punktu y jest
równe Pq�{x� =� y}. W tym punkcie będziemy obie te charakterystyki nazywać (uogól-
nioną) gęstością rozkładu Pq� .
Definicja 4. Funkcję
fq� (y) =� gęstość fq� (y) , gdy rozkład Pq� ZL x� jest absolutnie ciągły,
fq� (y) =� Pq�{x� =� y}, gdy rozkład Pq� ZL x� jest dyskretny
będziemy nazywali gęstością rozkładu Pq� .
23
Z punktu widzenia teorii miary wprowadzenie gęstości dla rozkładu dyskretnego
nie jest czymś dziwnym. Wprowadzona gęstość nie jest oczywiście gęstością wzglę-
dem miary Lebesgue a, natomiast jest gęstością względem miary liczącej.
Jeżeli dla rozkładu dyskretnego ZL x� , przyjmującej wartości a1, a2, ... , wprowadz
my miarę
liczącą # na s� -ciele borelowskim w taki sposób, że #(B) =� liczba ai należących do B, to
#(B) =�
��1,
��#(dy) =�
ai��B
B
skąd wynika, że
Pq�{x��� B} =� fq� (y)# (dy) =� {x� =� y}# (dy) =� {x� =� ai}.
q� ��Pq�
�� ��P
ai��B
B B
Jeżeli x� ma rozkład absolutnie ciągły, to fq� (y) jest zwykłą gęstością względem miary Lebe-
sgue a l�(dy) =� dy :
Pq�{x� �� B} =� fq� ( y)l�(dy) =� fq� (y)dy .
�� ��
B B
Definicja 5. Funkcja (ZL przy ustalonym q� )
n
f (x, q�) =� fq�(x1) �� fq�(x2 ) ��...�� fq� (xn ) =� fq� (xi )
��
i =�1
nazywa się funkcją wiarygodności. Funkcja (także losowa)
n
L(x, q�) =� ln f (x, q�) =� fq�(xi )
��ln
i =�1
nazywa się logarytmiczną funkcją wiarygodności.
W przypadku dyskretnym funkcja wiarygodności f (x1, ..., xn , q�) jest prawdopo-
dobieństwem tego, że próbka x�1, ..., x�n (abstrakcyjna) w danej serii doświadczeń jest
równa x1, ..., xn (jest to próbka konkretna). Wskazane prawdopodobieństwo zależy
od q� :
n
f (x, q�) =� fq� (xi ) =� Pq�{x�1 =� x1}�� ...�� Pq�{x�n =� xn} =� Pq�{x�1 =� x1, ..., x�n =� xn}.
��
i=�1
~
Definicja 6. Estymatorem największej wiarygodności q� nieznanego parametru
q� nazywa się wartość q� dla której funkcja f (x, q�) (jako funkcja od q� przy ustalo-
nych x1, ..., xn ) osiąga maksimum:
~
q� =� arg max f (x, q�) .
q�
Uwaga 4. Ponieważ funkcja ln y jest monotoniczna, to punkty maksymalnych
wartości f (x, q�) i L(x, q�) są takie same. Wówczas estymatorem największej wiary-
24
godności (ENW) możemy nazywać także punkt maksymalnej wartości względem q�
funkcji L(x, q�):
~
q� =� arg max L(x, q�) .
q�
Przypomnijmy, że punkty, w których funkcja osiąga ekstremum, to są albo punk-
ty, w których pochodna jest równa zeru, albo punkty nieciągłości funkcji/pochodnej,
albo punkty graniczne określenia funkcji.
Przykład 4. Niech x1, ..., xn będzie próbką o liczności n z rozkładu Poissona
~
l� , gdzie l� >� 0 . Wyznaczmy ENW l� parametru nieznanego l�.
l�y
Pl�{x� =� y} =� e-�l�, y =� 0,1, ....
y!
xi
n
l��� xi l�nx
f (x, l�) =� e-�l� =� e-�nl� =� e-�nl� .
��l�
xi!
��x ! i
i =�1 i ��x !
Ponieważ funkcja f (x, q�) ma ciągłą pochodną względem l� dla wszystkich l� >� 0 , to
można szukać jej ekstremum zakładając, że pochodna cząstkowa względem l� jest
równa zeru. Wygodniej natomiast tego dokonać dla logarytmicznej funkcji wiary-
godności:
ć� ��
l�nx
L(x, l�) =� ln f (x, l�) =� ln�� e-�nl� �� =� nxln l� -� ln !-� nl� .
��x
i
�� ��
!
��xi
Ł� ł�
Wówczas mamy
ś� nx
L(x, l�) =� -� n,
ś�l� l�
~ nx ~
i punktem ekstremum l� jest rozwiązanie równania -� n =� 0 , czyli l� =� x .
l�
~
Ćwiczenie. 1) Przekonać się, że l� =� x jest punktem maksimum a nie minimum.
~
2) Przekonać się, że l� =� x jest równoważne jednemu z
estymatorów otrzymanych za pomocą metody momentów.
Przykład 5. Niech x1, ..., xn będzie próbką o liczności n z rozkładu normalnego
N , gdzie a ��R , s� >� 0 i oba te parametry są nieznane.
a, s�2
Wypiszemy gęstość, funkcję wiarygodności oraz logarytmiczną funkcję wiary-
godności. Gęstość to
ć�
1 (y -� a)2 ��
��,
f(a, s�2 ) (y) =� exp�� -�
2p�s�2 �� 2s�2 ��
Ł� ł�
25
funkcja wiarygodności:
n
ć� ��
��
��(x -� a)2 ��
i
n
ć�
1 (xi -� a)2 �� 1
��
i=�1
��
f (x, a, s�2 ) =� exp��-� =� exp��-�
��
2 �� ��,
i =�1 2p�s�2 �� 2s�2 �� (2p�s�2)n �� 2s�2
Ł� ł�
��
�� ��
Ł� ł�
logarytmiczna funkcja wiarygodności:
n
��(x -� a)2
i
n
i =�1
L(x, a, s�2) =� ln f (x, a, s�2) =� -�ln(2p�)n 2 -� ln s�2 -� .
2
2s�2
W punkcie ekstremum względem (a, s�2) funkcji L mającej ciągłe pochodne do
rzędu drugiego włącznie pochodne względem a i s�2 są równe zeru:
n n
2 -� a)
��(x ��(x -� a)2
i i
ś� nx -� na ś� n
i=�1 i =�1
L(x, a, s�2 ) =� =� ; L(x, a, s�2 ) =� -� +� .
ś�a
2s�2 s�2 ś�s�2 2s�2 2s�4
~ ~
Estymatorem największej wiarygodności (a, s�2) dla (a, s�2) jest tu rozwiązanie
układu równań
n
��(x -� a)2
i
nx -� na n
i=�1
=� 0 ; -� +� =� 0 .
s�2 2s�2 2s�4
Rozwiązując dostajemy dobrze znane estymatory
n
1
~ ~
a =� x , s�2 =� =� s2 .
��(x -� x)2
i
n
i=�1
~ ~
Cwiczenie. 1) Przekonaj się, że a =� x , s�2 =� s2 jest punktem maksimum a nie
minimum.
2) Przekonaj się, że te estymatory są równoważne pewnym
estymatorom otrzymanym za pomocą metody momentów.
Przykład 6. Niech x1, ..., xn będzie próbką o liczności n z rozkładu jednostajne-
go U0, q� , gdzie q� >� 0 . Utworzymy z danej próbki szereg wariacyjny x(1), ..., x(n) .
Wówczas funkcja wiarygodności ma postać
��(1 q�)n, gdy x(n) Ł� q�,
��
f (x, q�) =�
��
��
��0 w przypadku przeciwnym.
~
Funkcja ta osiąga maksimum w punkcie q� =� x(n) .
~
Wówczas q� =� x(n) =� max{x1, ..., xn}.
26
Przykład 7. Niech x1, ..., xn będzie próbką o liczności n z rozkładu jednostajne-
go Uq�, q�+�5 , gdzie q���R .
Wypiszmy gęstość i funkcję wiarygodności. Gęstość to
1 5, gdy y ��[q�; q� +� 5],
��
fq� (y) =�
��0, gdy y ��[q�; q� +� 5],
��
funkcja wiarygodności to
��(1 5)n, gdy wszystkie xi ��[q�;q� +� 5],
f (x, q�) =� =�
��
��0 w przypadku przeciwnym
��(1 5)n, gdy q� Ł� x(1) Ł� x(n) Ł� q� +� 5, ��(1 5)n, gdy x(n) -� 5 Ł� q� Ł� x(1) ,
�� ��
=� =�
�� ��
��
��0 w przypadku przeciwnym ��
��0 w przypadku przeciwnym.
Funkcja wiarygodności osiąga wartość maksymalną (1 5)n we wszystkich punk-
tach q���[x(n) -� 5; x(1) ]. Wykres tej funkcji jest przedstawiony na rys. 2.1.
f (x, q�)
1
5n
q�
x(n) -� 5 x(1)
Rys. 2.1
~
Punkt dowolny q� ��[x(n) -� 5; x(1) ] jest tu estymatorem największej wiarygodno-
ści. Otrzymujemy, więc, liczbę nieprzeliczalną estymatorów postaci
~
q�a� =� (1 -� a�)(x(n) -� 5) +� a�x(1)
~ ~
dla różnych a� ��[0;1] włącznie z punktami granicznymi q�0 =� x(n) -� 5 i q�1 =� x(1) .
Ćwiczenie. 1) Przekonaj się, że zbiór punktów [x(n) -� 5; x(1)] nie jest zbiorem
pustym.
2) Oblicz EMM (względem momentu pierwszego) i przekonaj się,
że on jest inny niż ENW.
3) Oblicz ENW dla rozkładu jednostajnego Uq�, 2q� .
27