Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
WYKA
AD 6-7
Estymatory c.d. Własności i porównywanie estymatorów
�� Problem oceny estymatora. Funkcja ryzyka
�� Porównywanie estymatorów
�� Związek ryzyka z wariancją i obciążeniem
�� Estymatory nieobciążone
�� Estymatory nieobciążone o minimalnej wariancji
(efektywne)
�� Informacja Fishera i nierówność informacyjna
1
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
ESTYMATORY c.d.
�� Niech  jak wcześniej - X1,X2,L�,Xn będzie ciągiem obserwacji
określonych na (W�, F, Pq� ) q���Q�. W naszych rozważaniach
ograniczamy się do obserwacji, które tworzą próbę prostą.
�� Uwaga. Wygodnie jest przyjąć W�= Rn, F = B(Rn), oraz
Pq�(B)= Pq� ( (X1,X2,..., Xn) �� B; B�� B(Rn)
Innymi słowy jako przestrzeń wyjściową wygodnie jest przyjąć
przestrzeń indukowaną przez rodzinę rozkładów wektora
losowego (X1,X2,L�,Xn).
W przypadku niezależnych zm. los.  to jest nasz przypadek - rozkład
łączny wektora (X1,X2,L�,Xn) jest jednoznacznie wyznaczony
przez rozkłady brzegowe. W przypadku, gdy Xi posiadają gęstości, to
rozkład łączny jest iloczynem gęstości poszczególnych zmiennych).
Niech tym razem g: Q� ��R będzie funkcją, której wartości chcemy
estymować (w szczególnym przypadku może być g(q�) = q�) .
Estymacja punktowa
Jak już wspominaliśmy estymatorem wartości g(q�) jest dowolna
statystyka, oznaczana przez nas %1ń (X1,X2,L�,Xn) , której wartości,
odpowiadające konkretnym próbom, służą do szacowania nieznanej
wartości g(q�).
Innymi słowy, szacowanie nieznanej wartości g(q�) na podstawie
konkretnej realizacji próby losowej x1,& ,xn polega na:
�� wyznaczeniu wartości estymatora (tzn. na wyznaczaniu
%1ń ( x1, x2,L�, xn )),
�� przyjmowaniu tej wartości za oszacowanie parametru g(q�).
Taki rodzaj postępowania nazywa się estymacją punktową.
2
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
Chcielibyśmy, aby moduł różnicy (błąd estymacji)
|%1ń (X1,X2,L�,Xn) - g(q�)| dla każdegoq���Q� był możliwie mały.
Zauważmy, że błąd przybliżenia jest zmienną losową ( przybliżamy
stałą g(q�) za pomocą zmiennej losowej %1ń (X1,X2,L�,Xn)). Zatem
dla oceny przybliżenia wygodnie jest posłużyć się średnim kwadratem
błędu.
Problem oceny estymatora. Funkcja ryzyka
Definicja. Funkcja R(q�) =� Eq�( %1ń (X1,X2,L�,Xn) - g(q�))2 q� ��Q�
nazywa się kwadratową funkcją ryzyka estymatora %1ń .
Przykład 1. Niech X1,X2,L�,Xn będzie próbą prostą pochodzącą z
rozkładu Poissona (q�). Przypominamy E(Xk) = Var(Xk)= q�, q� >� 0
Niech estymatorem parametru q� będzie średnia z próby.( Zatem
%1ń (X1,X2,L�,Xn)= , g(q�) =q�, Q� =� (0,Ą�).
Wyznaczmy funkcję ryzyka dla tego estymatora.
1
R(q�) =� Eq�(Xn -� q�)2 =� Eq�( (X1 +� X2 +�L�+� Xn -� nq�))2=
n
n n
1 1 1 q�
Varq�( �� Xk ) =� �� Varq�Xk =� nq� =� , q���(0,Ą�).
n
k=�1 k=�1
n2 n2 n2
Wykorzystaliśmy fakt, że zmienne Xk są niezależne.
Przykład 2. Niech X1,X2,L�,Xn będzie próbą prostą pochodzącą
z rozkładu N(q� ,s�), parametr s�-znany.
Niech estymatorem parametru q� będzie średnia z próby. Wyznaczmy
funkcję ryzyka dla tego estymatora. ( Tym razem -� Ą� <� q� <� Ą�,
%1ń (X1,X2,L�,Xn)= , g(q�) =q�).
3
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
1
R(q�) =� Eq�(Xn -� q�)2 =� Eq�( (X1 +� X2 +�L�+� Xn -� nq�))2=
n
n n
s�2
1 1
Eq�[ Xk -� nq�]2 =� Varq�( Xk ) =�
�� ��
n
n2 n2
k=�1 k=�1
Wykorzystaliśmy fakt, że zmienne Xk są niezależne. Okazało się, że
s�2
R(q�)= const. = , -� Ą� <� q� <� Ą�.
n
Porównywanie estymatorów
Jeżeli chcemy porównywać estymatory w ustalonym modelu
statystycznym to naturalnym kryterium wydaje się być kryterium
ryzyka.
Definicja. Niech %1ń1(X1,..., Xn), %1ń2(X1,..., Xn) będą
estymatorami g(q�) w ustalonym modelu. Niech
R1(q�) =� Eq�( %1ń (X1,X2,L�,Xn) - g(q�))2 ,
1
R2(q�) =� Eq�( %1ń (X1,X2,L�,Xn) - g(q�))2
2
Mówimy, że estymator %1ń jest lepszy niż %1ń jeśli
1 2
dla każdego q��� Q�, R1(q�) Ł� R2(q�)
a dla pewnego q� , R1(q�) <� R2(q�)
Uwaga. Definicja odnosi się do takich estymatorów, dla których
funkcje ryzyka nie przecinają się. W przeciwnym bowiem przypadku
estymatory są nieporównywalne.
Dlatego też statystycy porównują estymatory, które spełniają
dodatkowe warunki.
Obciążenie i estymatory nieobciążone
Niech %1ń (X1,X2,L�,Xn) będzie estymatorem g(q�).
4
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
Definicja.Wielkość b(q�) =� Eq�(%1ń(X1,...,Xn )) -� g(q�) nazywa się
def
obciążeniem estymatora %1ń .
Definicja. Estymator %1ń (X) estymujący g(q�) nazywa się
nieobciążony jeśli jego obciążenie jest zerowe to znaczy
b(q�)=�Eq�(%1ń(X1,...,Xn)) -� g(q�)= 0.
Innymi słowy estymator jest nieobciążony jeśli
Eq�(%1ń(X1,...,Xn)) =� g(q�).
Twierdzenie 6.1. (O Obciążeniu, wariancji i ryzyku).
Niech X =� (X1,X2,L�,Xn) gdzie X1,X2,L�,Xn jest próbą
def
losową, X1,X2,L�,Xn ~Pq� .
Ryzyko estymatora %1ń (X) estymującego g(q�) jest sumą wariancji
estymatora i kwadratu obciążenia to znaczy
R(q�) =� Varq�%1ń(X) +� b2(q�)
R(q�) =� Eq�(%1ń(X) -� g(q�))2 =� Eq�[%1ń(X) -� Eq�%1ń(X) +� Eq�%1ń(X) -� g(q�)]2 =�
Eq�[(%1ń(X) -� Eq�%1ń(X))2 +� 2(%1ń(X) -� Eq�%1ń(X))(Eq�%1ń(X) -� g(q�)) +�
(Eq�%1ń(X) -� g(q�))2] =� Eq�(%1ń(X) -� Eq�%1ń(X))2 +� (Eq�%1ń(X) -� g(q�))2 =�
Varq�%1ń(X) +� (b(q�))2
Dowód. Wykorzystaliśmy fakt, że podwojony  iloczyn mieszany
znika ponieważ (Eq�%1ń(X) -� g(q�)) jest liczbą natomiast
Eq�[%1ń(X) -� Eq�%1ń(X)] =� Eq�%1ń(X) -� Eq�%1ń(X) =� 0 cbdo.
5
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
Przykłady estymatorów wariancji
Niech X1,X2,L�,Xn ~N(m�,q�), q� - parametr oznaczający wariancje.
Rozważmy wspomniane już (por. Wykład 3) estymatory wariancji.
n
1
S2 =� (Xi -� X)2 - wariancja z próby (bez daszka).
��
n -�1i=�1
n
1
\
2 =� (Xi -� X)2 ----wariancja z próby ( z daszkiem)
��
n
i=�1
a) Estymator S2. W Wykładzie 3 zajmowaliśmy się
n -�1
statystyką S2 . Z Twierdzenia 3.2 wiadomo, że
s�2
n -�1
S2 ~ c�2 (n-1)
s�2
Przypominamy, że wartość oczekiwana zmiennej, która ma rozkład
c�2 (n-1) wynosi n-1 natomiast wariancja 2(n-1), zatem
n -�1 n -�1
E( S2 ) = E(S2) =� n -�1.
s�2 s�2
Stąd
E(S2) =� s�2 .
Obliczmy wariancję estymatora S2.
n -�1 (n -�1)2
Var ( S2 ) = Var (S2) =� 2(n -�1)), zatem
s�2 s�4
2s�4
Var (S2)= .
n -�1
Wracając do naszego modelu, w którym m� jest dowolne (ale
ustalone), s�2= q� jest parametrem estymowanym mamy
6
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
2q�
Em�,q�(S2) =� q�oraz Varm�,q� (S2)= dla każdego q� >� 0 .
n -�1
Ć
Ć
Wniosek. Estymator q� =� s�2 = S2 jest estymatorem
2q�
nieobciążonym o ryzyku R1(q�) = .
n -�1
b) Rozważmy teraz estymator wariancji \
2
(n -�1)S2
A
atwo zauważyć, że n\
2= (n-1) S2. Zatem \
2 =� co daje
n
1
Em�,q�(\
2) =� (1-� )q�
n
Oznacza to, że estymator \
2 jest obciążony i jego obciążenie
wynosi
1 1
b(\
2)=Em�,q�(\
2) -� q� =� (1-� )q� -� q� =� -� q�
n n
(n -�1)S2
Obliczmy wariancję estymatora \
2. Ponieważ \
2 =� ,
n
(n -�1)2 (n -�1)2 2q�2 2(n -�1)
Varm�,q� (\
2)= Varm�,q� (S2) = = q�2.
n -�1
n2 n2 n2
2(n -�1)
1
Funkcja ryzyka dla estymatora \
2: R2(q�) = q�2 + q�2
n2 n2
Porównywanie estymatorów S2 i \
2
Można wykazać, że estymator \
2 ma mniejszą wartość ryzyka niż
S2.
7
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
2(n -�1)
1
R2 (q�)= q�2 + q�2=
n2 n2
2n -�1 2n 2
q�2 Ł� q�2 <� q�2 =� R1(q�)
n -�1
n2 n2
Estymator S2 jest nieobciążony, natomiast \
2 ma ujemne
obciążenie co oznacza, że systematycznie obniża wartość
estymowanego parametru q� =� s�2.
Estymator nieobciążony c.d.
Przypominamy. Estymator %1ń(X1,L�,Xn ) wartości g(q�) nazywa się
nieobciążony jeśli dla każdego q� obciążenie jest zerowe, tzn
b(q�) =� Eq�(%1ń(X1,...,Xn )) -� g(q�) =� 0
def
Z Twierdzenia 6.1 wynika natychmiast, następujący wniosek
Wniosek z Twierdzenia 6.1. Dla estymatora nieobciążonego ryzyko
jest równe wariancji estymatora.
Estymator nieobciążony o minimalnej wariancji
(ENMW)( inna nazwa: efektywny lub najefektywniejszy)
Definicja. Estymator g*�(X1,..., Xn )jest ENMW wielkości g(q�)
(innymi słowy estymatorem najefektywniejszym wartości g(q�)) jeśli
jest
a) nieobciążony
b) dla każdego nieobciążonego estymatora %1ń(X1,..., Xn )mamy
Varq�g *�(X1,..., Xn ) Ł� Varq�%1ń(X1,..., Xn )
�� Pytanie : jak mała może być wariancja nieobciążonego
estymatora, który jest funkcją n-elementowej próby losowej?
8
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
�� Nierówność Cram�ra-Rao podaje ograniczenie dolne na
wielkość wariancji.
�� Odpowiednie twierdzenie poprzedzimy definicją tzw.
informacji Fishera.
�� Informacja Fishera to funkcja zależna od parametru q�, która
wyraża informację o parametrze zawartą w zmiennej losowej X
o gęstości fq�(x) (w przypadku zmiennej dyskretnej o zadanej
funkcji prawdopodobieństwa ).
Informacja Fishera
Definicja. a) Niech X będzie zmienną losową o gęstości fq�(x)
zależnej od jednowymiarowego parametru q� �� Q� �� R. Funkcję
d d
I1(q�)=Eq�( ln fq�(X))2 =� ( ln fq�(x))2fq�(x)dx
��
dq� dq�
R
nazywamy informacją Fishera zawartą w pojedynczej obserwacji.
�� b) Niech X będzie zmienną losową o rozkładzie dyskretnym:
pq�(x), x �� W, W-przeliczalny podzbiór R.
d
I1(q�) = ( �� ( ln pq�(x))2pq�(x))
dq�
x��W
Uwaga. O informacji Fishera mówimy tylko wtedy, gdy nośnik
gęstości (nośnik, to podzbiór R, na którym gęstość jest dodatnia) nie
zależy od parametru q�. Przykładem gęstości, która nie spełnia tego
wymogu, jest gęstość rozkładu jednostajnego.
Definicja. Informację zawartą w ciągu obserwacji X1,..., Xn
określa się wzorem
d
In(q�)=Eq�( ln fq�(X1,..., Xn ))2
dq�
gdzie tym razem, fq�(x1,..., xn )jest łączną gęstością obserwacji.
9
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
�� Informację Fishera dla ciągu obserwacji zm.los. dyskretnej
określa się podobnie, zastępując funkcję gęstości funkcją
prawdopodobieństw.
Wniosek z definicji. Niech X1,X2,L�,Xn będzie n-wymiarową
próbą losową prostą pochodzącą z rozkładu ciągłego. Zatem
fq�(x1,..., xn ) =� fq�(x1)fq�(x2)...fq�(xn ) (6.1)
oraz
d d
In(q�)=Eq�( ln fq�(X1,..., Xn ))2 =� Eq�( ln[ fq�(X1)L�fq�(Xn )])2
dq� dq�
Przykład informacji Fishera
Rozważmy rozkład wykładniczy, fq�(x) =� q�e-�q�x, x >� 0.
d 1
ln fq�(x) =� ln q� -� q�x , zatem (ln fq�(x)) =� -� x . Tak więc
dq� q�
d d
I1(q�) =� Eq�( ln fq�(X))2 =� ( ln fq�(x))2fq�(x)dx
��
dq� dq�
Ą� Ą�
1 1 1
( -� x)2q�e-�q�xdx =� (x -� )2q�e-�q�xdx =� Varq�(X) =� .
�� ��
q� q�
q�2
0 0
1
Otrzymaliśmy : I1(q�)= .
q�2
Informacja Fishera
(por. M. Krzyśko, Stat. Mat., 2004, A. Plucińska, E. Pluciński,
Probabilistyka, 2000).
Rozważamy próbę losową X1,..., Xn pochodzącą z rozkładu ciągłego
o gęstości fq�(x). Będziemy zakładać, że spełnione są warunki:
i) nośnik funkcji fq�(x)( tzn. zbiór {x: fq�(x)> 0}) nie zależy od q�.
ii) Q� jest otwartym przedziałem zawartym w R.
10
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
iii) fq�(x) jest różniczkowalna ze względu na q�.
d
iv) Funkcja I1(q�) =� Eq�[( ln fq�(X))2] spełnia nierówności
dq�
0 < I1(q�) < Ą�
ś� ś�fq�(x)
v) fq�(x)dx =� dx
�� ��
ś�q� ś�q�
R R
Twierdzenie 6.2. O nierówności Cram�ra-Rao. Jeżeli X1,..., Xn
jest próbą losową prostą pochodzącą z rozkładu prawdopodobieństwa
fq� , q���Q� �� R , dla którego spełniony jest warunki (i)-(v), to
a) In(q�)= nI1(q�)
Ć
b) wariancja dowolnego nieobciążonego estymatora q�(X1,...,Xn)
parametru q���Q� spełnia następującą nierówność nazywaną
nierównością Rao-Cramera lub nierównością informacyjną:
1 1
Ć
Varq�q�(X1,..., Xn ) ł� =�
ś� ln fq�(X1,..., Xn ) ś� ln fq�(X1)
��2 nEq�ć� ��2
Eq�ć�
�� �� �� ��
ś�q� ś�q�
Ł� ł� Ł� ł�
Dowód pomijamy.
Wnioski.
(i) Biorąc pod uwagę tezy a) i b)- w przypadku próby losowej prostej -
nierówność informacyjną można zapisać:
1 1
Ć
Varq� q�(X1,...,Xn ) ł� =� .
In (q�) nI1(q�)
(ii) Jeśli w nierówności informacyjnej występuje równość to
Ć
estymator q�(X1,...,Xn) jest estymatorem najefektywniejszym
(ENMW) w klasie estymatorów nieobciążonych spełniających
warunki (i)-(v).
11
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
Przykład. Niech X1,...,Xn będzie próbą prostą pochodzącą z N(q�,s�) .
q���R.
s�2
Wiadomo, że Eq� ( X) =� q�, Varq�X) =� .
n
Pokażemy, że
Ć
q�(X1,..., Xn)= X jest estymatorem najefektywniejszym wartości
oczekiwanej
2
1 1 x -� q�
ć� ��
fq�(x) =� exp(-� )
�� ��
2p�s� 2 s�
Ł� ł�
2 2
1 1 x -� q� 1 x -� q�
ć� �� ć� ��
lnfq�(x) =� ln -� =� -�ln s� 2p� -�
�� �� �� ��
2p�s� 2 s� 2 s�
Ł� ł� Ł� ł�
ś� lnfq�(x) (x -� q�)
=�
ś�q�
s�2
2
1
I1(q�) = Eq� ć� X -� q� �� =� Eq�(�X -� q�)�2 1 =�
�� ��
�� ��
Ł� s�2 ł� s�4 s�2
Zatem
1 1 s�2
Varq�X ł� =� =� =� Varq�X cbdo.
1
nI1(q�) n
n
s�2
Uwaga. W literaturze estymator nieobciążony, dla którego
nierówność informacyjna jest równością, nazywa się estymatorem
efektywnym w sensie Cram�ra-Rao.
12
Mat. Statystyka. Wykłady 6-7.2013L R. Rempała. Materiały dydaktyczne
Miara efektywności estymatora
Ć Ć
Niech q�1(X1,...,Xn ) i q�2(X1,...,Xn ) będą dwoma estymatorami tego
Ć
samego parametru q� i niech q�1(X1,...,Xn ) będzie estymatorem
najefektywniejszym (ENMW).
Definicja. Wielkość
Ć
Var(q�1)
Ć
eff (q�2) =�
Ć
Var(q�2)
Ć
przyjmuje się za miarę efektywności estymatora q�2.
Zauważmy, że
Ć
Var(q�1)
Ć
0 < eff (q�2) =� Ł�1
Ć
Var(q�2)
Oczywistym jest fakt, że równość
Ć
eff (q�2) =�1
Ć
oznacza, iż q�2 jest najefektywniejszy.
Jeżeli estymatory stają się bliskie najefektywniejszym dopiero w
dużych próbach, to znaczy
Ć
lim eff (q�2) =�1,
n��Ą�
nazywa się je asymptotycznie najefektywniejszymi.
13