Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
WYKA
AD 7b
Estymatory c.d. Własności asymptotyczne
�� Estymatory zgodne
�� Estymatory asymptotycznie normalne
�� Metoda delta
�� Własności estymatorów wyznaczanych metodą
największej wiarogodności
1
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
 Próba nieskończona 
�� Badaliśmy własności estymatorów, zdefiniowanych na
próbie losowej X1,..., Xn o skończonym rozmiarze, n<� Ą�
.
�� Rozważmy teraz sytuacje, w której rozmiar próbki może
się dowolnie zwiększać.
�� Pytanie: jak zachowuje się estymator %1ń(X1,K�,Xn)
parametru g(q�) gdy n�� Ą�?
Estymatory zgodne
Definicja 1. Estymator %1ń(X1,K�,Xn ) wielkości g(q�) jest
zgodny, jeśli dla każdego q� ��Q�,
lim Pq�(| %1ń(X1,K�,Xn )-� g(q�) |Ł� e�) =� 1
n��Ą�
dla każdego e�> 0.
Innymi słowy estymator jest zgodny, jeśli zbiega do
estymowanej wielkości według prawdopodobieństwa.
Definicja 2. Estymator %1ń(X1,K�,Xn ) wielkości g(q�) jest
mocno zgodny, jeśli dla każdego q� ��Q�
Pq�( lim %1ń(X1,K�,Xn )=� g(q�)) =� 1
n��Ą�
Innymi słowy estymator jest mocno zgodny, jeśli zbiega do
estymowanego parametru prawie na pewno.
Zatem estymator jest zgodny (mocno zgodny) jeśli przy
powiększaniu rozmiaru próby zbiega - w odpowiednim sensie
 do estymowanego parametru.
2
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
Przypominamy: zbieżność prawie na pewno i zbieżność
według prawdopodobieństwa.
Ciąg zm. losowych {Yn } zbiega do liczby g
a) z prawdopodobieństwem 1 (prawie na pewno), co
Yn �� g
zapisujemy, , jeśli
p.n.
P({w�:Yn (w�) �� g}) =� 1;
b) według prawdopodobieństwa (stochastycznie, według
Yn ��g
miary), co zapisujemy , jeśli
P
lim P({w�:| Yn (w�) -� g |Ł� e�}) =�1 dla każdego e� >� 0.
n
Yn �� g
�� Zbieżność ma miejsce wtedy i tylko wtedy, gdy
p.n.
dla każdego e� >� 0
lim P({w�: supkł�n | Yn (w�) -� g |Ł� e�}) = 1
n��Ą�
MPWL Kołmogorowa. Jeżeli X1,X2,& , Xn ,& są
niezależnymi zm. los. o jednakowym rozkładzie
z wartością oczekiwaną m� , to dla każdego e� >� 0
X1 +�L�+� Xk
lim P(sup | -� m� |Ł� e�) =�1.
n��Ą� kł�n
k
Wniosek. Przyjmując Xk otrzymujemy:
Xk �� m�
p.n.
3
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
Własność ta nazywa się (MPWL) co uzasadnia nazwę
Twierdzenia Kołmogorowa.
Przykład 1. MPWL dla niezależnych zm. los.
zerojedynkowych o jednakowym rozkładzie:
=Xn �� p, gdzie p = P(X1=1),
oznacza, że estymator wyrażający częstość sukcesów w
próbie losowej jest zgodnym estymatorem
prawdopodobieństwa sukcesu w rozkładzie teoretycznym .
Przykład 2. (Inne sformułowanie MPWL). Niech X1,K�,Xn
będzie próbą prostą z rozkładu zm. los. X. O rozkładzie X
zakładamy jedynie, że m� =� E(X) <� Ą�
Niech Xn oznacza średnią z tej n elementowej próby. Mocne
prawo wielkich liczb (MPWL) mówi, że Xn �� m� co oznacza,
p.n.
że średnia jest mocno zgodnym estymatorem wartości
oczekiwanej rozkładu X.
Przykład 3. Często używanymi statystykami są także
momenty z próby wyższych rzędów niż średnia. Niech
X1,K�,Xn będzie próbą prostą z rozkładu zm. los. X.
O rozkładzie X zakładamy jedynie, że mk=E(Xk)<� Ą�, kł� 1.
(k-ty moment rozkładu teoretycznego)
n
1
k
a) Rozważmy Ak = Xi . Na mocy MPWL (zauważmy, że
��
n
i=�1
k
Yi = Xi ; i=1,2,...,n, są niezależne o jednakowym rozkładzie i
że E(Yi) = mk< ) mamy więc także
4
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
n
1
k
Ak = Xi �� mk, przy n��Ą�.
��
n
p.n.
i=�1
Zatem k-ty moment zwykły z próby jest estymatorem mocno
zgodnym k-tego zwykłego momentu rozkładu teoretycznego .
b) Niech m�k =� E(X -�m1)k  k-ty moment centralny rozkładu
X. Rozważmy k-ty moment centralny z próby. Można
wykazać, że zachodzi następująca zbieżność
n
1
Mk = (Xi -� X)k �� m�k
��
n
p.n.
i=�1
Dowód. Można pokazać, że między momentami centralnymi
i zwykłymi z próby (między Mk i Ak) zachodzą takie same
związki jak między momentami centralnymi i zwykłymi z
rozkładu (między m�k i mk).
2 2
Np. M2 = \
2= A2-A1 , m�2 =� m2 -� m1 .
Zatem z a) wynika, że
2 2
M2 = \
2= A2-A1 �� m2 -� m1 =� m�2 =� s�2
p.n
Oznacza to, że M2 = \
2 jest zgodnym estymatorem wariancji
rozkładu teoretycznego zm. los. X. Podobny dowód można
przeprowadzić dla innych momentów.
Komentarz. Zgodność estymatora jest bardzo naturalnym
wymaganiem. Stąd też prawie wszystkie stosowane w
praktyce estymatory są zgodne (nawet mocno zgodne).
(Estymatory niezgodne jednak istnieją. Oto przykład. Niech
X1,& .Xn E(X) = . Niech X1= . Estymator jest nieobciążony ale jeśli
,
5
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
X1 na zbiorze o dodatnim prawdopodobieństwie, to nie jest on zgodny.
Mamy bowiem
lim P({w�: | q�n (w�) -� q� |>� e�}) =� P({w�: | X1(w�) -� q� |>� e�}) >� 0
n��Ą�
dla pewnego
Asymptotyczna efektywność
Miarę efektywności estymatora określaliśmy dla ustalonego
rozmiaru próby losowej.
Miara efektywności estymatora (Przypominamy).
Ć Ć
Niech q�1(X1,...,Xn ) i q�2(X1,...,Xn ) będą dwoma estymatorami tego
Ć
samego parametru q� i niech q�1(X1,...,Xn ) będzie estymatorem
najefektywniejszym (ENMW).
Definicja. Wielkość
Ć
Var(q�1)
Ć
eff (q�2) =�
Ć
Var(q�2)
Ć
przyjmuje się za miarę efektywności estymatora q�2.
Zauważmy, że
Ć
Var(q�1)
Ć
0 < eff (q�2) =� Ł�1
Ć
Var(q�2)
Oczywistym jest fakt, że równość
Ć
eff (q�2) =�1
Ć
oznacza, iż q�2 jest najefektywniejszy.
Ć
�� Miarą asymptotycznej efektywności estymatora q�
parametruq�nazywamy granicę lim eff( (X1,..., Xn )).
n��Ą�
6
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
�� Mówimy, że estymator %1ń jest asymptotycznie
najefektywniejszy jeśli miara asymptotycznej
efektywności tego estymatora wynosi 1.
W dalszym ciągu przy badaniu estymatorów wygodnie będzie
korzystać z następującej własności rozkładu normalnego.
Uwaga. (Przypominamy wiadomości z rachunku
prawdopodobieństwa).
a) O liniowym przekształceniu zm. los. normalnej. Jeżeli X ma
rozkład normalny N(m�,s�), to dla dowolnych liczb a,b (aą� 0) zmienna
Y=aX+b ma rozkład N(am�+b, |a|s�)
b) Jeżeli ciąg zm. losowych Zn �� N(0,s�), to oznacza, że
d
Zn
��N(0,1).
s� d
a
1 x2
Dowód. Zn �� N(0,s�) tzn. P(Zn Ł� a) �� exp(-� )dt
��
s� 2p�
d
2s�2
-�Ą�
a więc
a
Zn a 1 x2
P( Ł� ) �� exp(-� )dx .
��
s� s� s� 2p�
2s�2
-�Ą�
Przez zamianę zmiennych w ostatniej całce, podstawiając
s = (x/ otrzymujemy
a / s�
Zn a 1 s2
P( Ł� ) �� exp(-� )ds.
��
s� s� 2p� 2
-�Ą�
Wobec dowolności a, oznaczając , mamy
z
Zn 1 s2
P( Ł� z) �� exp(-� )ds,
��
s� 2p� 2
-�Ą�
7
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
co oznacza, że
Zn
��N(0,1).
s� d
Estymatory asymptotycznie normalne
Mówimy, że estymator %1ń (X1,L�,Xn ) wielkości g(q�) jest
asymptotycznie normalny, jeśli dla każdego q� ��Q� istnieje
takie s� (q�), że
(*) n(%1ń(X1,K�,Xn ) -� g(q�)) �� N(0,s� (q�)), przy n �� Ą�
d
Zaznaczona zbieżność jest zbieżnością według rozkładu.
Fakt. Własność (*) oznacza , że estymator jest
asymptotycznie normalny jeśli
n
lim Pq�( (%1ń(X1,L�,Xn ) -� g(q�)) Ł� a) =� F�(a), F�(a) jest
n��Ą�
s�(q�)
dystrybuantą rozkładu N(0,1).
Dowód wynika z punktu b)
Wniosek. Mówiąc mniej precyzyjnie oznacza to, że dla
dostatecznie dużych n rozkład statystyki
n
(%1ń(X1,L�,Xn ) -� g(q�)) jest bliski rozkładowi N(0,1). Zatem
s�(q�)
na mocy Uwagi a) rozkład %1ń (X1,L�,Xn) jest bliski
rozkładowi N(g(q�),s�(q�) / n)
8
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
Zwykło się nazywać wielkość s�2(q�) / n) wariancją
asymptotyczną estymatora, chociaż z definicji nie wynika,
że nVarq�%1ń(X1,L�,Xn ) �� s�2(q�).
Przykład. %1ń (X1,L�,Xn )=Xn, g(q�)=q� = E(X), X zmienna o
rozkładzie, z którego pochodzi próba. Z Centralnego
Twierdzenia Granicznego mamy
n(Xn -� q�)��N(0,s�), przy n �� Ą� gdzie s�2(q�) =� Varq� X
d
Zauważmy, że w tym przypadku s�2(q�) / n) jest wariancją
Xn.
Przy badaniu asymptotycznej normalności wygodny jest
następujący lemat zwany Metodą delta.
Lemat. (Metoda delta). Jeżeli dla ciągu zmiennych losowych
Tn mamy n(Tn -� m�)�� N(0,s�) przy n�� Ą� i h:R�� R jest
d
funkcją różniczkowalną w punkcie m� to
ó�
n(h(Tn ) -� h(m�)) �� N(0,s���| h (m�) |)
d
Idea dowodu. Rozwijamy h (wykorzystując wzór Taylora )
wokół m� w następujący sposób
ó�
h(t) =� h(m�) +� h (m�)(t -�m�) +� r(t) , r(t)/(t-m�)�� 0 dla t�� m�
Wstawiamy t =Tn i mnożymy strony równości przez n .
Otrzymujemy
ó�
n (h(Tn ) -� h(m�)) =� h (m�) n(Tn -� m�) +� n r(Tn )
9
Mat. Statystyka. Wykład 7b. R. Rempała Materiały dydaktyczne
Okazuje się , że przy n�� Ą� składnik z resztą można pominąć,
a wykorzystując założenie lematu dostajemy tezę.
Komentarz. Metoda delta pozwala  budować estymatory
asymptotycznie normalne. Wykorzystamy ją przy konstrukcji
asymptotycznych przedziałów ufności.
Własności asymptotyczne estymatorów największej
wiarogodności
Są bardzo dokładne twierdzenia dotyczące estymatorów
otrzymywanych metodą największej wiarogodności. Nie
będziemy ich tutaj szczegółowo przytaczać. Wspomnieć
należy jednak, że w bardzo wielu przypadkach estymatory te
są zgodne, asymptotycznie normalne i asymptotycznie
efektywne.
10