ESTYMACJA
I. Wstęp.
Przykład 0.
Niech zmienna losowa X oznacza wielkość eksportu danej firmy. Przypuśćmy, że
powtarzając obserwacje otrzymano następujące realizacje zmiennej losowej X:
16,0 15,2 16,4 16,0 16,8 [mln USD]
Mając te liczby chcemy dowiedzieć się czegoś o wartości oczekiwanej (średniej)
E(X). Oczywiście nie można odpowiedzieć z całą pewnością, ile naprawdę wynosi E(X).
Musimy zadowolić się odpowiedziami mniej ścisłymi.
Opisane zadanie należy do zakresu tzw. estymacji (używa się też synonimów:
oszacowanie i ocena).
W ogólniejszym sformułowaniu chodzi tu o estymację nieznanego parametru, który
charakteryzuje rozkład pewnej zmiennej losowej.
Rozróżnia się estymację punktową i estymację za pomocą przedziału. W pierwszym
przypadku wynikiem estymacji jest jedna liczba; w przykładzie rozpatrywanym przed chwilą
byłaby to liczba 16,08, lub może 16,4, zależnie od przyjętego kryterium estymacji. W drugim
przypadku wynik wyraża się w postaci przedziału; w rozpatrywanym przykładzie
napisalibyśmy np. że 15,9
≤
E(X)
≤
16,3, dodając jeszcze pewien komentarz, który dotyczy
ufności, jaką darzymy wyznaczanie końców przedziału.
II. Estymacja punktowa.
Rozpatrujemy zmienną losową X i interesujemy się parametrem Q (nieznana liczba
stała) funkcji rozkładu. Pobiera się n – elementową próbkę i rejestruje wynik jej zbadania x
1
,
x
2
, ..., x
n
. Tworzy się funkcję
u(x
1
, x
2
, ..., x
n
)
(1)
tych wartości obserwowanych i uważa, że jest ona realizacją n – wymiarowej zmiennej
losowej
U(X
1
, X
2
, ..., X
n
).
(2)
Statystyka próbki (2) nazywa się estymatorem, a wyrażenie (1) – wartością
estymatora. Estymacją punktową parametru Q jest właśnie wyrażenie (1).
Wartość (1) zależy po pierwsze od przypadku, który dał takie a nie inne wartości x
1
,
x
2
, ..., x
n
, a po drugie od wybory funkcji U.
NA przykład do oszacowania wartości oczekiwanej (średniej) w populacji generalnej
można używać między innymi takich estymatorów:
(
)
,
2
1
,
1
min
max
1
n
n
n
i
X
X
U
X
n
U
+
=
=
∑
gdzie
max
n
X
oznacza zmienną losową, której realizacjami są największe wartości w próbce n –
elementowej; znaczenie
min
n
X
jest analogiczne.
O wyborze takiego lub innego estymatora decydują jego własności. Szczególnie
ważne są dwa kryteria. Oczekiwana wartość E(U) estymatora powinna być równa Q; taki
estymator nazywa się nieobciążonym. Wariancja D
2
(U) estymatora powinna być mała; im jest
mniejsza, tym estymator ma większą efektywność. Nie jest łatwo znaleźć funkcję, która
spełniałaby kryterium nieobciążenia, wysokiej efektywności i ponadto prostoty.
Poszukiwanie estymatorów nieobciążonych nie jest trudne. Jako przykład zauważmy, że przy
dowolnym rozkładzie w populacji macierzystej posiadającej wartość oczekiwaną E(X) = m
wartość oczekiwana średniej w prostej próbce losowej
( )
∑
=
=
n
i
i
X
n
X
1
/
1
jest estymatorem
nieobciążonym parametru m.
2014-04-05
36
Zgodnie z założeniem zmienne losowe X
i
mają ten sam rozkład co X. Stąd
( )
m
X
E
n
X
E
n
i
i
=
=
∑
=
1
1
)
(
Znaczy to, że nieobciążonym estymatorem średniej w populacji jest średnia w próbce
obserwacji.
Nie zawsze jednak funkcja próbki obserwacji jest estymatorem nieobciążonym
analogicznej funkcji populacji macierzystej.
Niech X będzie zmienną losową o rozkładzie dowolnym, posiadającą drugi moment.
Oznaczmy przez
σ
2
wariację zdefiniowaną jako
( )
( )
[
]
2
2
2
X
E
X
E
−
=
σ
(3)
Za estymator parametru
σ
2
przyjmijmy
2
1
1
2
2
0
1
1
−
=
∑
∑
=
=
n
i
i
n
i
i
X
n
X
n
S
(4)
gdzie X
i
są niezależnymi zmiennymi losowymi o tym samym rozkładzie co X. Tak więc
2
0
S
jest wariancją prostej próbki losowej.
( )
( )
( )
[
]
( )
( )
[
]
{
}
2
2
2
2
2
0
1
1
1
X
E
X
E
n
n
X
E
n
n
X
E
n
n
S
E
−
−
=
−
−
−
=
(5)
Porównując (5) z (3) widzimy, że estymator
2
0
S
zdefiniowany przez (4) jest obciążony
ze współczynnikiem obciążenia
n
n 1
−
. Ponieważ
1
1
lim
=
−
∞
→
n
n
n
, mówimy że
2
0
S
jest
estymatorem asymptotycznie nieobciążonym.
Dla małych wartości n obciążenie jest poważne, można je jednak łatwo usunąć.
Mianowicie estymator
(
)
∑
∑
∑
=
=
=
−
−
=
−
−
−
=
−
=
n
i
i
n
i
i
n
i
i
X
X
n
X
n
n
X
n
S
n
n
S
1
2
2
1
1
2
2
0
2
1
1
)
1
(
1
1
1
1
(6) jest nieobciążonym
estymatorem wariancji, pod warunkiem tylko, że ona istnieje.
Należy wyraźnie podkreślić, że nieobciążenie estymatora jest własnością przeciętną,
której skutek objawia się przy wielokrotnym szacowaniu, Jeśli szacuje się tylko jeden raz
nieznaną wariancję
σ
2
, to może zdarzyć się, że przypadkowo lepszy wynik dał wzór (4), niż
(5).
Wracając do nieobciążonego estymatora (5) warto zwrócić uwagę, że praktycy często
interpretują go tak: skoro S
2
jest nieobciążonym estymatorem wariancji
σ
2
, to S jest
nieobciążonym estymatorem odchylenia standardowego
σ
. Wniosek ten jest nieuzasadniony i
zresztą błędny. Co gorsza, nie istnieje żaden estymator odchylenia standardowego, który
byłby nieobciążony przy wszelkim rozkładzie w populacji macierzystej.
Efektywność estymatora.
Jeśli postać rozkładu zmiennej losowej X jest ustalona, a nie są znane wszystkie lub
niektóre parametry tego rozkładu, to dla każdego parametru można wyznaczyć najmniejszą
możliwą wariancję estymatora, nawet nie znając postaci tego estymatora dla rozkładu
zmiennej losowej X : N(m,
σ
).
Najmniejsza możliwa wariancja estymatora wartości oczekiwanej m wynosi
σ
2
/n,
gdzie n jest liczebnością próbki. Najmniejsza możliwa wariancja estymatora wariancji
σ
2
wynosi
σ
2
/2n.
2014-04-05
37
Według propozycji R. A. Fishera efektywnością estymatora nazywa się iloraz e
najmniejszej możliwej wariancji przez wariancję rozpatrywanego estymatora. Tak więc e
≤
1 ; im e jest większe, tym estymator jest efektywniejszy.
Mówimy też, że estymator jest najefektywniejszy, gdy, po pierwsze, jest nieobciążony,
a po drugie ma efektywność e = 1.
Przykład 1.
Niech X
i
będą niezależnymi zmiennymi losowymi o dowolnych lecz jednakowych
rozkładach ze średnią m i odchyleniem średnim
σ
. Wiemy już, że
( )
∑
=
=
n
i
i
X
n
X
1
/
1
jest
nieobciążonym estymatorem średniej m. Ponieważ
(
)
∑
=
=
n
i
i
n
X
X
1
/
, a zmienne losowe X
i
/n
mają wariancję
σ
2
/n
2
, to
( )
(
)
2
2
/
1
σ
n
X
D
=
. Tyle samo wynosi dolny kres wariancji, czyli e =
1. Tak więc X jest najefektywniejszym estymatorem parametru m.
Wracamy teraz do estymatorów odchylenia standardowego w populacji N (m,
σ
).
Rozpatrzmy estymator
(
)
∑
=
∗
−
Γ
−
Γ
=
n
i
i
S
X
X
n
n
1
2
2
2
2
1
σ
(7)
Można udowodnić, że jest on nieobciążony, czyli że
( )
σ
σ
=
∗
S
E
Efektywność estymatora (7) rośnie powoli z liczebnością n próbki. Otrzymuje się
następujący wynik:
n
2
3
4
5
6
8
10
15
∞
e
(14)
0,438
0,609
0,702
0,758
0,796
0,847
0,877
0,917
1
Tak więc
σ
*
S
jest estymatorem asymptotycznie najefektywniejszym.
Skomplikowana postać estymatora (7) skłania od dawna do poszukiwań innych
estymatorów odchylenia średniego w populacji N (m,
σ
).
Bardzo prosty jest estymator oparty na rozstępie. Ma on postać
(
)
min
max
1
1
X
X
d
n
R
−
=
∗
σ
(8)
Przy odpowiednich wartościach d
n
estymator (8) jest nieobciążony. Wartości te można
odczytać w następującej tablicy, w której ponadto podano efektywność e
(15)
:
n
2
3
4
5
6
8
10
15
∞
d
n
1,128
1,692
2,059
2,326
2,534
2,847
3,078
3,472
e
(15)
0,438
0,604
0,686
0,725
0,744
0,752
0,746
0,709
0
Porównując estymatory (7) i (8) widać, że pod względem efektywności estymator (8)
jest niewiele gorszy od (7) dla małych liczności próbek (np. n
≤
6) ; do większych estymator
(8) nie jest stosowany.
Znane są też estymatory odchylenia standardowego w populacji normalnej mające
prostą budowę i niezłą efektywność.
2014-04-05
38
KWWS QRWDWHNSOHVW\PDFMDWHRULDLSU]\NODG\"QRWDWND