Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
Wykład 5b
Wstęp do teorii estymacji
·ð Estymatory
·ð Metody wyznaczania estymatorów
·ð PrzykÅ‚ady wyznaczania estymatorów metodÄ…
momentów
·ð Metoda najwiÄ™kszej wiarogodnoÅ›ci (MNW)
i estymatory największej wiarogodności (ENW)
Funkcja wiarogodności
ENW dla parametru w rozkładzie wykładniczym
ENW dla parametru w rozkładzie Poissona
ENW dla parametru w rozkładzie jednostajnym
ENW dla parametrów w rozkładzie normalnym
1
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
Estymatory
·ð Modelem statystycznym nazywamy rodzinÄ™ (Wð, F, Pqð )
qð ÎðQð wraz z ciÄ…giem zmiennych losowych X1,X2,Lð,Xn
określanych obserwacjami.
·ð Spróbujemy wyjaÅ›nić, skÄ…d siÄ™ bierze taka definicja. W
zagadnieniach praktycznych, bardzo często, nie znamy dokładnie
parametru qð. Załóżmy, że możemy jedynie umiejscowić go w
pewnym zbiorze Qð. Mamy zatem do czynienia z rodzinÄ…
(Wð, F, Pqð ) qðÎðQð, gdzie Qðjest zbiorem parametrów.
Nieznany rozkład, który  rządzi zachowaniem obserwacji
(a wiÄ™c i ich rozkÅ‚adem) należy do Pqð, qð ÎðQð. StÄ…d też rozkÅ‚ad
obserwacji będzie także dziedziczył nieznany parametr.
·ð Zauważmy, że próba losowa prosta jest szczególnym przypadkiem
ciągu zm. los. obserwowalnych. Wiemy, że są to zm. los.
niezależne o jednakowym rozkładzie. W dalszym toku wykładu
będziemy zajmowali się tylko takimi obserwacjami.
·ð Na poczÄ…tku bÄ™dziemy zakÅ‚adali, że znamy typ rozkÅ‚adu , z którego
pochodzi próba ale nie znamy pewnych parametrów . Np.
wiadomo, że poszczególne obserwacje pochodzą z rozkładu
wykładniczego , , ale nie jest dokładnie znane.
·ð Te poczÄ…tkowe rozważania  zwiÄ…zane z przybliżaniem
parametrów rozkładu  nazywają się estymacją parametryczną.
·ð Estymatorem nieznanego parametru qð nazywamy dowolnÄ…
statystykÄ™ T (X1,X2,Lð,Xn) o wartoÅ›ciach w zbiorze Qð, jeÅ›li
interpretujemy statystykę T jako przybliżenie nieznanego parametru.
(Np. średnia arytmetyczna z próby traktowana jako estymator
wartości oczekiwanej rozkładu, z którego pochodzi próba).
2
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
·ð Oznaczenia. Statystycy przyjÄ™li niepisanÄ… umowÄ™. Estymator T,
Ć
który przybliża wartość qð przyjÄ™to oznaczać qð np. estymator
Ć
odchylenia standardowego oznacza siÄ™ sð .
·ð Estymacja punktowa nieznanego parametru qð polega na
wyznaczeniu wartości estymatora tego parametru na podstawie
próbki i przyjmowaniu tej wartości za oszacowanie parametru.
·ð Uwaga. W pewnych przypadkach estymuje siÄ™ nie konkretny
parametr, ale pewną jego funkcję określoną na przestrzeni
parametrów. Wtedy estymator otrzymuje nazwę tej funkcji
opatrzonÄ… daszkiem np. %1Å„( X1,X2,Lð,Xn) jest estymatorem g(qð)
·ð W estymacji parametrycznej parametr qð może być także wektorem.
(np. estymujemy jednocześnie ( ,
·ð RodzÄ… siÄ™ pytania: a) Jak budować estymatory?
b) Jak oceniać jakość estymatora?
Popularne metody to: metoda momentów (MM), metoda największej
wiarogodności (MNW) i metoda najmniejszych kwadratów (MNK).
Zajmujemy się na początku budowaniem estymatorów. Rozważamy
metodę momentów i MNW.
Metody otrzymywania estymatorów.
Przykład. Producent bada jakość swojej zautomatyzowanej
produkcji. Niech qð oznacza prawdopodobieÅ„stwo pojawiania siÄ™
sztuki wybrakowanej, (1-qð) natomiast prawdopodobieÅ„stwo sztuki
bez wad. Producent chce ocenić qð. NarzucajÄ…cym siÄ™ estymatorem
jest częstość braków w próbie losowej:
Ć
qð(X1,X2,Lð,Xn)= Xn =ð K / n gdzie K jest liczbÄ…
wadliwych elementów w n-elementowej próbie losowej.
3
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
Metoda momentów (MM)
Metodę tę wprowadził Karl Pearson (1857-1936; brytyjski
matematyk).
·ð Polega ona na oszacowaniu nieznanych momentów rozkÅ‚adu za
pomocą momentów z prób (empirycznych). Wychodzi się z
założenia, że naturalnym estymatorem momentu rzędu p
rozkładu teoretycznego jest p-ty moment z próby.
n
1
k
Przypominamy: Ak = Xi - k-ty moment zwykły z próby
åð
n
i=ð1
n
k
1
mk = (Xi -ð X) - k-ty moment centralny z próby
åð
n
i=ð1
Momenty z próby są odpowiednikami momentów zwykłych i
centralnych z rozkładu.
ak = E(Xk) - k-ty moment zwykły z rozkładu,
mðk = E(X-E(X))k - k-ty moment centralny z rozkÅ‚adu.
Metoda. Algorytm otrzymywania estymatorów polega na
przyrównaniu momentów rozkładu teoretycznego do odpowiednich
momentów z próby (empirycznych). Układamy tyle równań, ile jest
estymowanych parametrów.
Przykład. Próba pochodzi z rozkładu normalnego N( .
Nieznane są parametry: wartość oczekiwana odch. standardowe
4
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
Wiadomo, że zmienna o rozkładzie teoretycznym ma następujące
momenty:
E(X)= E( . ( Przypominamy: Var (X) = E(X2)-
(E(X))2 ).
MM polega na zastÄ…pieniu:
·ð lewych stron równaÅ„ przez momenty próbkowe,
·ð nieznanych parametrów po prawej stronie równaÅ„ ich
estymatorami.
Mamy więc następujące  równania estymacyjne
n
2
X = , (1/n) Xi =
åð
i=ð1
W rezultacie otrzymujemy estymatory
n n
2
X , = Xi X = (Xi X
åð åð
i=ð1 i=ð1
Ogólnie konstrukcja estymatorów
Niech X1,X2,Lð,Xn , f-funkcja gÄ™stoÅ›ci rozkÅ‚adu
teoretycznego . Niech oznacza nieznany wektor
parametrów należący do Qð. Załóżmy, że rozkÅ‚ad teoretyczny
posiada k-momentów zwykłych i momenty te wyrażają się
równościami:
E( ) = , p = 1,2,& ,k.
Estymatorami MM nazywamy rozwiązania układu równań:
n
p
(1/n) Xi =ðhp ( p 1 2 (*)
åð
i=ð1
Niekiedy w metodzie MM opieramy siÄ™ na momentach
centralnych. Wtedy równania na estymatory jest postaci
n
(1/n) (Xi -ð X)p =ð p ( p 1 2
åð
i=ð1
5
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
PrzykÅ‚ad. RozkÅ‚ad teoretyczny: Gamma (að,p). Estymujemy oba
parametry. Przyjmujemy: að,p). Przypominamy
Równania rozkładu teoretycznego:
E(X) = p / að , VarX =ð (p / að2)
Zatem równania MM mają postać
Ć Ć Ć Ć
p / að = X , p / að2 =ð \
2. (**)
Ć Ć
WyznaczajÄ…c z tych równoÅ›ci að i p , jako funkcje X i \
2,
otrzymujemy estymatory:
Ć Ć
að =ð X /\
2, p =ð X2 / \
2.
Metoda największej wiarogodności
Idea metody. Wybieramy taki parametr rozkładu
teoretycznego, dla którego wyniki doświadczenia losowego są
najbardziej prawdopodobne.
·ð Niech f(qð;x1, x2,..., xn) oznacza Å‚Ä…cznÄ… gÄ™stość obserwacji
pochodzÄ…cych z rozkÅ‚adu o nieznanym parametrze qðÎðQð
(lub łączną funkcję prawdopodobieństwa przy zm.los.
dyskretnych.
W przypadku próby losowej prostej jest to iloczyn gęstości
(iloczyn odpowiednich prawdopodobieństw) poszczególnych
zmiennych.
Definicja.WiarogodnoÅ›ciÄ… (oznaczanÄ… L(qð)) nazywamy
funkcję gęstości (prawdopodobieństwa) łącznego rozkładu
obserwacji traktowanÄ… jako funkcja parametru qð.
6
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
Zatem dla ustalonych wartości obserwacji
L(qð) =ðf(qð,x1, x2,...,xn).
Ć Ć
Definicja. Statystyka qð =ð qð(X1,X2,Lð,Xn) jest estymatorem
najwiÄ™kszej wiarogodnoÅ›ci (ENW) parametru qð
Ć
(qð =ð ENW(qð)) jeÅ›li
Ć
f (qð(x1, x2,..., xn ); x1, x2,..., xn ) =ð sup f (qð;x1, x2,..., xn ), (*)
qðÎðQð
dla realizacji próby losowej: x1, x2,..., xn
Ć
Skrócony zapis (*): L(qð) =ð supL(qð)
qðÎðQð
·ð PrzykÅ‚ad 1. Obserwacje sÄ… próbÄ… prostÄ… pochodzÄ…cÄ…
z rozkÅ‚adu wykÅ‚adniczego: f(x) = lðe-ðlðx
. Przyjmujemy
L(qð) =ðf(qð,x1, x2,...,xn)=qðne-ðqðåð xi
Niech l(qð) =ð ln L(qð) =ð n ln qð -ð qð xi
åð
Analizujemy pochodną funkcji l( . Z przyrównania
pochodnej do zera otrzymujemy
n
óð
l (qð) =ð -ð xi =ð 0, zatem biorÄ…c pod uwagÄ™ fakt, że
åð
qð
n
óðóð
l (qð) =ð -ð <ð 0 mamy nastÄ™pujÄ…cÄ… wartość argumentu
qð2
n 1
Ć
maksymalizujÄ…cÄ… L(qð) : qð(x1,..., xn ) =ð =ð dla każdej
xi x
åð
realizacji próby losowej.
Wniosek. ENW(qð) =ð1/ X
7
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
·ð PrzykÅ‚ad 2. Okazuje siÄ™, że w przypadku, kiedy próba
pochodzi z rozkÅ‚adu N(mð,sð) z sð >ð 0, otrzymujemy
ENW(mð) i ENW(sð2) sÄ… odpowiednio X i \
2.
·ð PrzykÅ‚ad 3. Próba pochodzi z rozkÅ‚adu Poissona:
lðx
f(x)=e-ðlð , x =ð 0,1,2... lð >ð 0.
x!
(x1+ðx2 +ð...xn)
qð
L(qð) =ðf(qð,x1, x2,...,xn)=e-ðqðn
x1!...xn!
Zatem
l(qð) =ð ln L(qð) =ð -ðnqð +ð ln( qð) xi -ð ln(xi!)
åð åð
1
1
óð
l (qð) =ð -ðn +ð xi =ð 0 dla qð =ð åð xi =ð x
åð
qð
n
Badając pod uwagę zmianę znaków pochodnej w otoczeniu
x (tutaj też druga pochodna jest ujemna) otrzymujemy :
arg max L(qð) = x. Zatem ENW(qð)= X
.
PrzykÅ‚ad 4. Próba pochodzi z rozkÅ‚adu jednostajnego U(0,qð),
1
qð >ð 0. f (x) =ð dla xÎð[0,qð] w przeciwnym przypadku f(x) = 0.
qð
1
ìð
dla qð Å‚ð max( x1, x2,..., xn )
ïð
L(qð) =ð
íðqðn
ïð0 w przeciwnym przypadku
îð
ENW(qð) =ð max( X1,.....,Xn).
8