Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
1
Wykład 5b
Wstęp do teorii estymacji
Estymatory
Metody wyznaczania estymatorów
Przykłady wyznaczania estymatorów metodą
momentów
Metoda największej wiarogodności (MNW)
i estymatory największej wiarogodności (ENW)
Funkcja wiarogodności
ENW dla parametru w rozkładzie wykładniczym
ENW dla parametru w rozkładzie Poissona
ENW dla parametru w rozkładzie jednostajnym
ENW dla parametrów w rozkładzie normalnym
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
2
Estymatory
Modelem statystycznym nazywamy rodzinę (
,
F,
P )
wraz z ciągiem zmiennych losowych
n
2
1
X
,
,
X
,
X
określanych obserwacjami.
Spróbujemy wyjaśnić, skąd się bierze taka definicja. W
zagadnieniach praktycznych, bardzo często, nie znamy dokładnie
parametru
.
Załóżmy, że możemy jedynie umiejscowić go w
pewnym zbiorze
. Mamy zatem do czynienia z rodziną
(
,
F,
P )
, gdzie
jest zbiorem parametrów.
Nieznany rozkład, który „rządzi” zachowaniem obserwacji
(a więc i ich rozkładem) należy do
P ,
. Stąd też rozkład
obserwacji będzie także dziedziczył nieznany parametr.
Zauważmy, że próba losowa prosta jest szczególnym przypadkiem
ciągu zm. los. obserwowalnych. Wiemy, że są to zm. los.
niezależne o jednakowym rozkładzie. W dalszym toku wykładu
będziemy zajmowali się tylko takimi obserwacjami.
Na początku będziemy zakładali, że znamy typ rozkładu , z którego
pochodzi próba ale nie znamy pewnych parametrów . Np.
wiadomo, że poszczególne obserwacje pochodzą z rozkładu
wykładniczego
,
, ale nie jest dokładnie znane.
Te początkowe rozważania – związane z przybliżaniem
parametrów rozkładu – nazywają się estymacją parametryczną.
Estymatorem nieznanego parametru
nazywamy dowolną
statystykę T (
n
2
1
X
,
,
X
,
X
) o wartościach w zbiorze
, jeśli
interpretujemy statystykę T jako przybliżenie nieznanego parametru.
(Np. średnia arytmetyczna z próby traktowana jako estymator
wartości oczekiwanej rozkładu, z którego pochodzi próba).
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
3
Oznaczenia. Statystycy przyjęli niepisaną umowę. Estymator T,
który przybliża wartość
przyjęto oznaczać
ˆ
np. estymator
odchylenia standardowego oznacza się
ˆ
.
Estymacja punktowa nieznanego parametru
polega na
wyznaczeniu wartości estymatora tego parametru na podstawie
próbki i przyjmowaniu tej wartości za oszacowanie parametru.
Uwaga. W pewnych przypadkach estymuje się nie konkretny
parametr, ale pewną jego funkcję określoną na przestrzeni
parametrów. Wtedy estymator otrzymuje nazwę tej funkcji
opatrzoną daszkiem np.
(
gˆ
n
2
1
X
,
,
X
,
X
) jest estymatorem g(
)
W estymacji parametrycznej parametr
może być także wektorem.
(np. estymujemy jednocześnie ( ,
Rodzą się pytania: a) Jak budować estymatory?
b) Jak oceniać jakość estymatora?
Popularne metody to: metoda momentów (MM), metoda największej
wiarogodności (MNW) i metoda najmniejszych kwadratów (MNK).
Zajmujemy się na początku budowaniem estymatorów. Rozważamy
metodę momentów i MNW.
Metody otrzymywania estymatorów.
Przykład. Producent bada jakość swojej zautomatyzowanej
produkcji. Niech
oznacza prawdopodobieństwo pojawiania się
sztuki wybrakowanej, (1-
) natomiast prawdopodobieństwo sztuki
bez wad. Producent chce ocenić
. Narzucającym się estymatorem
jest częstość braków w próbie losowej:
ˆ
(
n
2
1
X
,
,
X
,
X
)=
n
/
K
X
n
gdzie K jest liczbą
wadliwych elementów w n-elementowej próbie losowej.
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
4
Metoda momentów (MM)
Metodę tę wprowadził Karl Pearson (1857-1936; brytyjski
matematyk).
Polega ona na oszacowaniu nieznanych momentów rozkładu za
pomocą momentów z prób (empirycznych). Wychodzi się z
założenia, że naturalnym estymatorem momentu rzędu p
rozkładu teoretycznego jest p-ty moment z próby.
Przypominamy:
k
A
=
n
1
i
k
i
X
n
1
-
k-ty moment zwykły z próby
k
m
=
k
)
X
X
(
n
1
n
1
i
i
-
k-ty moment centralny z próby
Momenty z próby są odpowiednikami momentów zwykłych i
centralnych z rozkładu.
a
k
= E(X
k
) - k-ty moment zwykły z rozkładu,
k
= E(X-E(X))
k
- k-ty moment centralny z rozkładu.
Metoda. Algorytm otrzymywania estymatorów polega na
przyrównaniu momentów rozkładu teoretycznego do odpowiednich
momentów z próby (empirycznych). Układamy tyle równań, ile jest
estymowanych parametrów.
Przykład. Próba pochodzi z rozkładu normalnego N(
.
Nieznane są parametry: wartość oczekiwana
odch. standardowe
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
5
Wiadomo, że zmienna o rozkładzie teoretycznym ma następujące
momenty:
E(X)=
E(
. ( Przypominamy: Var (X) = E(X
2
)-
(E(X))
2
).
MM polega na zastąpieniu:
lewych stron równań przez momenty próbkowe,
nieznanych parametrów po prawej stronie równań ich
estymatorami.
Mamy więc następujące „równania estymacyjne”
X
=
, (1/n)
n
1
i
2
i
X
=
W rezultacie otrzymujemy estymatory
X
,
=
n
1
i
2
i
X
X
=
n
1
i
i
X
(
X
Ogólnie konstrukcja estymatorów
Niech
n
2
1
X
,
,
X
,
X
, f-funkcja gęstości rozkładu
teoretycznego . Niech
oznacza nieznany wektor
parametrów należący do
. Załóżmy, że rozkład teoretyczny
posiada k-momentów zwykłych i momenty te wyrażają się
równościami:
E(
) =
, p = 1,2,…,k.
Estymatorami MM nazywamy rozwiązania układu równań:
(1/n)
n
1
i
p
i
X
h
p
(
p 1 2 (*)
Niekiedy w metodzie MM opieramy się na momentach
centralnych. Wtedy równania na estymatory jest postaci
(1/n)
n
1
i
p
i
)
X
X
(
p
(
p 1 2
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
6
Przykład. Rozkład teoretyczny: Gamma (
)
p
,
. Estymujemy oba
parametry. Przyjmujemy:
)
p
,
. Przypominamy
Równania rozkładu teoretycznego:
E(X) =
/
p
,
)
/
p
(
VarX
2
Zatem równania MM mają postać
ˆ
/
pˆ
=
X
,
.
S
ˆ
ˆ
/
pˆ
2
2
(**)
Wyznaczając z tych równości
pˆ
i
ˆ
, jako funkcje
2
S
ˆ
i
X
,
otrzymujemy estymatory:
2
S
ˆ
/
X
ˆ
,
.
S
ˆ
/
X
pˆ
2
2
Metoda największej wiarogodności
Idea metody. Wybieramy taki parametr rozkładu
teoretycznego, dla którego wyniki doświadczenia losowego są
najbardziej prawdopodobne.
Niech f(
)
x
,...,
x
,
x
;
n
2
1
oznacza łączną gęstość obserwacji
pochodzących z rozkładu o nieznanym parametrze
(lub łączną funkcję prawdopodobieństwa przy zm.los.
dyskretnych.
W przypadku próby losowej prostej jest to iloczyn gęstości
(iloczyn odpowiednich prawdopodobieństw) poszczególnych
zmiennych.
Definicja.Wiarogodnością (oznaczaną L(
))
nazywamy
funkcję gęstości (prawdopodobieństwa) łącznego rozkładu
obserwacji traktowaną jako funkcja parametru
.
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
7
Zatem dla ustalonych wartości obserwacji
L(
)
f(
)
x
,...,
x
,
x
,
n
2
1
.
Definicja. Statystyka
)
X
,
,
X
,
X
(
ˆ
ˆ
n
2
1
jest estymatorem
największej wiarogodności (ENW) parametru
))
(
ENW
ˆ
(
jeśli
),
x
,...,
x
,
x
;
(
f
sup
)
x
,...,
x
,
x
);
x
,...,
x
,
x
(
ˆ
(
f
n
2
1
n
2
1
n
2
1
(*)
dla realizacji próby losowej:
n
2
1
x
,...,
x
,
x
Skrócony zapis (*):
)
(
L
sup
)
ˆ
(
L
Przykład 1. Obserwacje są próbą prostą pochodzącą
z rozkładu wykładniczego: f(x) =
x
e
. Przyjmujemy
L(
)
f(
)
x
,...,
x
,
x
,
n
2
1
=
i
x
n
e
Niech l(
i
x
ln
n
)
(
L
ln
)
Analizujemy pochodną funkcji l(
. Z przyrównania
pochodnej do zera otrzymujemy
0
x
n
)
(
l
i
, zatem biorąc pod uwagę fakt, że
0
n
)
(
l
2
mamy następującą wartość argumentu
maksymalizującą L(
:
)
x
1
x
n
)
x
,...,
x
(
ˆ
i
n
1
dla każdej
realizacji próby losowej.
Wniosek. ENW(
X
/
1
)
Mat. Statystyka. Wykłady 5b. R. Rempała. Materiały dydaktyczne
8
Przykład 2. Okazuje się, że w przypadku, kiedy próba
pochodzi z rozkładu N(
)
,
z
0
, otrzymujemy
ENW(
)
i ENW(
2
) są odpowiednio
2
S
ˆ
i
X
.
Przykład 3. Próba pochodzi z rozkładu Poissona:
f(x)=
...
2
,
1
,
0
x
,
!
x
e
x
.
0
L(
)
f(
)
x
,...,
x
,
x
,
n
2
1
=
!
x
!...
x
e
n
1
)
n
x
...
2
x
1
x
(
n
Zatem
l(
)
!
x
ln(
x
)
ln(
n
)
(
L
ln
)
i
i
0
x
1
n
)
(
l
i
dla
x
x
n
1
i
Badając pod uwagę zmianę znaków pochodnej w otoczeniu
x
(tutaj też druga pochodna jest ujemna) otrzymujemy :
arg max
)
(
L
=
x
.
Zatem
ENW(
)
=
X
.
Przykład 4. Próba pochodzi z rozkładu jednostajnego U(0,
)
,
.
0
1
)
x
(
f
dla x
]
,
0
[
w przeciwnym przypadku f(x) = 0.
przypadku
przeciwnym
w
0
)
x
,...,
x
,
x
max(
dla
1
)
(
L
n
2
1
n
ENW(
)
X
,.....,
X
max(
)
n
1
.