Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
1
Estymacja parametrów
rozkładów zmiennej losowej
1. Wprowadzenie
oraz podstawowe pojęcia
W statystyce matematycznej zakłada się, że populacja generalna nie jest dostępna, a jedy-
nym empirycznym (doświadczalnym) źródłem informacji o tej populacji jest próbka losowa.
Próbkę uzyskuje się poprzez losowanie jej elementów z populacji generalnej, lub przeprowa-
dza się doświadczenia. Przeprowadzenie doświadczenia w celu uzyskania próbki losowej na-
leży rozumieć, że niekiedy zamiast losować elementy (np. jakieś wyprodukowane detale) z
populacji,
które trafiają do próbki, wykonuje się je w tych samych warunkach co pozostałe
elementy. Tak uzyskane n
elementów traktuje się jako n-elementową próbę losową.
Jeśli interesuje nas jakaś cecha X populacji generalnej, to na podstawie dostępnych wyni-
ków, uzyskanych z próbki losowej
ze względu na tą samą cechę X, będziemy starali się wy-
ciągnąć wnioski dotyczące badanej cechy w całej populacji.
Do najważniejszych form wnioskowanie statystycznego zalicza się estymację (ocenę) nie-
znanych pa
rametrów lub ich funkcji, które charakteryzują rozkład badanej cechy populacji
oraz
weryfikację (badanie prawdziwości)
I
Wyobraźmy sobie, że mamy populację generalną Z składającą się z N elementów. Przy-
kładowo niech N = 15 a Z = {a
1
, a
2
, ..., a
15
}. Elementy zbioru
Z są tego samego typu (np.
odlewy głowic silnikowych) i posiadają jakieś interesujące nas cechy mierzalne (masa, obję-
tość, gęstość itp.). Wybierzmy sobie jakąś cechę populacji np. masę i oznaczmy ją przez X.
Wylosujmy ze zbioru
Z dwie n-elementowe próby proste
postawionych hipotez statystycznych.
Estymację
dzieli się na punktową oraz przedziałową. Określenie „punktowa” oznacza, że efektem postę-
powania estymacyjnego jest jedna liczba, a więc jeden punkt na osi liczb rzeczywistych. W
przypadku estymacji przedziałowej produktem szacowania jest pewien przedział na osi liczb
rzeczywistych (tzw. przedział ufności), który z określonym prawdopodobieństwem pokrywa
nieznaną wartość parametru.
II
. Niech liczność próbki wynosi
n = 3.
Załóżmy, że wylosowaliśmy próbki zawierające następujące elementy: {a
1
, a
4
, a
15
}
oraz { a
7
, a
8
, a
13
}, a
oznaczając ich masy: {x
1
, x
4
, x
15
} oraz { x
7
, x
8
, x
13
}. W ogólnym przy-
padku obie próbki będą różnić się od siebie
III
Dowolną funkcję g(X
1
,..., X
n
), której dziedziną będą wartości z próby losowej, nazywać
będziemy statystyką. Nietrudno jest podać jakąś statystykę. Jest nią np. średnia arytmetyczna,
mediana, wariancja, odchylenie standardowe itp.
. Dlatego, w sposób bardziej ogólny, będziemy
traktować ciąg liczbowy x
1
,...,x
n
jako realizację ciągu X
1
,..,X
n
, gdzie X
i
, i = 1,...,n
jest zmienną
losową, której zbiorem możliwych wartości są wartości i-tego spośród n wylosowanych ele-
mentów. W naszym przypadku próbka losowa
będzie wyglądać {X
1
{x
1
albo x
7
}, X
2
{x
4
albo
x
8
}, X
3
{x
15
albo x
13
}}. Każda ze zmiennych losowych X
i
może przyjąć którąś z wartości popu-
lacji generalnej, dlatego
zapisywać będziemy to jako {X
1
,..., X
n
}.
2. Estymatory i ich podstawowe
właściwości
Oznaczmy sobie szacowany parametr symbolem Q.
Może nim być np. parametr p w roz-
kładzie dwumianowym, wartość oczekiwana (μ) albo wariancja (σ
2
) zmiennej losowej o roz-
kładzie normalnym, parametr λ w rozkładzie Poissona itd. Estymator parametru Q oznaczać
będziemy symbolem
n
Qˆ
. Tym samym symbolem będziemy również oznaczać ocenę (osza-
I
Weryfikacja hipotez statystycznych będzie tematem następnego konspektu.
II
Losowanie dokonujemy ze zwrotem, tzn. po wylosowaniu pierwszego elementu a
i
zwracamy go do zbioru Z.
III
Oczywiście może zdarzyć się, że wylosujemy dwie identyczne próbki. Jednak dla dużej zbiorowości generalnej
i małej liczności próbki losowej, szansa takiego zdarzenia jest stosunkowo mała.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
2
cowanie) parametru Q. Estymatorem
n
Qˆ
może być każda charakterystyka z próby losowej,
której rozkład zależy od parametru Q. Nie wszystkie statystyki spełniające ten warunek mają
odpowiednie właściwości operacyjne. Dobry estymator powinien – przede wszystkim – speł-
niać trzy warunki: być nieobciążonym, zgodnym i efektywnym.
Mówimy, że estymator
n
Qˆ
jest
nieobciążony, jeśli jego wartość oczekiwana jest równa
szacowanemu parametrowi Q, czyli
Q
Q
E
n
=
)
ˆ
(
(1).
Estymatory, które nie mają własności (1), są estymatorami obciążonymi. Generują one ob-
ciążenie oszacowania. Wielkość tego obciążenia wynika z różnicy
Q
Q
E
n
n
−
=
δ
)
ˆ
(
(2).
Estymator może być asymptotycznie nieobciążonym jeśli wielkość obciążenia (δ
n
), przy
wzroście liczności próby, dąży do zera
0
lim
=
δ
∞
→
n
n
(3).
Zwiększając liczność (n) próby losowej można zmniejszyć błąd oszacowania (oceny) do
wartości mniejszej od dowolnie małej dodatniej liczby rzeczywistej ε, co zapisuje się w na-
stępujący sposób
(
)
1
|
ˆ
|
lim
=
ε
<
−
∞
→
Q
Q
P
n
n
(4).
Estymator posiadający własność (4) będziemy nazywać zgodnym.
Miarą efektywności estymatora jest jego wariancja
)
ˆ
(
2
n
Q
D
. Estymatorem najbardziej
efektywnym jest estymator o najmniejszej wariancji. Do oceny efektywności estymatora wy-
korzystuje się następującą charakterystykę
)
ˆ
(
)
ˆ
(
)
ˆ
(
2
*
2
n
n
n
Q
D
Q
D
Q
e
=
(5),
gdzie
n
Qˆ
jest estymatorem ocenianym, natomiast
*
ˆ
n
Q
oznacza estymator najbardziej efektyw-
ny
IV
Estymator
.
n
Qˆ
posiadający właściwość polegającą na tym, że
1
)
ˆ
(
lim
=
∞
→
n
n
Q
e
(6)
jest estymatorem asymptotycznie najefektywniejszym.
3.
Przegląd podstawowych estymatorów punktowych
Omówienie metod wyznaczania estymatorów będzie pominięte. Należy jedynie pamiętać,
że istnieją trzy podstawowe metody: metoda momentów, metoda najmniejszych kwadratów
oraz, najczęściej stosowana, metoda największej wiarygodności.
W konspekcie nr 3 przedstawione zostały wybrane rozkłady zmiennych losowych, mia-
nowicie: r
ozkład dwumianowy, rozkład Poissona oraz rozkład normalny. W dalszej części
IV
Litera e występująca w równaniu (5) nie oznacza tam podstawy logarytmu naturalnego.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
3
zostaną przedstawione estymatory służące do szacowani parametrów występujących w tych
rozkładach.
Jeśli na podstawie próbki losowej (X
1
,..., X
n
)
o liczności n chcemy oszacować parametr p
w rozkładzie dwumianowym to wykorzystuje się estymator
n
pˆ
dany równaniem
∑
=
=
n
i
i
n
X
n
p
1
1
ˆ
(7).
Dla parametru
λ
z rozkładu Poissona stosujemy estymator
n
λˆ
∑
=
=
λ
n
i
i
n
X
n
1
1
ˆ
(8).
W rozkładzie normalnym wartość oczekiwana μ szacowana jest przy pomocy następują-
cego estymatora
n
µˆ
∑
=
=
µ
n
i
i
n
X
n
1
1
ˆ
(9).
Jak nietrudno zauważyć wszystkie estymatory (7) – (9) mają charakter średniej arytme-
tycznej (dalej oznacza
ć będziemy ją przez X ) z próby losowej. Są one również zgodne, nie-
obciążone oraz najefektywniejsze. Średnia arytmetyczna z próby losowej jest podstawowym
estymatorem wartości oczekiwanej E(X), niezależnie od tego, jaki rozkład ma obserwowana
zmienna losowa X
. Można też używać innych estymatorów. Przykładowo dla szacowania
wartości oczekiwanej w rozkładzie normalnym stosuje się niekiedy medianę z próby m
e
.
Efektywność takiego estymatora, przy spełnieniu pewnych warunków przez próbkę losową,
wynosi około 64% efektywności średniej arytmetycznej (9).
Dla oszacowania wariancji D
2
(X) zmiennej losowej
dowolnego rozkładu, stosuje się trzy
podstawowe statystyki (estymatory) oznaczane symbolami
V
2
0
S
, S
2
, S
*2
.
Jeśli zmienne losowe X
1
, ...,X
n
są niezależne, o jednakowym rozkładzie o znanej wartości
średniej μ (wartości oczekiwanej) i nieznanej wariancji, to
(
)
∑
=
µ
−
=
n
i
i
X
n
S
1
2
2
0
1
(10)
jest zgodnym,
nieobciążonym i najefektywniejszym estymatorem wariancji D
2
(X). Zastoso-
wanie tego estymatora jest jednak ograniczone do tych –
raczej nieczęstych – przypadków,
gdy znana jest wartość średnia (oczekiwana) obserwowanej zmiennej losowej. Zastępując
wartość oczekiwaną jej oszacowaniem ( X ) uzyskujemy estymatory
(
)
∑
=
−
=
n
i
i
X
X
n
S
1
2
2
1
(11)
oraz
(
)
∑
=
−
−
=
n
i
i
X
X
n
S
1
2
2
*
1
1
(12).
V
Trzymając się ściśle oznaczeń powinniśmy estymator wariancji oznaczyć jako
( )
X
D
n
2
ˆ
. Pominiemy to i bę-
dziemy stosować oznaczenia, które najczęściej spotyka się w podręcznikach.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
4
Statystyka S
2
jest zgodnym i asymptotycznie nieobciążonym estymatorem wariancji w
zbiorowości generalnej. Oznacza to, że systematyczny błąd oceny (oszacowania) parametru
maleje ze wzrostem liczno
ści (n) próbki. W przypadku małych próbek zgodnym, nieobciążo-
nym i najefektywniejszym estymatorem wariancji jest statystyka S
*2
.
Odchylenie standardowe z próby jest dodatnim pierwiastkiem kwadratowym z wariancji.
Istnieją więc trzy charakterystyki (estymatory) do szacowania odchylenia standardowego po-
pulacji na podstawie próby losowej. Cha
rakterystyki te oznaczać będziemy przez S
0
, S, S
*
.
Wartość tych charakterystyk wyznacza się biorąc dodatni pierwiastek kwadratowy z wartości
2
0
S
, S
2
, S
*2
, ob
liczonych według równań (10)–(12). Pomimo tego, że statystyki
2
0
S
i S
*2
są
nieobciążonymi estymatorami wariancji, to jednak zarówno S
0
jak i S
*
są tylko asymptotycz-
nie ni
eobciążonymi estymatorami odchylenia standardowego w populacji generalnej. W
przypadku zmiennej losowej X
, która podlega rozkładowi normalnemu, obciążenie to można
usunąć. Nieobciążonymi estymatorami odchylenia standardowego D(X) (σ) są statystyki
0
S i
*
S
dane wzorami
r
c
S
S
⋅
=
0
0
(13),
r
c
S
S
⋅
=
*
*
(14),
gdzie
2
2
1
2
+
Γ
Γ
=
r
r
r
c
r
(15).
We wzorze (13) r = n, natomiast w (14) r = n – 1.
Wartość funkcji gamma Γ wylicza się
następująco
≥
π
⋅
⋅
−
⋅
−
≥
−
=
Γ
3
,
ą
nieparzyst
liczb
ą
jest
gdy
...
2
4
2
2
2
,
parzyst
ą
liczb
ą
jest
gdy
!
1
2
2
n
r
r
r
n
r
r
r
(16),
≥
−
+
≥
π
⋅
⋅
−
⋅
−
=
+
Γ
1
,
ą
nieparzyst
liczb
ą
jest
gdy
!
1
2
1
2
,
parzyst
ą
liczb
ą
jest
gdy
...
2
3
2
1
2
1
n
r
r
n
r
r
r
r
(17).
Iloczyn
⋅
⋅
−
⋅
−
...
2
4
2
2
r
r
występujący we wzorze (16) rozpisujemy na tyle czynników
aby
odejmując od wartości r, z krokiem 2, wartość licznika osiągnęła 1. W analogiczny spo-
sób postępuje się z iloczynem
⋅
⋅
−
⋅
−
...
2
3
2
1
r
r
występującym w równaniu (17). Przykła-
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
5
dowo dla r = 9 wspomniany iloczyn w (16)
wygląda
−
⋅
−
⋅
−
⋅
−
2
8
9
2
6
9
2
4
9
2
2
9
, a dla
r = 8 iloczyn z (17)
ma postać
−
⋅
−
⋅⋅
−
⋅
−
2
7
8
2
5
8
2
3
8
2
1
8
.
PRZYKŁAD 1. Z populacji generalnej o liczności N = 184 pobrano losową próbę prostą o n = 5 elementów.
Próbka ta wygląda następująco {51.03; 48.68; 49.85; 48.79; 47.92}. Wiadomo, że badana cecha X w populacji
podlega rozkładowi normalnemu. Oszacować następujące parametry w populacji generalnej: wartość oczekiwa-
ną, wariancję oraz odchylenie standardowe.
Aby oszacować wartość oczekiwaną tego rozkładu, stosujemy estymator
n
µˆ
dany równaniem (9), który jest
równy średniej arytmetycznej z próby losowej. Podstawiając do równania otrzymujemy
25
.
49
5
1
ˆ
5
1
5
=
=
=
µ
∑
=
i
i
X
X
.
Ponieważ nie znamy wartości oczekiwanej μ z całej populacji oraz próbka jest mała (n = 5), to w celu wyli-
czenia przybliżonej wartości wariancji należy zastosować wzór (12). Podstawiając do niego dane mamy
(
)
46
.
1
25
.
49
1
5
1
5
1
2
2
*
=
−
−
=
∑
=
i
i
X
S
.
Ten sam wynik można uzyskać korzystając z funkcji Excela o nazwie WARIANCJA.
W celu oszacowania odchylenia standardowego
postępujemy następująco. Wyliczamy najpierw wartość S
*
jako dodatni pierwiastek kwadratowy z wariancji
21
.
1
46
.
1
2
*
*
=
=
= S
S
.
Taki sam wynik można uzyskać stosując funkcję Excela o nazwie ODCH.STANDARDOWE. Należy jednak
pamiętać, że funkcja ta zwraca wartość estymatora obciążonego, który jest też asymptotycznie nieobciążony.
Dlatego w dalszej kolejności estymator ten należy odciążyć, stosując równanie (14).
Liczymy współczynnik c
r
. W równaniu (14) r = n –
1, a więc r = 4. Podstawiając równania (16) i (17) do
(15) oraz r = 4 otrzymujemy
0638
.
1
2
2
3
4
2
1
4
4
!
1
2
4
2
2
1
4
4
2
4
4
≈
⋅
π
⋅
−
⋅
−
⋅
−
=
+
Γ
Γ
=
c
.
Ostatecznie nieobciążony estymator odchylenia standardowego w populacji wynosi
29
.
1
0638
.
1
21
.
1
*
*
≈
⋅
=
⋅
=
r
c
S
S
.
4.
Wybrane zagadnienia z estymacji przedziałowej
Stosowanie estymacji punktowej
nie daje odpowiedzi na pytanie z jaką dokładnością dany
estymator został wyznaczony. Innym sposobem estymacji, pozwalającym ocenić tą dokład-
ność, jest estymacja przedziałowa. Polega ona na podaniu tzw. przedziałów ufności dla nie-
znanych parametrów danego
rozkładu.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
6
Przedziałem ufności dla parametru Q na poziome ufności 1 – α (0 < α < 1) nazywamy
przedział (Z
d
, Z
g
)spełniający następujące warunki
−
jego końce Z
d
= g
1
(X
1
,..., X
n
), Z
g
= g
2
(X
1
,..., X
n
) są funkcjami g
1
i g
2
próbki losowej i
nie zależą od szacowanego parametru Q,
−
prawdopodobieństwo pokrycia przez ten przedział nieznanego parametru Q jest równe
1 –
α, tzn.
(
)
α
−
=
<
<
1
P
g
d
Z
Q
Z
(18).
Liczbę α nazywać będziemy poziomem istotności. Wartość α zazwyczaj wybiera się w
granicach (0, 0.1].
W dalszej części konspektu zostaną podane wzory na konstrukcje przedziałów ufności dla
wartości oczekiwanej (wartości średniej μ) i wariancji zmiennej losowej o rozkładzie normal-
nym.
Jeśli nie jest znane odchylenie standardowe D(X) z populacji, to przedział ufności dla war-
tości średniej konstruuje się w oparciu o rozkład Studenta. Zmienna losowa o rozkładzie stu-
denta dane jest w postaci
n
S
X
T
*
µ
−
=
(19),
o
ν = n – 1 stopniach swobody. Granice przedziału ufności dla tego przypadku wyglądają na-
stępująco
n
S
t
X
Z
n
S
t
X
Z
g
d
*
2
,
*
2
,
oraz
α
ν
α
ν
+
=
−
=
(20),
a prawdopodobieństwo tego, że pokryje on nieznaną wartość średnią, zgodnie z (18) wynosi
α
−
=
+
<
µ
<
−
α
ν
α
ν
1
P
*
2
,
*
2
,
n
S
t
X
n
S
t
X
(21).
Zmienna t
ν,α/2
oznacza kwantyl
VI
PRZYKŁAD 1. Dokonano n = 7 pomiarów masy (kg) pewnych jednakowych detali odlewanych i obliczono
średnią
rzędu 1 – α/2 dla rozkładu Studenta z ν = n – 1 stopniami
swobody.
Kwantyl taki można odczytać z tablic statystycznych lub obliczyć go za pomocą
funkcji Excela o nazwie
ROZKŁAD.T.ODW
o następującej składni: Prawdopodobieństwo = α
(nie trzeba dzielić α przez 2); stopnie_swobody = ν.
21
.
10
=
X
oraz
obliczono wariancję S
2*
= 0.56
. Przyjmijmy, że zaobserwowane wyniki pomiarów
możemy traktować jako próbę prostą z rozkładu normalnego o nieznanej wartości średniej oraz nieznanej wa-
riancji. Należy podać 95-procentowy przedział ufności dla wartości średniej μ.
Granice przedziału obliczamy korzystając z równania (20), pamiętając, że
2
*
*
S
S
=
. Korzystaj
ąc z funk-
cji Excela obliczmy war
tość t
ν,α/2
=
ROZKŁAD.T.ODW(
α = 0.05; ν = 6) ≈ 2.4469. Ostatecznie dostajemy granice:
Z
d
= 9.52 oraz Z
g
= 10.90.
Podobnie jak dla warto
ści średniej, możemy też skonstruować przedział ufności dla wa-
riancji (
σ
2
) rozk
ładu normalnego. Granice takiego przedziału wyglądają następująco
VI
Kwantyl danego rozkładu jest to funkcja odwrotna do dystrybuanty tego samego rozkładu.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
7
2
2
,
2
*
2
2
1
,
2
*
oraz
α
ν
α
−
ν
χ
ν
=
χ
ν
=
S
Z
S
Z
g
d
(22),
gdzie
2
2
,
α
ν
χ
i
2
2
1
,
α
−
ν
χ
jest odpowiednio kwantylem dolnym i górnym rozk
ładu chi-kwadrat
o
ν = n – 1 stopniach swobody. Kwantyle te będziemy obliczać za pomocą Excela.
PRZYKŁAD 2. Za pomocą funkcji Excela wyliczyć kwantyl dolny i górny zmiennej losowej chi-kwadrat o
6 stopniach swobody i poziomie istotno
ści 0.1.
Korzystamy z funkcji o nazwie
ROZKŁAD.CHI.ODW, której sk
ładnia wygląda następująco: Prawdopodo-
bieństwo =
α albo 1 – α/2; Stopnie_swobody = ν. Dolny kwantyl = ROZKŁAD.CHI.ODW(0.1/2; 6) ≈12.5916,
górny kwantyl =
ROZKŁAD.CHI.ODW(1 – 0.1/2; 6)
≈ 1.6353.
Konspekt nr 5 z laboratoriów „Statystyka i rachunek prawdopodobieństwa”
8
LITERATURA
W. Krysicki, J. Bartos, W. Dysza, K. Królikowska, M. Wasilewska: Rachunek prawdopo-
dobieństwa i statystyka matematyczna w zadaniach. Wydawnictwo Naukowe PWN, Warsza-
wa 2005.
A. Iwasiewicz, A. Paszek: Statystyka z elementami statystycznych metod monitorowania
procesów. Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków 2004.
W. Kordecki:
Rachunek prawdopodobieństwa i statystyka matematyczny. Oficyna Wy-
dawnicza GiS, Wrocław 2003.
Document Outline