Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
WYKA
AD 1
Wprowadzenie do przedmiotu.
Repetytorium z rozkładów statystyk
z próby i metod estymacji.
1
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
Struktura:
1. Harmonogram zajęć, literatura, zespół realizujący zajęcia, warunki
zaliczenia przedmiotu
2. Istota wnioskowania statystycznego  podstawowe pojęcia
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
3.2. Rozkłady dokładne statystyk z próby
3.3. Rozkłady graniczne statystyk z próby
4. Estymatory  własności  metody pozyskiwania
4.1. Podstawowe pojęcia
4.2. Podstawowe własności estymatorów
4.3. Metody pozyskiwania estymatorów
4.4. Przykład wyznaczania estymatora metodą MNW
2
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
1. Harmonogram zajęć, literatura, zespół realizujący zajęcia,
warunki zaliczenia przedmiotu
Prowadzący zajęcia:
dr hab. prof. SGH, Ewa Frątczak
dr Dorota Bartosińska
dr Wioletta Grzenda
dr Aneta Ptak-Chmielewska
dr Zdzisław Piasta
Zajęcia odbywają się w środy:
wykład (W)9.50  11.30 Aula Główna
ćwiczenia (CW)
3
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
1. Harmonogram zajęć, literatura, zespół realizujący zajęcia,
warunki zaliczenia przedmiotu
W
Data Tematyka
CW
07-10-2009 W 1 Wprowadzenie do przedmiotu, repetytorium z rozkładów statystyk z próby i metod estymacji
14-10-2009 W 2 Elementy teorii weryfikacji hipotez statystycznych
21-10-2009 W 3 Wprowadzenie do wielowymiarowej analizy statystycznej, elementy algebry macierzy
28-10-2009 W 4 Wielowymiarowe rozkłady zmiennych losowych
04-11-2009 W 5 Elementy metody reprezentacyjnej
18-11-2009 CW 1 Narzędzia weryfikacji, sprawdzanie własności estymatorów. Wybrane testy parametryczne,
nieparametryczne, metody graficzne weryfikacji.
25-11-2009 CW 2 Wielowymiarowe rozkłady zmiennych losowych cz. I
02-12-2009 CW 3 Wielowymiarowe rozkłady zmiennych losowych cz. II
09-12-2009 CW 4 Metody wielowymiarowej analizy statystycznej cz. I
16-12-2009 CW 5 Metody wielowymiarowej analizy statystycznej cz. II
06-01-2010 CW 6 Metody wielowymiarowej analizy statystycznej cz. III
13-01-2010 CW 7 Elementy metody reprezentacyjnej cz. I
4
20-01-2010 CW 8 Elementy metody reprezentacyjnej cz. II
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
5
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
2. Istota wnioskowania statystycznego  podstawowe pojęcia
populacja
próbka
losowa
Wniosko-
wanie
opis
statystyki
6
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
2. Istota wnioskowania statystycznego  podstawowe pojęcia
Podstawowe pojęcia:
zbiorowość generalna (populacja), próba losowa, narzędzia wnioskowania
Podstawowe znaczenie dla teorii wnioskowania statystycznego (estymacji
i weryfikacji hipotez statystycznych) posiada koncepcja próby losowej
i statystyki z próby.
7
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
2. Istota wnioskowania statystycznego  podstawowe pojęcia
Wyróżnia się dwa podstawowe schematy losowania:
" losowanie bez zwracania: raz wylosowany element nie bierze udziału w
dalszym losowaniu. Jest to losowanie zależne, a otrzymana w ten sposób
próba jest próbą bez powtórzeń
" losowanie ze zwracaniem: raz wylosowany element wraca do populacji
i może ponownie brać udział w losowaniu. Jest to losowanie niezależne,
w wyniku którego otrzymuje się próbę z powtórzeniami.
Z reguły wnioskowanie statystyczne wymaga, aby próba była pobrana
metodą ze zwracaniem tzn. wylosowana w sposób niezależny.
8
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
2. Istota wnioskowania statystycznego  podstawowe pojęcia
Jeśli rozpatruje się zmienną losową, która w populacji generalnej ma rozkład
dany dystrybuantą F(x), to n-elementową próbę losową zapiszemy jako
ciąg n-niezależnych zmiennych losowych (X1, X ,..., X ), z których każda ma
2 n
taki sam rozkład dany dystrybuantą F(x).
Jeśli dokonuje się n-krotnych obserwacji, to otrzymamy konkretną realizację
(x1, x2,..., xn )
x1, x2,..., xn
próby losowej, którą można zapisać jako: gdzie są
wartościami odpowiadającymi poszczególnym elementom próby. W obu
wypadkach używa się pojęcia próba.
Zbiór wszystkich możliwych prób losowych, określa się mianem przestrzeni
próby losowej.
Próba losowa (wyniki próby losowej) jest podstawą do wnioskowania o
parametrach bądz
rozkładzie zmiennej losowej w populacji generalnej.
9
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Narzędziem tego wnioskowania są funkcje zmiennych losowych ,
X1, X ,..., X
2 n
charakteryzujące próbę losową i nazywane statystykami z próby.
Ogólnie zapisywać je będziemy jako:
Zn = f (X1, X ,..., X )
2 n
Statystyką z próby jest np. średnia z próby , wariancja z próby definiowana
2
2
jako sn lub , gdzie: X1 + X + ...+ X
Sn
2 n
X =
n
n
n
2
(Xi - X)
"
=
s2 i=1 n -1
n
n
2
(Xi - X)
"
=
10
S2 i=1 n
n
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Wyróżnia się dwa typy rozkładów: dokładne i graniczne.
DOKA
ADNE ROZKA
ADY STATYSTYK Z PRÓBY - dla ustalonego n należy
określić rozkład statystykiTn = T (X1, X ,..., X ) . Z reguły liczba obserwacji jest
2 n
mała i mówi się o tzw. rozkładach małych prób.
Tn
GRANICZNE ROZKA
ADY STATYSTYK Z PRÓBY  rozkład , gdy
n " (rozkłady asymptotyczne)
11
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Zmienna losowa ciągła X ma rozkład normalny, jeśli jej funkcja gęstości
określona jest wzorem postaci :
2
�# ś#
1 (x - m)
ź#
f (x) = expś#-
- " < x < +"
2
, ,
ś# ź#
2�
� 2Ą
�# #
gdzie m i � są parametrami rozkładu.
m = 0
� = 1
Rozkład normalny ze średnią i odchyleniem standardowym
nazywamy standardowym rozkładem normalnym i oznaczamy .
N(0,1)
.
12
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Wykresy funkcji gęstości rozkładu normalnego i normalnego standaryzowanego
oraz reguła trzech sigm
0,683
0,954
N(m,� )
0,997
� �-� � � �+2� �+3� x
�-3� �-2 �+
0,683
0,954
N(0,1)
0,997
13
-3 -2 -1 0 1 2 3
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
TWIERDZENIA O ROZKA
ADZIE SUMY NIEZALEŻNYCH ZMIENNYCH LOSOWYCH
Twierdzenie 1.
Jeżeli zmienne losowe X1, X ,..., X są niezależne i zmienne losowa X dla i = 1,2,..., n ma rozkład N(mi ,� )
2 n i i
to zmienna losowa Y = X1 + X + ... + X ma rozkład:
2 n
2 2 2
N(mi + m2 + ... + mn , �1 + � + ... + � )
2 n
Jeżeli zmienne losowe X1, X ,..., X są niezależne o takim samym rozkładzie ( X - N(m,� ) dla i = 1,2,..., n )
2 n i
to zmienna losowa Y ma rozkład N(nm,� n).
14
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
TWIERDZENIA O ROZKA
ADZIE SUMY NIEZALEŻNYCH ZMIENNYCH LOSOWYCH
Twierdzenie 2.
Jeżeli zmienne losowe X1, X ,..., X są niezależne i zmienne losowa X dla i = 1,2,..., n ma rozkład N(mi ,� ) to zmienna
2 n i i
n
1
losowa X = X ma rozkład:
" i
n
i=1
1 1
2 2 2
N�# (mi + m2 + ...+ mn), �1 +� + ...+�n ś#
ś# ź#
2
n n
�# #
Jeżeli zmienne losowe X1, X ,..., X są niezależne o takim samym rozkładzie ( X - N(m,� ) dla i = 1,2,..., n ) to zmienna
2 n i
n
1 �# � ś#
losowa X = X ma rozkład Nś#m, ź# .
" i
ś# ź#
n
n
i=1 �# #
15
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
2
�
Rozkładem chi  kwadrat ( ) nazywamy rozkład zmiennej losowej, która jest sumą
kwadratów n niezależnych zmiennych losowych o jednakowym
X , K , X
1 n
N(0,1)
rozkładzie normalnym . n
2 2
� = X
" i
i=1
n x
ż# -1 -
Funkcja gęstości:
1
2 2
x e x > 0
�#
n
�#
n
2
f (x) =
�#
2 ��# ś#
ś# ź#
2
�# �# #
�#
0, x d" 0
�#
� = n
Liczba stopni swobody .
2 2
, .
E(� )= n
D2(� )= 2n
Uwaga
2 2
�1 ,K, �n są niezależnymi
Rozkład chi  kwadrat ma własność addytywności, tzn. jeśli
zmiennymi losowymi o rozkładach chi  kwadrat ze stopniami swobody odpowiednio
n n
�1,K,�
,to zmienna losowa ma rozkład chi  kwadrat o
n �i2
� =
"
"� stopniach
i
swobody. i=1
i=1
16
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Rozkładem t  Studenta nazywamy rozkład zmiennej losowej
X
t = n
Y
N(0,1) � = n
gdzie X ma rozkład ,Y ma rozkład chi  kwadrat z stopniami
swobody oraz zmienne losowe X i Y są niezależne.
Funkcja gęstości:
n +1
ś#
n+1
��# -
ś# ź#
2 t " R
, .
2
�# ś#
2 t
�# #
ś#
f (t) =
ś#1+ n ź#
ź#
n
#
nĄ ��# ś# �#
ś# ź#
2
�# #
� = n
Liczba stopni swobody .
n
D2(t) =
E(t) = 0
n > 2
, n - 2 , .
17
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.1. Pojęcie statystyki z próby i jej rozkładu, wybrane rozkłady
Rozkładem Fishera  Snedecora (F - Snedecora) nazywamy rozkład
zmiennej losowej
2
� n1
n1
F =
2
� n2
,
n2
2 2
� �
gdzie i są niezależnymi zmiennymi losowymi o rozkładach chi-
n1 n2
kwadrat z i stopniami swobody.
n1 n2
Funkcja gęstości:
n1 + n2
ś#
n2 n1+n2
�# ś#
��#
-
ś# ź# ś# ź#
ś# ź#
�# ś#�# 2 # �# n1 -1ś# �# ś#
2 n2 n2 2
�# #
, .
ś# ź# ś# ź# z > 0
f (z) = z�# 2 # ś# z +
n1 n2 ś# ź# n1 ź#
n1
�# #
��# ś#��# ś# �# #
ś# ź# ś# ź#
2 2
�# # �# #
2
n2
2n2 (n1 + n2 - 2)
E(F) =
D2(F) =
n2 > 2 n2 > 4
, , , .
2
n2 - 2
n1(n2 - 2) (n2 - 4)
18
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład średniej arytmetycznej z próby z populacji normalnej
Twierdzenie
Jeśli zmienne losowe są niezależne i o jednakowym rozkładzie
X1,K, X
n
normalnym N(m,� ) , to zmienna losowa
n
1
X = X
" i
n
i=1
ma rozkład normalny ze średnią E(X )= m i odchyleniem standardowym
� .
D(X )=
n
19
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład średniej arytmetycznej z próby z populacji normalnej z
nieznanym odchyleniem standardowym
Twierdzenie
X1,K, X
Jeśli są niezależnymi zmiennymi losowymi o jednakowym
n
rozkładzie normalnym , to statystyka
N(m,� )
X - m
�# X - m ś# ,
t = n
ś#t = n -1ź#
~
ś# ź#
S S
�# #
n
�# ś#
n
n
~ 1 2
1 1 2
ś# ź#
2
S = (X - X )
" i
S = (X - X )
X = X
ś# ź#
" i
gdzie , ,
" i n
i=1
n -1 �# #
i=1
n
i=1
� = n -1
ma rozkład t  Studenta z stopni swobody.
20
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład różnicy średnich arytmetycznych z dwóch prób z populacji
normalnych przy znanych odchyleniach standardowych
N(m2,� )
N(m1,�1)
Niech będą dane dwie populacje o rozkładach normalnych i 2 ,
n1 i n2 elementów.
z których pobiera się próby liczące odpowiednio
�# �# ś#
�1 ś# �
2
ź# ź#
Wiemy, że , a .
X1 ~ Nś#m1, X ~ Nś#m2 ,
2
ś# ś#
n1 ź# n2 ź#
�# # �# #
2 2
2 2
�# ś#
�# ś#
�1 �
�1 �
2
2
ź#
ź#
Wówczas .
X1 - X ~ Nś#m1 - m2, +
X1 - X ~ Nś#m1 - m2, +
2
2
ś#
ś#
n1 n2 ź#
n1 n2 ź#
�# #
�# #
21
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład różnicy średnich arytmetycznych z dwóch prób z populacji
normalnych przy nieznanych (ale jednakowych) odchyleniach
standardowych
(m1,� )
N(m2,� ),
Niech będą dane dwie populacje o rozkładach normalnychN i
n1 n2
z których pobiera się próby liczące odpowiednio i elementów,
2
X1 X S12 S2
następnie wyznaczamy średnie i oraz wariancje i oraz
2
2
średnia ważoną z obu prób .
(n1 -1)S12 + (n2 -1)S2
2
S =
p
n1 + n2 - 2
(X1 - X2)-(m1 - m2)
t =
Wówczas statystyka
�# ś#
1 1
2
ś# ź#
Spś# +
n1 n2 ź#
�# #
� = n1 + n2 - 2
ma rozkład t  Studenta z stopniami swobody.
22
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład wariancji z próby z populacji normalnej
Twierdzenie
Jeśli X1,K, X jest prostą próbą losową z populacji o rozkładzie
n
normalnym, to statystyka
~2 ś#
2
�#
nS
2
(n -1)S
2
ś# ź#
� =
� =
2
ś# ź#
2
�
�# #
�
ma rozkład chi  kwadrat o stopniach swobody.
� = n -1
23
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.2. Rozkłady dokładne statystyk z próby
Rozkład ilorazu wariancji z prób z dwóch populacji normalnych:
Załóżmy, że z dwóch niezależnych populacji o rozkładzie normalnym z
2 2
�1 �
dowolnymi średnimi oraz wariancjami i pobiera się próby liczące
2
n1 n2 elementów.
odpowiednio i
2 2
Wówczas statystyka
S �
1 1
F =
2 2
S �
2 2
� = n2 -1
�1 = n1 -1
ma rozkład F  Snedecora i stopniach swobody.
2
Wartości rozkładu F-Snedecora są tablicowane, podobnie jak i wcześniej
omawiane rozkłady.
24
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.3. Rozkłady graniczne statystyk z próby
Z rozkładów granicznych statystyk z próby korzysta się, kiedy rozkład
populacji nie jest znany.
Wyznaczanie rozkładu granicznego nie wymaga na ogół żadnych założeń
co do postaci rozkładu populacji generalnej, natomiast wymagana jest
duża liczebność próby.
25
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.3. Rozkłady graniczne statystyk z próby
Niech zmienna X ma rozkład dwumianowy z parametrami n i p . W praktyce
X
korzysta się często ze statystyki (będącej częstością
W =
n
sukcesów w n doświadczeniach), która posiada rozkład dwumianowy z
parametrami:
p(1- p)
D(W )=
E(W) = p oraz .
n
X
W =
Z twierdzenia Moivre'a-Laplace'a wynika, że
n
�# ś#
p(1- p)
ma graniczny rozkład normalny .
ź#
Nś# p,
ś# ź#
n
�# #
Czyli, gdy n jest dostatecznie duże, można przyjąć, że W posiada w
26
przybliżeniu rozkład normalny.
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.3. Rozkłady graniczne statystyk z próby
X
X1 2 p1 p2
Jeśli zmienne i mają rozkłady dwumianowe z parametrami i , to
statystyka postaci:
X1 X
2
W1 -W2 = -
n1 n2
przy " i " ma graniczny rozkład normalny ze średnią
n1 n2
E(W1 -W2 ) = p1 - p2
i odchyleniem standardowym
p1(1 - p1) p2(1 - p2 )
D(W1 -W2 ) = +
.
n1 n2
Można wnioskować o tym w oparciu o własność addytywności rozkładu
27
normalnego.
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.3. Rozkłady graniczne statystyk z próby
Niech zmienna X ma dowolny rozkład ze średnią m i odchyleniem
�
standardowym .
Z twierdzenia Lindeberga-Levy'ego wynika, że rozkład średniej z próby
n
1
X = X
"
i
n
i=1
zmierza przy n " do rozkładu normalnego z wartością oczekiwaną m i
�
odchyleniem standardowym ,
n
�
czyli do rozkładu N(m; ) .
n
28
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
3. Statystyki z próby i ich rozkłady
3.3. Rozkłady graniczne statystyk z próby
X
Niech zmienne i mają dowolne rozkłady z parametrami,
X1
2
�1 m2 �
m1 i ,
2
odpowiednio, i .
Różnica średnich z próby X - X
1 2
ma przy n1 " i n2 " graniczny rozkład normalny z
parametrami
2 2
�1 �
2
i ,
m1 - m2 +
n1 n2
2 2
�1 �
2
czyli rozkład .
N(m1 - m2; + )
29
n1 n2
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.1. Podstawowe pojęcia
Estymacja (teoria estymacji) jest podstawowym działem wnioskowania
statystycznego.
Stanowi ona zbiór metod pozwalających na wnioskowanie o postaci rozkładu
populacji generalnej (tzn. o wartości parametrów rozkładu lub o jego
postaci funkcyjnej).
Teoria estymacji wiąże się z nazwiskami: K.Pearsona, R.A. Fishera, J.
Neymana.
30
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.1. Podstawowe pojęcia
Pojęcia, oznaczenia:
� - parametr populacji generalnej, jest wielkością stałą i jednocześnie nieznaną.
Tn - estymator parametru �.
Estymatorem parametru � w populacji generalnej nazywamy statystykę z próby:
Tn
Tn = t(X1, X ,..., X )
,która służy do oszacowania parametru �.
2 n
Estymator definiowany jako statystyka z próby, jest zmienną losową i jako
zmienna posiada określony rozkład.
Rozkład estymatora Tn jest uzależniony od rozkładu zmiennej losowej X w populacji
generalnej.
31
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.1. Podstawowe pojęcia
tn - ocena parametru �
tn = t(x1, x2,..., xn )
Tn
- jest konkretną wartością liczbową, jaką przyjmuje estymator
parametru dla realizacji próby
(x1, x2,..., xn).
tn Tn
Ocena -jest realizacją zmiennej losowej .
Ocena parametru � ( ) jest tą wielkością, jaką w estymacji punktowej przyjmuje się
tn
za oszacowanie wartości parametru �.
32
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.1. Podstawowe pojęcia
Błędem szacunku (estymacji) parametru � nazywamy różnicę pomiędzy
estymatorem a wartością parametru :
Tn -� = d
błąd szacunku jest zmienną losową a za miarę tego błędu przyjmuje się wyrażenie:
" = E(Tn -� )2
- estymator
Tn
Tn
D ( ) - wariancja estymatora Tn
D( ) - odchylenie standardowe estymatora Tn, nazywane średnim błędem
Tn
(standardowym błędem) szacunku parametru �
D(Tn )
Wyrażenie nazywać będziemy względnym błędem szacunku.
�
D( ) - powszechnie przyjęło się traktowanie jako podstawowy parametr określający
Tn
dokładność estymacji punktowej.
33
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
1. Nieobciążoność (asymptotyczna nieobciążoność)
2. Zgodność
3. Efektywność (asymptotyczna efektywność)
4. Wystarczalność zwana inaczej dostatecznością
34
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Nieobciążoność
Definicja 1.
Tn
Mówimy, że estymator jest nieobciążonym estymatorem parametru �,
jeśli spełniona jest relacja E(Tn ) = �.
Tn
Spełnienie tego warunku oznacza, że estymator ma rozkład ze średnią
równą wartości szacowanego parametru.
Jeśli szacujemy parametr � przy pomocy estymatora nieobciążonego, to przy
dużej liczbie prób, średnia uzyskanych ocen będzie bliska �.
35
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Przykład
1
x =
i
Do estymacji średniej w populacji N(m,�) wykorzystuje się statystykę "x .
n
x
Można wykazać, że , co oznacza, że statystyka jest nieobciążonym
E(x)= E(X )
estymatorem E(X).
2
1
2
D2 (X )
Do estymacji wariancji można wykorzystać statystykę S (x)= (xi - x)
,
"
n
statystyką tą jest wariancja z próby.
2
nS (x)
2
Do znalezienia odwołujemy się do faktu, że statystyka
E[S (x)]
D2(X )ma rozkład
2
�# ś#
nS (x)ź# = n - 1
2
� ś#
Eś#
z n-1 stopniami swobody stąd ; ale
D2 (X )ź#
�# #
2
n
�# ś#
nS (x)ź# = n
2
2
ś# E[S (x)]= n - 1
Eś# E[S (x)] ; więc; stąd
D2(X )ź# D2(X )
D2(X )
�# #
n - 1 1
2
E[S (x)]= D2(X )= D2(X )- D2(X )
n n
36
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
2
Wynika stąd, że jest obciążonym estymatorem ,przy czym obciążenie
D2(x)
S (x)
1
D2(X )
to wynosi .
n
2
S (x)są systematycznie
D2(x)
Oznacza to, że oceny parametru uzyskane w oparciu o
obciążone (systematycznie zaniżone). Obciążenie to maleje, jeśli n wzrasta.
37
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
2
1
2
Warto zaznaczyć w tym miejscu, że: S (x)= (xi - x)
"
n - 1
jest nieobciążonym estymatorem parametru .
D2(x)
n n n - 1
2 2
E(S )= E�# S (x)ś# = D2(X )= D2(X )
ś# ź#
n - 1 n - 1 n
�# #
E(Tn) = �
Jeśli nie jest spełniona równość ,
wówczas estymator nazywamy obciążonym
Tn
a wyrażenie nazywamy obciążeniem estymatora.
b(Tn ) = E(Tn ) -�
38
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Nieobciążoność
Definicja 2.
Tn
Mówimy, że estymator parametru � jest asymptotycznie nieobciążony jeżeli
spełniona jest nierówność:
lub .
lim b(Tn )= 0
lim E(Tn )= �
n"
n"
2
S (x)
Estymator wariancji w populacji generalnej posiada własność
D2(x)
asymptotycznej nieobciążoności.
39
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Zgodność
Ta własność estymatora wiąże się z dużą liczebnością próby.
Definicja 3.
Tn parametru � jest zgodny, jeżeli spełnia relację dla dowolnego
Estymator
� > 0 .
lim P{Tn - � < �}= 1,0
n"
Tn parametru � jest zgodny, jeżeli podlega działaniu prawa
Estymator
wielkich liczb, tzn. jeśli jest stochastycznie zbieżny do szacowanego
parametru.
Z prawa wielkich liczb Czebyszewa wynika, że średnia arytmetyczna z próby
X
jest zgodnym estymatorem wartości oczekiwanej w populacji
n
generalnej.
; dla � > 0
lim P{X - E(X ) < �}= 1,0
n
n"
40
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
UWAGA! Pomiędzy dwoma omówionymi własnościami (nieobciążonością i
zgodnością) zachodzą następujące związki:
Tn
1. Jeśli estymator parametru � jest zgodny to jest asymptotycznie
nieobciążony.
Twierdzenie odwrotne nie jest prawdziwe.
2. Jeśli estymator Tn parametru � jest nieobciążony lub
lim D2(Tn )= 0
asymptotycznie nieobciążony oraz jego wariancja spełnia
n"
Tn
to jest estymatorem zgodnym.
Ostatnie twierdzenie jest użyteczne w sprawdzaniu zgodności estymatora
D2 (X ) ; to D2(X
D2(X)=
np.: estymator E(X), jeśli ) 0 ; jeśli .
X n "
n
n
n
41
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Efektywność
Definicja 4.
Tn parametru � jest najefektywniejszy, jeśli wśród
Estymator
estymatorów nieobciążonych ma najmniejszą wariancję.
Jeśli dany jest zbiór wszystkich nieobciążonych estymatorów
Tn1 ,Tn2 ,K,Tnr
parametru �, to estymator , który ma w tym zbiorze najmniejszą wariancję,
tzn.:
*
D2(Tn )d" D2(Tnr)
, i=1,2...r,
42
nazywamy najefektywniejszym estymatorem parametru �.
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Miarą efektywności estymatora danego jest stosunek wariancji estymatora
najefektywniejszego do wariancji estymatora danego, co można zapisać:
*
D2(Tn )
e(Tni)=
D2(Tni)
wyrażenie to określa się efektywnością estymatora.
Efektywność estymatora najefektywniejszego jest równa jedności, w
pozostałych wypadkach 0< e <1.
Przy określaniu efektywności estymatora należałoby znać wszystkie
estymatory nieobciążone szacowanego parametru i ich wariancję lub
wiedzieć czemu jest równa wariancja estymatora najefektywniejszego.
43
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
W celu wyznaczeniu wariancji estymatora najefektywniejszego, można
skorzystać z twierdzenia zwanego nierównością RAO-CRAMERA,
które mówi,
że przy pewnych ogólnych warunkach wariancja D2(Tn) dowolnego
nieobciążonego estymatora parametru � spełnia relację:
1
*
( )
D2 (Tn )e" = D2 Tn
2
" log f (x,� )
ń#
nEĄ#
ó# Ą#
"�
Ł# Ś#
gdzie f(x, �) oznacza funkcję gęstości lub funkcję prawdopodobieństwa
rozkładu populacji generalnej.
Dla określenia wagi estymatora najefektywniejszego, niezbędna jest
znajomość postaci rozkładu populacji generalnej.
44
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Asymptotyczna efektywność
Definicja 5.
Mówimy, że estymator parametru � jest asymptotycznie
Tn
najefektywniejszy, jeśli
lim e(Tn )= 1,0
n"
D2(Tn)
tzn. jeżeli liczebność próby dąży do nieskończoności, wariancja
D2(Tn)
estymatora przyjmuje wartości coraz bliższe wartości
Tn
najefektywniejszego estymatora.
45
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.2. Podstawowe własności estymatorów
Wystarczalność zwana dostatecznością
Tn parametru � jest wystarczający (dostateczny),
Mówimy, że estymator
jeżeli zawiera wszystkie informacje jakie na temat tego parametru �
występują w próbie, i żaden inny estymator nie może dać dodatkowych
informacji o szacowanym parametrze.
Estymator dostateczny nie zawsze istnieje.
Estymator dostateczny, to taki, który dostarcza najwięcej informacji o danym
parametrze wśród wszystkich możliwych estymatorów tego parametru.
Inaczej estymator wystarczający jest tak zbudowany, że żaden inny
estymator nie może dostarczyć więcej informacji o szacowanym
parametrze �.
46
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Do najczęściej stosowanych metod należą:
1. metoda momentów (MM)
2. metoda największej wiarygodności (MNW)
3. metoda najmniejszych kwadratów (MNK)
4. inne metody (metoda minimalnej straty, metoda
najmniejszej odległości itp.)
47
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda momentów (metoda analogii)
Najstarsza, najprostsza metoda szacowania
Idea tej metody polega na tym, że momenty (zwykłe lub centralne) można
przedstawić jako pewne funkcje parametrów rozpatrywanego rozkładu.
48
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda momentów
X1,K, X
Niech będzie próbą losową.
n
Momenty z próby rzędu k:
n
1
k
zwykłe:
M = X
k " i
n
i=1
n
1
k
2
M =
centralne:
k "(X - M1)
i
n
i=1
49
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda momentów
Niech będzie próbą losową.
X1,K, X
n
Momenty rozkładu zmiennej losowej skokowej i ciągłej rzędu k:
zwykłe:
ż#
xik pi dla zmiennej losowej skokowej
"
�#
i
�#
k
"
mk = E(X )=
�#
k
�#
+"x f (x)dx dla zmiennej losowej ciaglej
�#
�#-"
centralne:
k
ż#
"[x - E(X )] pi dla zmiennej losowej skokowej
i
�#
i
�#
k
"
�k = E[X - E(X )] =
�#
k
�#
+"[x - E(X )] f (x)dx dla zmiennej losowej ciaglej
�#
�#-"
50
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
UWAGA!
Metoda momentów dostarcza estymatorów:
obciążonych i charakteryzujących się niewielką efektywnością.
Wyjątek stanowi tu średnia arytmetyczna jako estymator wartości
oczekiwanej, która bez względu na rozkład zmiennej losowej w populacji
generalnej ma wszystkie pożądane własności dobrego estymatora, czyli:
zgodność, nieobciążoność, dostateczność.
A jeśli zmienna losowa X ma rozkład N(m,�) to średnia arytmetyczna jest
również najefektywniejszym estymatorem wartości oczekiwanej m.
51
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda największej wiarygodności
" Koncepcja sformułowana przez R.A. Fishera w latach 20 tych XX wieku
" Jedna z najbardziej rozpowszechnionych metod estymacji
" Punkt wyjścia - określenie funkcji wiarogodności
52
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda największej wiarygodności
W procedurze estymacji MNW można wydzielić następujące etapy:
1) określenie funkcji wiarygodności L
2) wyznaczenie logarytmu naturalnego ln L z tej funkcji
3) wyznaczenie pochodnych cząstkowych względem nieznanych
" lnL
parametrów dla i = 1, 2, 3,..., r
" �i
4) rozwiązanie układu równań względem (dla i = 1, 2, 3,..., r).
" lnL
= 0
" �i
53
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda największej wiarygodności
Funkcję wiarygodności buduje się dla rozkładów skokowych lub ciągłych.
W przypadku rozkładów dla zmiennej ciągłej funkcja ma postać:
n
L = (t1, t2, t3,..., tn, �1, �2, �3,..., �r ) =
"f (ti , �1, �2, �3,..., �r )
i =1
gdzie:
f  funkcja gęstości rozkładu,
�1, �2, �3, ..., �r  nieznane parametry.
54
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Estymatory uzyskane metodą największej wiarogodności nie zawsze są
nieobciążone, ale mają szereg innych własności.
Przy pewnych ogólnych założeniach estymatory MNW parametru �
charakteryzują się następującymi własnościami:
1. są zgodne,
2. mają asymptotyczny rozkład normalny o wartości oczekiwanej � i
wariancji równej:
1
2
" log f (x,� )
ń#
nEĄ#
ó# Ą#
"�
Ł# Ś#
3. są one co najmniej asymptotycznie nieobciążone i asymptotycznie
najefektywniejsze,
4. jeśli istnieje dostateczny estymator parametru � to jest on estymatorem
MNW,
5. jeśli istnieje najefektywniejszy estymator parametru � to jest on uzyskany
55
metodą największej wiarogodności MNW.
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.3. Metody pozyskiwania estymatorów
Metoda najmniejszych kwadratów
" Za twórców uważa się A.M. Lagendre'a, K.F. Gaussa, A.A.
Markowa.
" Ten typ estymatorów tzn. estymatorów uzyskanych MNK ma
szczególne zastosowanie w analizie regresji.
56
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.4. Przykład wyznaczania estymatora metodą MNW
Przykład wyznaczania estymatora parametru dla rozkładu
wykładniczego bez zmiennych.
Funkcja gęstości w rozkładzie wykładniczym jest postaci
ą > t, t e" 0
f (t) = ąe-ąt dla .
Kolejne etapy estymacji to:
1) określenie funkcji wiarogodności  L
n
n
L = L(t1, t2, t3, ..., tn : ą ) = ą e-ąti
"
i =1
2) wyznaczanie logarytmu naturalnego z tej funkcji  lnL
ln L = nlną - ą ti
"
57
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
4. Estymatory  własności  metody pozyskiwania
4.4. Przykład wyznaczania estymatora metodą MNW
3. wyznaczanie pochodnej cząstkowej względem nieznanego
n
parametru ą
" lnL n
= - ti
"
"ą ą
i =1
4. rozwiązanie układu równań
" lnL
= 0
" ą
n
n
n
n
- ti = 0
= ti : n
" "
ą ą
i =1 i =1
n
1 1
1
= ti
= t
"
Ć
ą n
Ć
ą
i =1
1
Ć
ą =
t
 estymator parametru ą
58
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
Dodatkowo: Idea podejścia bayesowskiego
W podejściu bayesowskim parametry modelu traktowane są jak zmienne
losowe.
Wnioskowanie o nieznanych parametrach bazuje na ich rozkładach a posteriori
uzyskanych przy pomocy twierdzenia Bayesa poprzez łączenie informacji z
rozkładu a priori i dostępnych danych.
Rozkład a priori umożliwia włączenie posiadanej wiedzy dotyczącej
prawdopodobnego zakresu wartości estymowanych parametrów.
Jeśli takiej wiedzy nie posiadamy, to możemy wykorzystać nieinformacyjny
rozkład a priori, wówczas wyniki analizy bayesowskiej uzyskane tą metodą
będą bardzo podobne do wyników uzyskanych metodą klasyczną bazującą na
funkcji wiarogodności.
Uzyskanie rozkładu a posteriori wymaga często wykorzystania metod symulacji
MCMC,
59
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
Załóżmy, że jesteś zainteresowany w oszaciowaniu z danych y = {y1, ..., yn}
�
poprzez użycie modelu statystycznego opisanego przez gęstość p(y|� ).
Podejście Bayesowskie twierdzi, że � nie może być określone dokładnie, a
niepewność dotycząca parametrów jest wyrażona poprzez prawdopodobieństwo
i rozkład. Można powiedzieć, że o normalnym rozkładzie ze średnią 0 i
�
wariancją 1, jeśli podejrzewa się, że ten rozkład najlepiej opisuje niepewność
związaną z parametrem.
60
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
Następujące kroki opisują istotne elementy wnioskowania Bayesowskiego:
1. Rozkład prawdopodobieństwa dla jest sformułowany jako Ą (� ) , co znane jest jako
�
rozkład a priori. Rozkład a priori wyraża twoje przekonania dotyczące np. średniej,
rozstępu czy skośności parametru zanim przeanalizujesz dane.
2. Mając dane y , wybierasz model statystyczny p(y| � ), by opisywał rozkład y danego .
3. Uaktualniasz swoje przekonania dotyczące poprzez połączenie informacji z
�
rozkładu a priori i z danych poprzez policzenie rozkładu a posteriori p(� |y).
Trzeci krok przeprowadza się używając teorii Bayesa, która pozwala połączyć rozkład a
priori i model w następujący sposób:
p( � |y) = p(� , y)/p(y)= p(y| � ) Ą (� ) /p(y)= p(y| � ) Ą (� ) / p(y| � ) Ą (� ) d �
+"
Wielkość
p(y)= p(y| � )Ą (� ) d �
+"
jest stałą normalizującą rozkładu a posteriori. p(y) jest również rozkładem krańcowym y i jest
czasem nazywana rozkładem normalnym danych.
61
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
Funkcja prawdopodobieństwa � jest dowolną funkcją proporcjonalną do p(y| � )  tj.
L( � ) " p(y| � ). Innym sposobem na zapisanie teorii Bayesa jest
p(� |y)= L( � ) Ą (� ) / L( � ) Ą (� ) d �
+"
Rozkład krańcowy p(y) jest całkowity; stąd, tak długo jak jest skończony, konkretna wartość
liczby całkowitej nie dostarcza żadnych dodatkowych informacji o rozkładzie a posteriori.
Dlatego też p( |y) może być przypisana do dowolnej stałej, zaprezentowanej tu w formie
�
proporcjonalnej jako
p( |y) " L( ) Ą (� )
� �
Mówiąc prosto, teoria Bayesa mówi ci jak aktualizować posiadaną wiedzę na podstawie
nowych informacji. Zaczynasz z przekonaniem a priori Ą (� ) i, po zdobyciu informacji z
danych y, zmieniasz lub aktualizujesz swoje przekonania o i otrzymujesz p( |y). To są
� �
najistotniejsze elementy podejścia Bayesowskiego do analizy danych .
62
Metody statystyczne I
Zakład Analizy Historii Zdarzeń i Analiz Wielopoziomowych ISiD SGH
Zespół realizujący: dr hab. prof. SGH, Ewa Frątczak,
dr Dorota Bartosińska, dr Wioletta Grzenda, dr Aneta Ptak-Chmielewska, dr Zdzisław Piasta
DZI
KUJ
ZA UWAG
!
63