Estymatory średniej i dyspersji
1
Estymatory średniej i dyspersji.
Zakładamy, że w czasie doświadczenia otrzymaliśmy zestaw n wartości zmiennej losowej X o pewnym rozkładzie prawdopodobieństwa (gęsto-
ści prawdopodobieństwa).
{ x , x , x ,... x
1
2
3
n }
Prawdopodobieństwo otrzymania dowolnej z tych wartości wynosi P( x ) albo dP( x , x + dx) = p( x ) ⋅ dx i
i
i
i
odpowiednio dla zmiennej dyskretnej albo ciągłej.
Jeżeli możemy założyć, że kolejne wartości są niezależne, to prawdopodobieństwo otrzymania całego ich zestawu { x , x , x ,... x wynosi 1
2
3
n }
n
P({ x }) = ∏ P( x ) dla zmiennej dyskretnej albo i
i
i 1
=
n
dP({ x }) = ∏
( ) ⋅
dla zmiennej ciągłej. Prawdopodobieństwo to
i
( p x dx
i
)
i =1
zależy od samych wartości { x } i od postaci rozkładu prawdopodobień-
i
stwa. Na przykład dla rozkładu normalnego N (µ,σ ) 1
1
2
x − µ
dP( x , x + dx
i
) =
exp−
⋅ dx
i
i
σ 2π
2 σ
prawdopodobieństwo będzie zależało od średniej i dyspersji tego rozkła-du.
2
n
1
1 x µ
i −
dP({ x })
exp
i
= ∏
−
⋅ dx
i =1 σ
2π
2
σ
n
n
2
1
1
x
n
− µ
dP({ x
i
}) =
exp− ∑
⋅ ∏
i
( dx)
i 1
σ 2π
2
σ
=
i 1
=
Funkcja
n
1
n
1
2
x
µ
i −
p({ x }; µ,σ )
exp
i
=
− ∑
σ 2π
2
σ
i =1
ma sens funkcji rozkładu gęstości prawdopodobieństwa otrzymania zestawu wartości { x , x , x ,... x .
1
2
3
n }
Estymatory średniej i dyspersji
2
Metoda największej wiarogodności
Wykonując pomiary nie znamy wartości mierzonej, tzn. nie znamy parametrów µ i σ rozkładu p({ x }; i celem pomiarów jest ich wyzna-i
µ,σ )
czenie. Możemy jednak przypuszczać, że to co się wydarzyło, to znaczy, że otrzymaliśmy zestaw konkretnych wartości { x , x , x ,... x , było naj-1
2
3
n }
bardziej prawdopodobne. Zamiast zatem pytać jakie są faktyczne warto-
ści parametrów µ i σ (na to pytanie zwykle nie można odpowiedzieć), możemy zapytać o coś innego.
Dla uproszczenia załóżmy jeszcze, że interesuje nas tylko wartość średnia, a dyspersję albo znamy skądinąd, albo nie jest nam potrzebna jej wartość.
To inne pytanie brzmi:
Dla jakiej wartości µ' hipotetycznej średniej rozkładu otrzymanie zestawu wartości { x , x , x ,... x jest najbardziej prawdopodobne?
1
2
3
n }
Czyli dla jakiej wartości µ' funkcja
n
1
n
1
2
x
µ'
i −
p(µ') =
exp− ∑
σ 2π
2
σ
i =1
osiąga maksimum przy ustalonych { x , x , x ,... x i σ .
1
2
3
n }
Na takie pytanie można odpowiedzieć, i to stosunkowo łatwo, chodzi bowiem o znalezienie maksimum funkcji jednej zmiennej.
Funkcja p(µ') osiąga maksimum kiedy wartość sumy 2
n x
µ
i −
'
∑
σ
i
1
=
jest minimalna. Oznacza to, że pochodna sumy przyjmuje wartość zero 2
∂ n x µ
i −
'
∑
= 0
∂µ'
σ
i =
1
Estymatory średniej i dyspersji
3
Pochodna wynosi
∂ n
2
x
µ'
x
µ'
1
2
x
µ'
i −
n
i −
−
n i −
∑
= ∑
2
= − ∑
∂µ'
σ
σ
σ
σ
σ
i =1
i =1
i =1
i osiąga zero gdy zeruje się suma
n x
µ
i −
'
∑
= 0
σ
i =
1
n xi − µ'
∑
=
0 ⋅σ
i =1
σ
n
∑ x
i − nµ ' = 0
i 1
=
czyli gdy µ' jest równe średniej arytmetycznej wartości { x , x , x ,... x 1
2
3
n }
n
1
µ'= ∑ x
i
n i=1
Wartość µ' jest estymatorem największej wiarogodności wartości średniej rozkładu N (µ,σ ).
Jeżeli { x , x , x ,... x są wynikami bezpośrednich pomiarów wielkości 1
2
3
n }
fizycznej X , to ich średnia arytmetyczna jest najlepszym oszacowaniem wartości X . Oprócz szacunku samej wartości musimy podać też niepewność oszacowania, czyli pierwiastek wariancji µ'. Oznaczmy ją przez V (µ').
1
V (µ') = V ∑ x
i
n
W celu obliczenia wartości prawej strony możemy wykorzystać wprowa-dzone poprzednio prawo przenoszenia niepewności (w istocie było to prawo przenoszenia wariancji, które dla naszych celów przekształciliśmy w prawo przenoszenia niepewności), a właściwie pewne specjalne wzory wyprowadzone z tego prawa.
1
2
1
V ∑ x
V
x
i =
⋅ (∑ i )
n
n
Jeżeli wartości { x , x , x ,... x są niezależne, to 1
2
3
n }
V (∑ x
i )
2
=
V ( x )
∑ i = n⋅σ
Estymatory średniej i dyspersji
4
Ostatecznie
2
2
1
σ
V (µ') = n
2
⋅σ =
n
n
Czyli wynik serii pomiarów mógłby wyglądać na przykład tak: n
1
1
X = µ =
∑ x , u( X) = σ .
i
n i=1
n
♦
Załóżmy teraz, że znamy wartość średnią rozkładu µ , a chcielibyśmy znaleźć estymator dyspersji tego rozkładu σ '.
Jeżeli σ ' ma być estymatorem największej wiarogodności, to tym razem funkcja
n
1
n
1
2
x
µ
i −
p(σ ') =
exp− ∑
σ ' 2π
2
σ '
i =1
ma osiągnąć maksimum ze względu na σ ', czyli
∂
(σ ') = 0
∂σ p
'
n
2
∂ 1
1 n x
µ
i −
exp −
∑
= 0
∂σ ' σ ' 2π
2
σ
i =
1
'
n 1
−
n
1
−1
n
−
−
x
µ
i −
(...)
1
(...)
(
)2
n
e
+
e
∑
= 0
σ ' 2π σ '2 2π
σ ' 2
3
π
σ
i 1
=
'
− n
n
n
1
n
−
−
x
µ
i −
(...)
1
(...)
(
)2
e
+
e
∑
= 0
σ '
σ ' 2π
σ ' 2
3
π
σ
i 1
=
'
Po podzieleniu stronami przez
n
1
−(...)
e
σ ' 2π
otrzymujemy
n
2
− n
( xi − µ)
2
+ ∑
=
0 ⋅σ '
3
σ
' i=
σ '
1
Estymatory średniej i dyspersji
5
n
− nσ '2 +∑( x µ
i −
)2 = 0
i 1
=
czyli
n
1
2
σ ' = ∑( x
2
µ
i −
)
n i=1
n
1
σ '=
∑( x
2
µ
i −
)
n i=1
Estymatorem największej wiarogodności wariancji rozkładu N (µ,σ ) jest 2
σ ' – średni kwadrat odchylenia wartości { x , x , x ,... x od wartości 1
2
3
n }
średniej tego rozkładu, a estymatorem dyspersji jest σ '.
Najczęściej nie znamy żadnego parametrów rozkładu i musimy je oszacować tylko na podstawie uzyskanych wartości doświadczalnych
{ x , x , x ,... x .
1
2
3
n }
Nie zmienia to sposobu wyznaczenia wartości µ' i w dalszym ciągu najlepszym estymatorem (w sensie metody największej wiarogodności) po-zostaje średnia arytmetyczna.
n
1
µ'= ∑ x .
i
n i=1
Do wyznaczenia estymatora dyspersji (albo wariancji) potrzebna jest znajomość wartości średniej rozkładu. Jeżeli użyjemy w tym celu warto-
ści µ' zamiast µ , to moglibyśmy zapisać
n
1
2
σ ' = ∑( x
2
µ' .
i −
)
n i=1
Okazuje się jednak, że taki estymator jest obciążony, to znaczy, że wartość średnia
2
σ ' jest różna od 2
σ . W statystyce dowodzi się, że
2
2
E(σ ' ) < σ .
Estymatory średniej i dyspersji
6
Rzeczywiście
1
1
2
n
n
E(σ ' ) = E
∑( x
2
µ'
E
( x
2
µ) (µ µ')
i −
)
=
∑( i − + − ) =
n 1
n
i =
i=1
n
1
2
= E ∑[( x µ) (µ' µ)
i −
−
− ] =
n i=1
n
1
2
2
= E ∑[( x µ) 2( x µ)(µ' µ) (µ' µ) i −
−
i −
− +
−
] =
n i=1
1 n
1 n
1
2
2
= E ∑( x
i − µ )
− 2(µ −
' µ) ∑( xi − µ) + n(µ −
' µ)
=
n i=
n i
n
1
=1
1 n
2
2
2
= E ∑( x
i − µ )
− (
2 µ −
' µ) + (µ −
' µ)
=
n i=1
1 n
2
2
= E ∑( x
i − µ )
− (µ −
' µ)
=
n i=1
1 n
= ∑ E(( x
i −
2
µ) )− E((µ − 2
' µ) )=
n i=1
= E(( x −
−
−
=
−
i
µ)2 ) E((µ' µ)2 ) V ( x) V (µ') Czyli
1
n −1
E( 2
σ ' )
2
2
2
= σ − σ =
σ
n
n
i
n
1
s 2 =
∑( x
2
µ'
i −
)
n −1 i=1
jest już nieobciążonym estymatorem wariancji.
Po uwzględnieniu ostatniego wzoru wynik pomiarów można by przedstawić następująco:
n
1
n
1
X = x =
∑ x , u( X) =
∑( x x 2 .
i −
)
i
n
n( n − )
1
i =1
i −1
Estymatory średniej i dyspersji
7
Średnia ważona
We wzorze
n
dP({ x }) = ∏
( ) ⋅
i
( P x dx
i
)
i =1
wcale nie jest konieczne, żeby wszystkie x miały dokładnie takie same i
rozkłady. Równie dobrze moglibyśmy zapisać
n
dP({ x })
p ( x ) dx
i
= ∏( i i ⋅ )
i =1
a funkcja
n
p({ x })
p ( x )
i
= ∏ i i
i =1
miałaby taką samą interpretację jak poprzednio.
Załóżmy, że rozkłady
1
1 x
µ
i −
2
p ( x ; µ,σ )
i
i
i
=
exp−
σ 2π
σ
i
2
i
mają wszystkie tę samą wartość średnią i różne dyspersje.
Wtedy rozkład gęstości prawdopodobieństwa otrzymania ciągu wartości
{ x , x ,... x wyniesie
1
2
n }
2
n
n
1
n
1
x µ
i −
p({ x })
p ( x ; µ,σ )
exp
.
i
= ∏ i i
i
= ∏
⋅
− ∑
σ 2π
2
σ
i =1
i =1
i
i =1
i
Taki przypadek odpowiada sytuacji, kiedy kolejne wartości { x , x ,... x 1
2
n }
wyznaczono niezależnie metodami różniącymi się precyzją scharaktery-zowaną różnymi wartościami σ .
i
Estymatory średniej i dyspersji
8
Stosując metodę największej wiarogodności do wyznaczenia estymatora wartości średniej µ będziemy szukali maksimum funkcji 2
n
1
n
1
x µ'
i −
p(µ') = ∏
⋅ exp− ∑
.
σ 2π
2
σ
i =1
i
i =1
i
Podobnie jak poprzednio odpowiada to znalezieniu minimum sumy 2
n x
µ'
i −
∑
σ
i =1
i
2
∂ n x µ
x
µ
i −
'
n i − '
∑
= 2
− ∑
= 0
∂µ'
2
σ
σ
i 1
=
i
i 1
=
i
Stąd
n x
n µ'
∑ i −∑
= 0
2
2
σ
σ
i 1
=
i 1
i = i
n x
n 1
∑ i =
µ'
2
∑ 2
σ
σ
i =1
i =
i
1
i
i ostatecznie
∑ n( x 2
σ
i
i
)
i =
µ'= 1
∑ n( 2
1 σ i )
i =1
W celu ustalenia wariancji tego estymatora obliczamy pochodne cząst-kowe:
∑ n( x 2
σ
i
i
)
∂µ'
∂
2
1 σ
i =
=
1
=
i
∂ x
x
i
∂ i ∑ n( 2
2
1 σ
1 σ
i
) ∑ n( i )
i =1
i =1
i zgodnie z prawem przenoszenia wariancja wynosi
n
2
1 σ
2
n
2
1 σ
1
V (µ') = ∑
i
2
i
σ
2
i
2
2
σ
σ
σ
i =
1
i
i
1
1 ∑ (
) = ∑
=
2
1 [
=
∑(1 i )] ∑( i )
Estymatory średniej i dyspersji
9
Niepewności względne
Może się zdarzyć, że znamy względne wartości σ nie znając przy tym i
ich wartości bezwzględnych. Wprowadzimy czynniki wagowe (wagi) w i
1
kw =
i
σ i
gdzie k jest pewną stałą. Znajomość względnych niepewności odpowiada znajomości wartości wag w nawet jeżeli σ pozostają nieznane.
i
i
Wtedy
∑ n( x 2
σ
kw x
w x
i
i
) ∑ n( i i) ∑ n( i i) i =1
i =1
i =
µ'=
=
= 1
∑ n( 2
1 σ
kw
w
i
) ∑ n( i) ∑ n( i)
i =1
i =1
i =1
W celu ustalenia wariancji tak obliczonej średniej wprowadzimy nową wielkość – średnią ważoną wariancję wyników 2
σ
w (
∑ x µ
i
i −
')2
2
n
w x
∑ i i
n
2
σ =
=
− µ'2
∑
w
n
i
−1
∑ w
n
i
−1
Wartość w nawiasie jest różnicą średniego ważonego kwadratu wyników i kwadratu średniej ważonej wyników. Pozostały czynnik uwzględnia fakt, że wartość µ' została obliczona z tych samych wyników, zmniejszając liczbę stopni swobody.
Przez analogię z wcześniej otrzymanymi związkami możemy zapisać, że wariancja µ' wynosi
σ
1
2
2
w x
∑
V (µ') =
=
i
i
2
− µ'
n
n −1 ∑ wi
Jeżeli chcielibyśmy znaleźć nieznane dotąd wartości k i σ , to możemy i
przyrównać
2
σ
1
1
=
n
∑
=
1
2
σ
k
w
i
∑ i
Estymatory średniej i dyspersji
10
czyli
n
1
n −1
k =
=
2
σ ∑ w
w x
i
2
∑
∑
i
i
2
wi
− µ'
∑ wi
oraz
2
1
σ
w
2
∑
i
σ =
=
i
kw
nw
i
i
Przykład
Studentka przeprowadza doświadczenie w celu określenia napięcia ogniwa normalnego. Wykonuje 40 pomiarów przy pomocy pewnego przyrządu i znajduje, że
x = ,
1
V
0220
1
z odchyleniem standardowym
s =
V
010
,
0
1
Po przyjrzeniu się wynikom zauważa, że mogłaby ulepszyć układ pomia-rowy i zmniejszyć niepewność o czynnik 2,5 s =
V
0040
,
0
. Wykonuje
2
kolejnych 10 pomiarów, które dają
x =
V
0180
,
1
2
Średnia wyników wszystkich wykonanych pomiarów wynosi
∑50(
2
x σ
x
s
x
s
i
i
) ∑40( 2
1 i
1 )
10
+ ∑(
2
2 i
2 )
i =1
i =1
i =
x =
=
1
∑50( 2
1 σ
s
s
i
) ∑40( 2
1
1
1 )
10
+ ∑( 22)
i =1
i =1
i =1
40 ⋅ 022
,
1
10 ⋅ 018
,
1
+
01
,
0
2
004
,
0
2
,
4 00 ⋅ 022
,
1
+ ,
6 25 ⋅ ,
1 018
=
V
=
V
40
10
00
,
4
+ ,
6 25
+
,
0 012
004
,
0
2
=
V
019561
,
1
Niepewność wartości średniej napięcia
1
− 2
40
10
u( x) =
+
=
V
000987
,
0
01
,
0
2
004
,
0
2
Estymatory średniej i dyspersji
11
Ostateczny wynik należy zapisać w formie
x =
V
01956
,
1
, u( x) = ,
0
V
00099
lub alternatywnie
x = ,
1
99
(
01956
V
)
Niepewność końcowego wyniku jest mniejsza od niepewności uzyskanych w każdej z części doświadczenia
01
,
0
004
,
0
u( x ) =
V
=
V
0016
,
0
, u( x ) =
V
=
V
0013
,
0
1
40
2
10
Co by było gdyby studentka nie znała bezwzględnych wartości niepewności swoich pomiarów, a tylko wiedziała (np. od prowadzącego zajęcia), że zostały zmniejszone w drugiej części o czynnik 2,5?
Średnią ważoną może obliczyć w taki sposób
1
1
w =
= 1,
2
w =
= 5
,
2
1
2
s
2
2
s
1
2
∑ n( w xii) 40
i =
⋅1⋅ 022
,
1
+10⋅ 5
,
2 2 ⋅ 018
,
1
1
x =
=
V
=
V
01956
,
1
∑ n( wi)
40 ⋅1+10 ⋅ 5
,
2 2
i 1
=
Niepewność średniej ważonej wyniesie wtedy
40
10
2
w x
∑ 2 x 5,
2
x
1 i +
2 ∑ 22 i
1
∑ i i
1
2
i=1
i =1
2
u( x) =
− x =
−
n −
x
1
w
39
∑
40
i
+10 ⋅
2
5
,
2
Estymatory średniej i dyspersji
12
Przykład
Student wykonał 100 niezależnych pomiarów długości drewnianego klocka. Wyniki, po korekcie błędów systematycznych, mieszczą się w przedziale od około 18 do 22 cm i wiele z nich powtarza się. Na wykresie przedstawiono je w postaci histogramu (słupki narysowane cienką ciągłą linią) o szerokości przedziału 0,2 cm. Jeżeli obserwowany rozkład wynika z błędów przypadkowych, to jest bardzo prawdopodobne, że da się opisać przy pomocy rozkładu Gaussa (normalnego). Rozkład narysowany linia ciągłą odpowiada parametrom wyznaczonym z wyników pomiarów: średnia 19,98 cm i odchylenie standardowe 0,54 cm.
16
12
arów
omi
8
a pzblic
4
0
18.00
19.00
20.00
21.00
22.00
długość zmierzona, cm
Histogram z szarych słupków jest wyliczony z tego rozkładu normalnego i przedstawia oczekiwaną (średnią) liczbę pomiarów w każdym przedziale. Rozkład narysowany linią przerywaną odpowiada N ( , 20
)
50
,
0
;
00
.
Estymatory średniej i dyspersji
13
Usuwanie wyników odstających
Załóżmy, że wśród wyników zanotowanych przez studenta w karcie po-miarowej znalazł się jeden wyraźnie inny od pozostałych – 91,2 cm.
Zwykle w takim przypadku nie ma wątpliwości, że nastąpiła pomyłka przy zapisywaniu wyniku i wynik odrzuca się jako tzw. błąd gruby. Sytu-acja wygląda jednak inaczej jeżeli odstający wynik wynosiłby np. 22,2
cm. Jeżeli w zestawie 100 wyników wartość 21,2 zastąpimy przez 22,2, to średnia i odchylenie standardowe zmienią się odpowiednio na 19,99 i 0,54. Odległość wyniku od średniej wynosi prawie 4 odchylenia standardowe. Z rozkładu Gaussa N
)
54
,
0
;
99
,
19
(
można wyliczyć, że prawdo-
podobieństwo przypadkowego pojawienia się rezultatu, który jest nie-mniej oddalony od średniej wynosi około 12⋅10-5, to znaczy że spodziewana liczba wyników ≥22,2 cm (lub ≤17,78 cm) wynosi 12⋅10-5 × 100 =
0,012. Czy tak mało prawdopodobny rezultat możemy odrzucić?
Kryterium Chauveneta
Odstający rezultat x można odrzucić, jeżeli spodziewana liczba takich 0
przypadków, że | x − x | |
≥ x − x |
0
n = N ⋅ P(| x − x | |
≥ x − x |) < 5
,
0
0
Kryterium Chauveneta należy stosować z dużą ostrożnością, mając pewność, że potrafimy poprawnie obliczyć prawdopodobieństwo P(| x − x | |
≥ x − x |), co zwykle oznacza, że musimy znać faktyczny roz-0
kład prawdopodobieństwa w danych warunkach.