Estymatory średniej i dyspersji

1

Estymatory średniej i dyspersji.

Zakładamy, że w czasie doświadczenia otrzymaliśmy zestaw n wartości zmiennej losowej X o pewnym rozkładzie prawdopodobieństwa (gęsto-

ści prawdopodobieństwa).

{ x , x , x ,... x

1

2

3

n }

Prawdopodobieństwo otrzymania dowolnej z tych wartości wynosi P( x ) albo dP( x , x + dx) = p( x ) ⋅ dx i

i

i

i

odpowiednio dla zmiennej dyskretnej albo ciągłej.

Jeżeli możemy założyć, że kolejne wartości są niezależne, to prawdopodobieństwo otrzymania całego ich zestawu { x , x , x ,... x wynosi 1

2

3

n }

n

P({ x }) = ∏ P( x ) dla zmiennej dyskretnej albo i

i

i 1

=

n

dP({ x }) = ∏

( ) ⋅

dla zmiennej ciągłej. Prawdopodobieństwo to

i

( p x dx

i

)

i =1

zależy od samych wartości { x } i od postaci rozkładu prawdopodobień-

i

stwa. Na przykład dla rozkładu normalnego N (µ,σ ) 1

 1 

2

x − µ  

dP( x , x + dx

i

) =

exp− 

  ⋅ dx

i

i

σ 2π

 2  σ  

prawdopodobieństwo będzie zależało od średniej i dyspersji tego rozkła-du.

2

n 

1

 1  x µ

i −

 



dP({ x })

exp

i

= ∏

− 

  ⋅ dx

i =1 σ

2π

2

σ









 



n

n

2

 1





1

 x

n

− µ  

dP({ x

i

}) = 

 exp− ∑

  ⋅ ∏

i

( dx)

i 1

σ 2π 

2

σ

=





i 1

=





Funkcja

n

1







n

1



2

x

µ

i −

 

p({ x }; µ,σ )

exp

i

= 



− ∑

 

σ 2π 

 2

σ

i =1 

 

ma sens funkcji rozkładu gęstości prawdopodobieństwa otrzymania zestawu wartości { x , x , x ,... x .

1

2

3

n }

Estymatory średniej i dyspersji

2

Metoda największej wiarogodności

Wykonując pomiary nie znamy wartości mierzonej, tzn. nie znamy parametrów µ i σ rozkładu p({ x }; i celem pomiarów jest ich wyzna-i

µ,σ )

czenie. Możemy jednak przypuszczać, że to co się wydarzyło, to znaczy, że otrzymaliśmy zestaw konkretnych wartości { x , x , x ,... x , było naj-1

2

3

n }

bardziej prawdopodobne. Zamiast zatem pytać jakie są faktyczne warto-

ści parametrów µ i σ (na to pytanie zwykle nie można odpowiedzieć), możemy zapytać o coś innego.

Dla uproszczenia załóżmy jeszcze, że interesuje nas tylko wartość średnia, a dyspersję albo znamy skądinąd, albo nie jest nam potrzebna jej wartość.

To inne pytanie brzmi:

Dla jakiej wartości µ' hipotetycznej średniej rozkładu otrzymanie zestawu wartości { x , x , x ,... x jest najbardziej prawdopodobne?

1

2

3

n }

Czyli dla jakiej wartości µ' funkcja

n

1







n

1



2

x

µ'

i −

 

p(µ') = 

 exp− ∑

 

σ 2π 

 2

σ

i =1 

 

osiąga maksimum przy ustalonych { x , x , x ,... x i σ .

1

2

3

n }

Na takie pytanie można odpowiedzieć, i to stosunkowo łatwo, chodzi bowiem o znalezienie maksimum funkcji jednej zmiennej.

Funkcja p(µ') osiąga maksimum kiedy wartość sumy 2

n  x

µ

i −

' 

∑



σ

i





1

=

jest minimalna. Oznacza to, że pochodna sumy przyjmuje wartość zero 2

∂ n  x µ

i −

' 

∑

 = 0

∂µ'

σ

i = 



1

Estymatory średniej i dyspersji

3

Pochodna wynosi

∂ n 

2

x

µ'

x

µ'

1

2

x

µ'

i −



n

 i −



 − 

n  i −



∑

 = ∑ 

2





 = − ∑



∂µ'

σ

σ

σ

σ

σ

i =1 



i =1









i =1 



i osiąga zero gdy zeruje się suma

n  x

µ

i −

' 

∑

 = 0

σ

i = 



1

n  xi − µ' 

∑

 =

0 ⋅σ

i =1 

σ 

n

∑ x

i − nµ ' = 0

i 1

=

czyli gdy µ' jest równe średniej arytmetycznej wartości { x , x , x ,... x 1

2

3

n }

n

1

µ'= ∑ x

i

n i=1

Wartość µ' jest estymatorem największej wiarogodności wartości średniej rozkładu N (µ,σ ).

Jeżeli { x , x , x ,... x są wynikami bezpośrednich pomiarów wielkości 1

2

3

n }

fizycznej X , to ich średnia arytmetyczna jest najlepszym oszacowaniem wartości X . Oprócz szacunku samej wartości musimy podać też niepewność oszacowania, czyli pierwiastek wariancji µ'. Oznaczmy ją przez V (µ').

 1



V (µ') = V  ∑ x

i 

 n



W celu obliczenia wartości prawej strony możemy wykorzystać wprowa-dzone poprzednio prawo przenoszenia niepewności (w istocie było to prawo przenoszenia wariancji, które dla naszych celów przekształciliśmy w prawo przenoszenia niepewności), a właściwie pewne specjalne wzory wyprowadzone z tego prawa.

 1

  2

1

V  ∑ x

V

x

i  = 

 ⋅ (∑ i )

 n

  n 

Jeżeli wartości { x , x , x ,... x są niezależne, to 1

2

3

n }

V (∑ x

i )

2

=

V ( x )

∑ i = n⋅σ

Estymatory średniej i dyspersji

4

Ostatecznie

2

2

 1 

σ

V (µ') =   n

2

⋅σ =

 n 

n

Czyli wynik serii pomiarów mógłby wyglądać na przykład tak: n

1

1

X = µ =

∑ x , u( X) = σ .

i

n i=1

n

♦

Załóżmy teraz, że znamy wartość średnią rozkładu µ , a chcielibyśmy znaleźć estymator dyspersji tego rozkładu σ '.

Jeżeli σ ' ma być estymatorem największej wiarogodności, to tym razem funkcja

n

1







n

1



2

x

µ

i −

 

p(σ ') = 

 exp− ∑

 

σ ' 2π 

 2

σ '

i =1 

 

ma osiągnąć maksimum ze względu na σ ', czyli

∂

(σ ') = 0

∂σ p

'

n

2

∂  1





1 n  x

µ

i −

 



 exp −





∑

  = 0

∂σ ' σ ' 2π 

2

σ



i = 



1

'







n 1



−

n

1

 

−1 

n

−



 − 

x

µ

i −



(...)

1

(...)

(

)2



n

 

 e

+ 

 e

∑

= 0





σ ' 2π  σ '2 2π 

σ ' 2

3

π 



σ

i 1

=

'



 − n 



n

n

1



n

−



 − 

x

µ

i −



(...)

1

(...)

(

)2







 e

+ 

 e

∑

= 0





 σ ' 

 σ ' 2π 

σ ' 2

3

π 



σ

i 1

=

'



Po podzieleniu stronami przez



n

1



−(...)



 e

σ ' 2π 

otrzymujemy

n

2

 − n  

( xi − µ) 

2



 + ∑

=

0 ⋅σ '



3

 σ



'   i=

σ '

1



Estymatory średniej i dyspersji

5

n

− nσ '2 +∑( x µ

i −

)2 = 0

i 1

=

czyli

n

1

2

σ ' = ∑( x

2

µ

i −

)

n i=1

n

1

σ '=

∑( x

2

µ

i −

)

n i=1

Estymatorem największej wiarogodności wariancji rozkładu N (µ,σ ) jest 2

σ ' – średni kwadrat odchylenia wartości { x , x , x ,... x od wartości 1

2

3

n }

średniej tego rozkładu, a estymatorem dyspersji jest σ '.

Najczęściej nie znamy żadnego parametrów rozkładu i musimy je oszacować tylko na podstawie uzyskanych wartości doświadczalnych

{ x , x , x ,... x .

1

2

3

n }

Nie zmienia to sposobu wyznaczenia wartości µ' i w dalszym ciągu najlepszym estymatorem (w sensie metody największej wiarogodności) po-zostaje średnia arytmetyczna.

n

1

µ'= ∑ x .

i

n i=1

Do wyznaczenia estymatora dyspersji (albo wariancji) potrzebna jest znajomość wartości średniej rozkładu. Jeżeli użyjemy w tym celu warto-

ści µ' zamiast µ , to moglibyśmy zapisać

n

1

2

σ ' = ∑( x

2

µ' .

i −

)

n i=1

Okazuje się jednak, że taki estymator jest obciążony, to znaczy, że wartość średnia

2

σ ' jest różna od 2

σ . W statystyce dowodzi się, że

2

2

E(σ ' ) < σ .

Estymatory średniej i dyspersji

6

Rzeczywiście

1

1

2

 n

n

E(σ ' ) = E

∑( x

2

µ'

E

( x

2

µ) (µ µ')

i −

) 



=

∑( i − + − )  =









 n 1

n

i =



 i=1



 n

1

2 

= E ∑[( x µ) (µ' µ)

i −

−

− ] =





 n i=1



 n

1

2

2 

= E ∑[( x µ) 2( x µ)(µ' µ) (µ' µ) i −

−

i −

− +

−

] =



 n i=1



1 n

1 n

1

2

2 

= E ∑( x

i − µ )

− 2(µ −

' µ) ∑( xi − µ) + n(µ −

' µ)

=





 n i=

n i

n

1

=1



1 n

2

2

2 

= E ∑( x

i − µ )

− (

2 µ −

' µ) + (µ −

' µ)

=





 n i=1



1 n

2

2 

= E ∑( x

i − µ )

− (µ −

' µ)

=





 n i=1



1 n

= ∑ E(( x

i −

2

µ) )− E((µ − 2

' µ) )=

n i=1

= E(( x −

−

−

=

−

i

µ)2 ) E((µ' µ)2 ) V ( x) V (µ') Czyli

1

n −1

E( 2

σ ' )

2

2

2

= σ − σ =

σ

n

n

i

n

1

s 2 =

∑( x

2

µ'

i −

)

n −1 i=1

jest już nieobciążonym estymatorem wariancji.

Po uwzględnieniu ostatniego wzoru wynik pomiarów można by przedstawić następująco:

n

1

n

1

X = x =

∑ x , u( X) =

∑( x x 2 .

i −

)

i

n

n( n − )

1

i =1

i −1

Estymatory średniej i dyspersji

7

Średnia ważona

We wzorze

n

dP({ x }) = ∏

( ) ⋅

i

( P x dx

i

)

i =1

wcale nie jest konieczne, żeby wszystkie x miały dokładnie takie same i

rozkłady. Równie dobrze moglibyśmy zapisać

n

dP({ x })

p ( x ) dx

i

= ∏( i i ⋅ )

i =1

a funkcja

n

p({ x })

p ( x )

i

= ∏ i i

i =1

miałaby taką samą interpretację jak poprzednio.

Załóżmy, że rozkłady



1

1  x

µ

i −

2 

p ( x ; µ,σ )

i

i

i

=

exp−







σ 2π

σ

i

 2

i

 

mają wszystkie tę samą wartość średnią i różne dyspersje.

Wtedy rozkład gęstości prawdopodobieństwa otrzymania ciągu wartości

{ x , x ,... x wyniesie

1

2

n }

2

n

n



1





n

1

 x µ

i −

 

p({ x })

p ( x ; µ,σ )

exp

.

i

= ∏ i i

i

= ∏

⋅

− ∑











σ 2π

2

σ

i =1

i =1 

i





i =1 

i

 

Taki przypadek odpowiada sytuacji, kiedy kolejne wartości { x , x ,... x 1

2

n }

wyznaczono niezależnie metodami różniącymi się precyzją scharaktery-zowaną różnymi wartościami σ .

i

Estymatory średniej i dyspersji

8

Stosując metodę największej wiarogodności do wyznaczenia estymatora wartości średniej µ będziemy szukali maksimum funkcji 2

n



1





n

1

 x µ'

i −

 

p(µ') = ∏

⋅ exp− ∑









 .

σ 2π

2

σ

i =1 

i





i =1 

i

 

Podobnie jak poprzednio odpowiada to znalezieniu minimum sumy 2

n  x

µ'

i −



∑



σ

i =1 

i



2

∂ n  x µ

x

µ

i −

' 

n  i − ' 

∑

= 2

− ∑

= 0









∂µ'

2

σ

σ

i 1

= 

i



i 1

= 

i



Stąd

n  x 

n  µ' 

∑ i −∑

= 0

2

2









σ

σ

i 1

=

i 1

 i  =  i 

n  x 

n  1 

∑ i =



µ'

2 

∑ 2 

σ

σ

i =1

i =

 i 

1 

i



i ostatecznie

∑ n( x 2

σ

i

i

)

i =

µ'= 1

∑ n( 2

1 σ i )

i =1

W celu ustalenia wariancji tego estymatora obliczamy pochodne cząst-kowe:

∑ n( x 2

σ

i

i

)

∂µ'

∂

2

1 σ

i =

=

1

=

i

∂ x

x

i

∂ i ∑ n( 2

2

1 σ

1 σ

i

) ∑ n( i )

i =1

i =1

i zgodnie z prawem przenoszenia wariancja wynosi

n



2

1 σ

2

n

2

1 σ

1

V (µ') = ∑ 

i

2

i

σ

2

i

2

2

σ

σ

σ

i =

1

i

i

1

1 ∑ (

) = ∑



=

2

1 [

=

∑(1 i )] ∑( i )

Estymatory średniej i dyspersji

9

Niepewności względne

Może się zdarzyć, że znamy względne wartości σ nie znając przy tym i

ich wartości bezwzględnych. Wprowadzimy czynniki wagowe (wagi) w i

1

kw =

i

σ i

gdzie k jest pewną stałą. Znajomość względnych niepewności odpowiada znajomości wartości wag w nawet jeżeli σ pozostają nieznane.

i

i

Wtedy

∑ n( x 2

σ

kw x

w x

i

i

) ∑ n( i i) ∑ n( i i) i =1

i =1

i =

µ'=

=

= 1

∑ n( 2

1 σ

kw

w

i

) ∑ n( i) ∑ n( i)

i =1

i =1

i =1

W celu ustalenia wariancji tak obliczonej średniej wprowadzimy nową wielkość – średnią ważoną wariancję wyników 2

σ

w (

∑ x µ

i

i −

')2

2

n



w x



∑ i i

n

2

σ =

=

− µ'2

∑

w

n

i

−1 



∑ w

n

i

−1





Wartość w nawiasie jest różnicą średniego ważonego kwadratu wyników i kwadratu średniej ważonej wyników. Pozostały czynnik uwzględnia fakt, że wartość µ' została obliczona z tych samych wyników, zmniejszając liczbę stopni swobody.

Przez analogię z wcześniej otrzymanymi związkami możemy zapisać, że wariancja µ' wynosi

σ

1 

2

2

w x



∑

V (µ') =

=

i

i

2



− µ' 

n

n −1 ∑ wi



Jeżeli chcielibyśmy znaleźć nieznane dotąd wartości k i σ , to możemy i

przyrównać

2

σ

1

1

=

n

∑

=

1

2

σ

k

w

i

∑ i

Estymatory średniej i dyspersji

10

czyli

n

1

n −1

k =

=

2

σ ∑ w

w x

i



2



∑

∑

i

i

2

wi 

− µ' 

 ∑ wi



oraz

2

1

σ

w

2

∑

i

σ =

=

i

kw

nw

i

i

Przykład

Studentka przeprowadza doświadczenie w celu określenia napięcia ogniwa normalnego. Wykonuje 40 pomiarów przy pomocy pewnego przyrządu i znajduje, że

x = ,

1

V

0220

1

z odchyleniem standardowym

s =

V

010

,

0

1

Po przyjrzeniu się wynikom zauważa, że mogłaby ulepszyć układ pomia-rowy i zmniejszyć niepewność o czynnik 2,5 s =

V

0040

,

0

. Wykonuje

2

kolejnych 10 pomiarów, które dają

x =

V

0180

,

1

2

Średnia wyników wszystkich wykonanych pomiarów wynosi

∑50(

2

x σ

x

s

x

s

i

i

) ∑40( 2

1 i

1 )

10

+ ∑(

2

2 i

2 )

i =1

i =1

i =

x =

=

1

∑50( 2

1 σ

s

s

i

) ∑40( 2

1

1

1 )

10

+ ∑( 22)

i =1

i =1

i =1

40 ⋅ 022

,

1

10 ⋅ 018

,

1

+

01

,

0

2

004

,

0

2

,

4 00 ⋅ 022

,

1

+ ,

6 25 ⋅ ,

1 018

=

V

=

V

40

10

00

,

4

+ ,

6 25

+

,

0 012

004

,

0

2

=

V

019561

,

1

Niepewność wartości średniej napięcia

1

− 2

 40

10



u( x) = 

+



=

V

000987

,

0

 01

,

0

2

004

,

0

2 

Estymatory średniej i dyspersji

11

Ostateczny wynik należy zapisać w formie

x =

V

01956

,

1

, u( x) = ,

0

V

00099

lub alternatywnie

x = ,

1

99

(

01956

V

)

Niepewność końcowego wyniku jest mniejsza od niepewności uzyskanych w każdej z części doświadczenia

01

,

0

004

,

0

u( x ) =

V

=

V

0016

,

0

, u( x ) =

V

=

V

0013

,

0

1

40

2

10

Co by było gdyby studentka nie znała bezwzględnych wartości niepewności swoich pomiarów, a tylko wiedziała (np. od prowadzącego zajęcia), że zostały zmniejszone w drugiej części o czynnik 2,5?

Średnią ważoną może obliczyć w taki sposób

1

1

w =

= 1,

2

w =

= 5

,

2

1

2

s

2

2

s

1

2

∑ n( w xii) 40

i =

⋅1⋅ 022

,

1

+10⋅ 5

,

2 2 ⋅ 018

,

1

1

x =

=

V

=

V

01956

,

1

∑ n( wi)

40 ⋅1+10 ⋅ 5

,

2 2

i 1

=

Niepewność średniej ważonej wyniesie wtedy

40

10

2



w x

∑ 2 x 5,

2

x

1 i +

2 ∑ 22 i



1 



∑ i i

1

2

 i=1

i =1

2 

u( x) =

− x =

−





n −

x

1

w

39 

∑

40

i

+10 ⋅

2

5

,

2















Estymatory średniej i dyspersji

12

Przykład

Student wykonał 100 niezależnych pomiarów długości drewnianego klocka. Wyniki, po korekcie błędów systematycznych, mieszczą się w przedziale od około 18 do 22 cm i wiele z nich powtarza się. Na wykresie przedstawiono je w postaci histogramu (słupki narysowane cienką ciągłą linią) o szerokości przedziału 0,2 cm. Jeżeli obserwowany rozkład wynika z błędów przypadkowych, to jest bardzo prawdopodobne, że da się opisać przy pomocy rozkładu Gaussa (normalnego). Rozkład narysowany linia ciągłą odpowiada parametrom wyznaczonym z wyników pomiarów: średnia 19,98 cm i odchylenie standardowe 0,54 cm.

16

12

arów

omi

8

a pzblic

4

0

18.00

19.00

20.00

21.00

22.00

długość zmierzona, cm

Histogram z szarych słupków jest wyliczony z tego rozkładu normalnego i przedstawia oczekiwaną (średnią) liczbę pomiarów w każdym przedziale. Rozkład narysowany linią przerywaną odpowiada N ( , 20

)

50

,

0

;

00

.

Estymatory średniej i dyspersji

13

Usuwanie wyników odstających

Załóżmy, że wśród wyników zanotowanych przez studenta w karcie po-miarowej znalazł się jeden wyraźnie inny od pozostałych – 91,2 cm.

Zwykle w takim przypadku nie ma wątpliwości, że nastąpiła pomyłka przy zapisywaniu wyniku i wynik odrzuca się jako tzw. błąd gruby. Sytu-acja wygląda jednak inaczej jeżeli odstający wynik wynosiłby np. 22,2

cm. Jeżeli w zestawie 100 wyników wartość 21,2 zastąpimy przez 22,2, to średnia i odchylenie standardowe zmienią się odpowiednio na 19,99 i 0,54. Odległość wyniku od średniej wynosi prawie 4 odchylenia standardowe. Z rozkładu Gaussa N

)

54

,

0

;

99

,

19

(

można wyliczyć, że prawdo-

podobieństwo przypadkowego pojawienia się rezultatu, który jest nie-mniej oddalony od średniej wynosi około 12⋅10-5, to znaczy że spodziewana liczba wyników ≥22,2 cm (lub ≤17,78 cm) wynosi 12⋅10-5 × 100 =

0,012. Czy tak mało prawdopodobny rezultat możemy odrzucić?

Kryterium Chauveneta

Odstający rezultat x można odrzucić, jeżeli spodziewana liczba takich 0

przypadków, że | x − x | |

≥ x − x |

0

n = N ⋅ P(| x − x | |

≥ x − x |) < 5

,

0

0

Kryterium Chauveneta należy stosować z dużą ostrożnością, mając pewność, że potrafimy poprawnie obliczyć prawdopodobieństwo P(| x − x | |

≥ x − x |), co zwykle oznacza, że musimy znać faktyczny roz-0

kład prawdopodobieństwa w danych warunkach.