Nierówność informacyjna

 

 

 

 

 

 

 

 

 

 





 

   





















I

S

I

B

S

x

f

E

E

x

f

x

f

NE

E

I

N

i

1

1

;

ln

''

'

;

;

'

'

2

2

2

1

2

2

2



























































Informacja zawarta w
próbie

Zależność między wariancją estymatora S parametru  a

informacją

Jeżeli obciążenie estymatora (B) jest równe zeru

Weryfikacja hipotez statystycznych

Hipoteza statystyczna – założenie co do

rozkładu cech w populacji.

Test statystyczny – narzędzie weryfikacji tej

hipotezy.

Testy parametryczne: weryfikacja hipotez

parametrycznych, które dotyczą parametrów

rozkładu danej cechy w populacji generalnej.

Testy nieparametryczne: weryfikacja

hipotez nieparametrycznych dotyczących,

np. zgodności rozkładu cech w populacji z

rozkładem teoretycznym, zgodności

rozkładów cech w dwóch różnych

populacjach, losowości próby.

Hipotezy i testy parametryczne

Hipoteza prosta – zakłada wartości

wszystkich parametrów rozkładu.

Hipoteza złożona – wartość co najmniej

jednego parametru jest nieznana (np.
zakładamy tylko postać funkcyjną rozkładu).

Hipoteza zerowa (H

o

) – hipoteza, którą

weryfikujemy.

Hipoteza alternatywna (H

1

) – co najmniej

jeden z parametrów rozkłady jest różny od
tego z hipotezy zerowej.

Błąd pierwszego rodzaju (false
negative) – odrzucenie prawdziwej
hipotezy H

o

.

Błąd drugiego rodzaju (false positive)
–przyjęcie fałszywej hipotezy H

o

.

Błędy popełniane podczas weryfikacji

hipotez statystycznych

Poziom istotności ()
P(|x|x

o

)= (test dwustronny)

P(xx

o

)= (test jednostronny)

Obszar krytyczny (S

c

):

P(xS

c

|H

o

)=

Poziom istotności definiuje
prawdopodobieństwo popełnienia błędu
pierwszwego rodzaju (odrzucenia
prawdziwej hipotezy zerowej).

Moc testu: prawdopodobieństwo
odrzucenia hipotezy zerowej w zależności
od hipotezy alternatywnej.

M(S

c

,)=P(XS

c

|H)=P(XS

c

|)

Test najmocniejszy hipotezy prostej H

o

względem hipotezy alternatywnej H

1

:

P(S

c

,

1

)=1-=max

Test jednostajnie najmocniejszy: test
najmocniejszy względem jakiejkolwiek
hipotezy alternatywnej.

Test F Fishera równości wariancji

Mamy dwie populacje o rozkładzie normalnym (np.
przypadek pomiaru tej samej wielkości różnymi
przyrządami). Pytanie: czy te populacje mają tą samą
wariancję. W tym celu rozważamy iloraz F=s

1

2

/s

2

2

 

 

2

2

2

1

1

2

2

)

2

(

2

1

2

2

1

2

2

2

2

2

2

2

2

2

2

2

2

2

1

2

1

2

1

2

1

1

2

1

2

1

exp

2

2

1

)

1

(

)

1

(

X

X

f

f

F

f

f

fs

s

N

X

fs

s

N

X

f

f













 























































































































 



























































1

1

2

2

2

)

(

1

2

2

2

1

0

2

2

1

1

2

2

1

2

1

2

2

1

2

2

2

1

2

2

2

1

2

1

1

1

F

s

s

P

dF

F

f

f

F

f

f

f

f

f

f

F

s

s

P

F

X

X

P

F

W

F

f

f

f

f

Porównywanie wartości średnich

(test Studenta)











































t

Nf

x

P

t

P

t

F

Nf

x

s

N

x

s

x

t

x

x

N

N

s

x

x

N

j

j

x







)

(

)

(

)

1

(

1

1

2

2

)

1

(

2

1

d

)

(

f

d

f

1

f

f

2

1

)

1

f

(

2

1

)

t

(

F

'

t

0

t

)

1

f

(

2

1

2













































































Weryfikacja hipotezy, że x=

0













2

1

1

x

0

t

s

N

|

x

|

|

t

|

Weryfikacja hipotezy o równości wartości średnich z
dwóch serii pomiarów

)

1

(

)

1

(

)

1

(

)

1

(

|

|

|

|

|

|

2

1

2

2

2

1

2

2

2

1

2

1

2

2

2





































N

N

s

N

s

N

s

s

N

N

N

N

s

s

s

s

y

x

s

t

y

x

y

x

2

2

1

2

1

1

'

























N

N

f

t

t

s

y

x

s

t





Przykład: porównywanie średnich z dwóch serii

oznaczeń azotu w cynchoninie

Grupa 1 Grupa 1

9,29

9,53

9,38

9,48

9,35

9,61

9,43

9,68

średnia

9,363

9,575

odch.stan
d.

0,058

0,088



 



71

,

3

)

6

,

01

,

0

(

;

6

1

4

1

4

;

02

,

4

0527

.

0

575

,

9

363

,

9

0527

,

0

0745

,

0

4

4

4

4

;

0745

,

0

6

088

,

0

3

058

,

0

3

2

2







































t

f

t

s

s

Test Studenta dla par wiązanych

Oznaczanie zawartości NaOH w dwóch seriach

roztworu po elektrolizie NaCl (mg/dm

3

) przed (x) i za

filtrem (y)

x

y

d=y-x

100,1

96,6

-3,5

115,1

115,6

+0,5

130,0

125,5

-4,5

93,6

94,0

+0,4

108,3

103,3

-5,0

137,2

134,4

-2,8

104,4

100,2

-4,2

97,3

97,3

0





36

,

2

7

,

95

,

0

93

,

2

8

32

,

2

40

,

2

7

1

8

32

,

2

40

,

2





















P

t

f

s

d

d

Wykrywanie błędów grubych: test

Dixona (nieparametryczny)

min

max

2

1

x

x

x

x

Q







x

1

– wynik podejrzany o błąd gruby

x

2

– wynik mu najbliższy

Wynik x

1

możemy odrzucić na poziomie

istotności  jeżeli Q > Q(, n) (n jest liczbą

pomiarów).

Wartości krytyczne testu Dixona

n

1-

0.90

0.95

0.99

3

0.89

0.94

0.99

4

0.68

0.77

0.89

5

0.56

0.64

0.76

6

0.48

0.56

0.70

7

0.43

0.51

0.64

8

0.40

0.48

0.58

Przykład: pomiar zawartości

grafitu w żeliwie

1 2,86

2 2,89

3 2,90

4 2,91

5

2,99





5

,

95

,

0

62

.

0

86

.

2

99

.

2

91

.

2

99

.

2

Q

Q

Q











Testy nieparametryczne

• Testy losowości: badamy, czy próba jest losowa

– test mediany (Stevensa).

• Testy zgodności: badamy, czy rozkład z próby

jest zgodny z założonym

– Test 

2

, test W Shapiro-Wilka, test Kołmogorowa test

Lillieforsa (badanie normalności rozkładu).

• Testy jednorodności: badamy, czy dwie próby

pochodzą z tej samej populacji

– test serii Walda-Wolfowitza, test U Manna-Whitneya,

test Kołmogorowa-Smirnowa (dla prób niezależnych),

– test znaków, test kolejnosci par Wilcoxona (dla prób

zależnych).

Test 

2

dobroci dopasowania































N

i

i

i

i

N

i

i

i

i

i

i

f

g

u

T

f

g

u

1

2

1

2





g

i

: wynik i-tego pomiaru

f

i

: wartość teoretyczna wyniku i-tego pomiaru



i

: odchylenie standardowe i-tego pomiaru.

Wielkości u

i

mają rozkład normalny o zerowej średniej i

jednostkowej wariancji a zatem wielkość T ma rozkład 

2

o N-p

stopniach swobody, gdzie p jest liczbą estymowanych
parametrów funkcji f.

Dopasowanie uznajemy za złe na poziomie istotności  jeżeli

T

2



1

Zastosowanie testu 

2

do weryfikacji

hipotezy o rozkładzie częstości

obserwacji









i

dx

x

f

x

P

p

i

i





)

(

)

(

} }

}

}

x

f(x
)



1





2

… 

k

… 

r

























r

i

i

r

i

i

i

i

r

i

i

i

i

n

n

np

np

n

np

n

1

1

2

1

2

2

2

)

(

)

(



Hipotezę o zgodności rozkładu obserwowanego z
rozkładem założonym odrzucamy na poziomie istotności a
jeżeli 

2







1

dla f stopni swobody.

f=liczba stopni swobody=r-p-1 gdzie p jest liczbą parametrów
rozkładu (najwyżej r-1 stopni swobody).

n

i

: liczba obserwacji wielkości w i-tym przedziale;

n: całkowita liczba obserwacji.

np

i

: wartość oczekiwana liczby obserwacji w i-tym

przedziale

Wartość oczekiwana
wariancji liczby
obserwacji.

Przykład: porównanie
liczby zliczeń par
elektron-pozyton w
komorze pęcherzykowej
naświetlonej
promieniowaniem  z

rozkładem Poissona.



2

=10.44



2

0.99

=16.81

Nie ma zatem podstaw
do odrzucenia rozkładu
Poissona.









k k

k

k

n

e

k

k

p

!

/

~

!

)

(







Zastosowanie testu 

2

do analizy tabeli

wkładów

y

1

y

2

…

y

l

x

1

n

11

n

12

…

n

1l

x

2

n

21

n

22

…

n

2l

… …

…

…

…

x

k

n

k1

n

k2

…

n

kl

































k

i

l

j

ij

k

i

ij

j

l

j

ij

i

k

i

l

j

j

i

j

i

ij

n

n

n

n

q

n

n

p

q

p

n

q

p

n

n

1

1

1

1

1

1

2

2

1

~

1

~

~

~

)

~

~

(

x, y: zmienne losowe mogące przyjmować wartości
odpowiednio x

1

, x

2

,…, x

k

oraz y

1

, y

2

,…, y

l

.

Każdej kombinacji zmiennych (x

i

,y

j

)

przyporządkowana jest liczba obserwacji n

ij

.

Jeżeli zmienne są współzależne na poziomie istotności  to 

2







1

dla f=kl-1-(k+l-2)=(k-1)(l-1) stopni swobody.

y

1

y

2

x

1

n

11

=

a

n

12

=

b

x

2

n

21

=

c

n

22

=

d

)

)(

)(

)(

(

)

(

2

2

d

b

c

a

d

c

b

a

bc

ad

n















Przykład z medycyny: ocena skuteczności dwóch
metod leczenia danej choroby.

x

1

: pierwsza metoda

leczenia

x

2

: druga metoda leczenia

y

1

: przypadki wyleczone

y

2

: przypadki niewyleczone

f=liczba stopni swobody=(2-1)(2-1)=1

Jeżeli metody leczenia mają różną skuteczność to










Test mediany (badanie losowości

próby)

1.

1.

Wyznaczamy medianę (m).

Wyznaczamy medianę (m).

2.

2.

Danym nieuporządkowanym przyporządkowujemy

Danym nieuporządkowanym przyporządkowujemy

następujące oznaczenia:

następujące oznaczenia:

•

A gdy x<m

A gdy x<m

•

B gdy x>m

B gdy x>m

•

0 gdy x=m

0 gdy x=m

3.

3.

Obliczamy liczbę następujących po sobie serii AAA…

Obliczamy liczbę następujących po sobie serii AAA…

A i BBB…B.

A i BBB…B.

Liczby serii spełniają rozkład normalny z następującą

Liczby serii spełniają rozkład normalny z następującą

wartością średnią i wariancją

wartością średnią i wariancją

 

 









1

1

2

2

1

2

2

2











n

n

n

n

n

n

K

s

n

n

n

K

E

b

a

b

a

b

a

n

a

– liczba pomiarów A; n

b

– liczba pomiarów B; n – liczba

pomiarów

74,5 191,0 55,5

5,15

36,4

35,0

46,0

10,9

7,35

6,65

B

B

B

A

B

A

B

A

A

A

173,

5

26,0

B

A

Mediana m=35,7

n=12, n

a

=6, n

b

=6

Liczba serii k=8

Przykład (seria 12 pomiarów)

E(k)=2*6*6/12+1=7, s

2

(k)=2*6*6*(2*6*6-1)/

[12*12*(12-1)]=3.23

Dla a=5% (ok. 3s odchylenia) przedział ufności rozciąga
się od k=3 do k=10. Próba jest zatem losowa.

Test Wilcoxona (par wiązanych)

• W tabeli ustawiamy w pary odpowiadające

wielkości i obliczamy różnice.

• Sortujemy pary według różnic.
• Każdej parze przyporządkowujemy rangę,

która jest równa numerowi porządkowemu

pary (po sortowaniu), przy czym uśredniamy

rangi, którym odpowiadają te same różnice.

• Osobno sumujemy rangi dodatnie i ujemne.
• Mniejsza z tych sum stanowi statystykę W

Wilcoxona.

• Porównujemy W z wartością krytyczną i

odrzucamy hipotezę o identyczności

wyników w parach jeżeli W>W

tab

.

W

J

d

ranga znak

3,2

3,5

0,3

5

+

2,7

3,0

0,3

5

+

3,1

3,8

0,7

10

+

2,9

3,2

0,3

5

+

3,4

3,8

0,4

8,5

+

2,8

3,2

0,4

8,5

+

3,4

3,7

0,3

5

+

3,4

3,6

0,2

1,5

+

3,2

3,4

0,2

1,5

+

3,3

3,6

0,3

6

+

sum

a

31,4

34,8

3,4

55

Przykład: ocena różnic wysokości drzew wiosną

i jesienią

Dla dużych prób liczba znaków „+” spełnia
rozkład normalny z wartością średnią E(W

+

) i

wariancją s

2

(W

+

):

 





 







24

1

2

1

4

1

2















n

n

n

W

s

n

n

W

E