Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

1

MPiS30 W12: WERYFIKACJA HIPOTEZ

NIEPARAMETRYCZNYCH

1. Testy nieparametryczne
2. Dystrybuanta empiryczna i jej własności
3. Testy zgodności
4. Test zgodności chi-kwadrat Pearsona

Przykład 1
Przykład 2

5. Test zgodności Kołmogorowa
6. Test niezależności chi-kwadrat

Przykład 3

7. Test losowości próby
8. Test na zrozumienie wykładu

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

2

1. Testy nieparametryczne

Testy nieparametryczne dotyczą różnorodnych właściwości

prób losowych. Zakładając, że hipoteza zerowa jest prawdziwa
rozkład statystyki nie zależy od postaci rozkładu badanych cech.
W konsekwencji testy te nie wymagają tak silnych założeń jak
testy parametryczne, np. o normalności rozkładu badanej cechy.
Ze względu na zakres zastosowań testy te dzielimy na grupy:

1) testy zgodności rozkładu empirycznego z teoretycznym,

2) testy zgodności dwóch lub więcej rozkładów emp.,
3) testy niezależności,
4) testy jednorodności rozkładów cech,
5) testy losowości próby,
6) testy stosowane w analizie regresji.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

3

2. Dystrybuanta empiryczna i jej własności

Niech X



(X

1

,…, X

n

) będzie n-elementową prostą próbą losową.

Dystrybuantą empiryczną nazywamy funkcję

F

n

: R



[0, 1],

która dla x



R oraz X



(



oznacza przestrzeń prób) jest okre-

ślona wzorem:

}

:

}

,...,

2

,

1

{

1

)

;

(

x

X

n

k

n

x

F

k

n







X

,

gdzie funkcja zbioru



A



zlicza elementy zbioru A.

Dla każdej ustalonej wartości próby x



(x

1

,…, x

n

) funkcja

F

n

(



; x) jest dystrybuantą schodkową, mającą skoki wielkości

1/n w punktach x

1

,…, x

n

.

Dla każdego ustalonego x



R funkcja F

n

(x; X) jest zm. l.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

4

Twierdzenie (o lokalnych własnościach dystrybuanty F

n

).

Jeżeli F

n

jest dystrybuantą empiryczną z n-elementowej pró-

by X pobranej z rozkładu o dystrybuancie F, to dla x



R:

a) nF

n

(x; X) jest zm. l. o rozkładzie bin(n, F(x));

b) P(lim

n



F

n

(x; X)



F(x))



1;

c) Ciąg zm. l. {F

n

(x; X)} jest asymptotycznie normalny

N(F(x), (F(x)(1



F(x))/n)

1/2

).

Dowód. Teza a) jest oczywista, teza b) jest bezpośrednim wnio-
skiem z prawa wielkich liczb, teza c) jest wnioskiem z CTG.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

5

3. Testy zgodności

Testy zgodności (goodness-of-fit tests) służą do weryfikacji

hipotez orzekających o postaci rozkładu badanej cechy (lub kil-
ku cech) w populacji.

Rozkład hipotetyczny zwykle jest określony za pomocą dys-

trybuanty F

0

(x) lub symbolicznego oznaczenia rozkładu.

Weryfikowana jest hipoteza zerowa

H

0

: F

X

(x



)



F

0

(x



);

przeciw hipotezie alternatywnej

H

1

: F

X

(x



)



F

0

(x



);



jest parametrem, którego wartość też może być weryfikowana.

Stosując symboliczne oznaczenia rozkładów „SYMBOL(



)”

hipotezę zerową zapisujemy H

0

: X~ SYMBOL(



).

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

6

Hipoteza alternatywna jest zaprzeczeniem hipotezy zerowej.

Przykłady hipotez zerowych:

X ~ N(m,



), gdzie m i



są pewnymi, nie interesującymi nas

parametrami,

X ~ N(m

0

,



), gdzie m

0

jest ustaloną wartością oczekiwaną, a



nie interesującym nas parametrem,

Do podstawowych testów zgodności należą:
a) test zgodności chi-kwadrat Pearsona,

b) test zgodności



Kołmogorowa,

c) test zgodności Kołmogorowa-Smirnowa,

d) test znaków,

e) test Smirnowa zgodności trzech rozkładów empirycznych.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

7

4. Test zgodności chi-kwadrat Pearsona

Test zgodności chi-kwadrat oparty jest na szeregu rozdziel-

czym i przeprowadza się go tylko dla dużej próby prostej.

Próba prosta X pochodzi z populacji X o nieznanym rozkła-

dzie ciągłym lub skokowym. Zasady podziału próby na k klas są
typowe.

A. W przypadku cechy ciągłej oś liczbową dzielimy punkta-

mi g

i

, i



1, 2,…, k



1 na rozłączne przedziały



i

.

Otrzymujemy w ten sposób k przedziałów,



1



(



, g

1

],



2



(g

1

, g

2

],…,



k



(g

k



1

,



).

Przez N

i

oznaczamy liczbę obserwacji w przedziale



i

(li-

czebność empiryczna). Liczebność próby spełnia warunek

n



N

1



N

2



…



N

k

.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

8

Utworzonym przedziałom klasowym odpowiadają liczebno-

ści teoretyczne np

i

, gdzie p

i



P(X



i

)



F(g

i

)



F(g

i



1

), i = 1,

2,..., k oraz F(g

0

)



0, F(g

k

)



1.

Statystykę















k

i

i

i

i

np

np

N

1

2

2

nazywamy statystyką



2

Pearsona

1

. Dla efektywnego obliczenia

prawd. p

i

należy znać wszystkie parametry dystrybuanty teore-

1

Karl Pearson (1857 – 1936)



matematyk, filozof i biolog angielski. Jeden z twórców współ-

czesnej statystyki.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

9

tycznej. Jeżeli parametry nie są znane, to estymujemy je metodą
największej wiarygodności.
Twierdzenie o rozkładzie statystyki



2

Pearsona. Jeżeli nie-

znane parametry dystrybuanty F są oszacowane metodą naj-
większej wiarygodności, to dystrybuanta statystyki



2

Pearsona

jest zbieżna, dla n



, do dystrybuanty rozkładu chis(k



r



1),

gdzie r jest liczbą estymowanych parametrów rozkładu teore-
tycznego.

Gdy liczebności teoretyczne dla pewnych klas są mniejsze od

liczby 5, to należy je połączyć z sąsiednimi klasami, tak aby
sumaryczne liczebności nowych klas wynosiły co najmniej 5.
Dla klas ze środka szeregu rozdzielczego łączenie następuje
z klasą, która jest bliższa skrajnej.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

10

W wyniku łączenia klas nastąpi zmniejszenie ich liczby, co

spowoduje zmniejszenie liczby stopni swobody





k



r



1, więc

może się zdarzyć, że





1 i braknie stopni swobody. W takiej

sytuacji zwiększamy liczebność próby lub zwiększamy liczbę
klas przed ich łączeniem.

Obszar krytyczny: R





(



2

1



, k



r



1

,



), gdzie



2

1



, k



r



1

jest

kwantylem rzędu 1



rozkładu chis(k



r



1).

Przykład 1. W celu zbadania rozkładu długości X produkowa-
nego parkietu, została pobrana próba losowa o liczebności n =
150 klepek. Dokonano pomiaru ich długości. Wyniki w mm są
zebrane w postaci szeregu rozdzielczego:

Przedział i

Liczebność N

i

(



, 249,20]

11

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

11

(249,200; 249,600]

22

(249,600; 250,000)

44

(250,000; 250,400]

38

(250,400; 250,800]

26

(250,800;



)

9





150

Zweryfikować hipotezy dotyczące zgodności rozkładu długości
parkietu z rozkładami: a) N(249,9; 0,5) [mm], b) N(m,



).

Rozwiązanie. a) Sprawdzana jest hipoteza o normalności roz-
kładu długości klepek ze znanymi parametrami, tj.

H

0

: X ~ N(249,9; 0,5).

Przyjmujemy, że hipoteza H

0

jest prawdziwa i wyznaczamy

liczebności teoretyczne:

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

12

p

1



P(X



249,2)





(



1,4)



0,08076,

p

2



P(249,2 < X



249,6)





(



0,6)





(



1,4)



0,2743



0,08076



0,19354, itd.

i Przedział w [mm]

N

i

np

i

Chi-kwadrat

1

(



, 249,20]

11

12,1135

0,10

2 (249,200; 249,600] 22

29,0245

1,70

3 (249,600; 250,000) 44

45,7510

0,07

4 (250,000; 250,400] 38

39,3128

0,04

5 (250,400; 250,800] 26

18,4087

3,13

6

(250,800;



)

9

5,3895

2,42



150 150,0000

7,46

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

13

Rozważany szereg rozdzielczy ma sześć klas (k = 6) spełnia wa-
runki poprawnego stosowania testu chi-kwadrat. Parametry roz-
kładu są znane, więc statystyka testowa ma rozkład chi-kwadrat
z 5. stopniami swobody.

Wartość statystyki testowej wynosi



0

2



7,46. Obszar kry-

tyczny R

0,95

= (11,1;



).

Decyzja: Ponieważ statystyka testowa nie należy do obszaru

krytycznego, więc nie mamy podstaw do odrzucenia hipotezy,
że rozkład długości klepek parkietowych jest normalny z poda-
nymi parametrami, tj. X ~ N(249,9; 0,5)[mm].

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

14

b) Weryfikowana jest hipoteza H

0

: X ~ N(m,



) z nieznanymi

parametrami m i



. Obydwa parametry estymujemy z próby.

Oceny tych parametrów wynoszą:

984

249

ˆ

,

m

n





x

,

55287

,

0

ˆ







n

s

.

Statystyka testowa



2

~ chis(k



3), gdzie k jest liczbą klas,

po połączeniu tych, których liczebności teoretyczne są mniejsze
od liczby 5. Statystykę tą należy obliczyć jak w podpunkcie a) z
uwzględnieniem oszacowanych parametrów.

Podejmując decyzję o normalności rozkładu długości klepek

parkietowych, sprawdzamy czy statystyka ta należy do obszary
R

0,95

= (7,81;



).

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

15

B. Test zgodności dla cechy skategoryzowanej

Szczególnym przypadkiem testu zgodności jest test dla roz-

kładu wielomianowego. Rozkład wielomianowy jest uogólnie-
niem rozkładu dwumianowego.

W przypadku wielomianowym mamy k > 2 możliwych kate-

gorii danych E

1

,…, E

k

. Punkt danych należy tylko do jednej z k

kategorii i prawdop., że punkt ten należy do i-tej kategorii (gdzie
i



1,…, k) jest stałe i równe p

i

. Oczywiście, p

1



…



p

k



1.

Bezpośrednie stosowanie rozkładu wielomianowego jest

trudne i rozkład chi-kwadrat jest bardzo dobrą alternatywą, gdy
liczebność próby jest dostatecznie duża.

Hipoteza zerowa ma postać: H

0

: P(E

i

)



p

i

, dla i



1,…, k.

Hipoteza alternatywna jest zaprzeczeniem hipotezy zerowej.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

16

Do sprawdzenia hipotezy zerowej korzystamy ze statystyki

chi-kwadrat z k



1 stopniami swobody.

Rozkład chi-kwadrat stosujemy wówczas, gdy liczebność

teoretyczna w każdej klasie jest równa co najmniej 5.

Przykład 2. 180 studentów jest podzielonych na 6 równych
grup ćwiczeniowych. Na wykładzie ze statystyki matematycznej
w dniu 6.11.2011 obecnych było 10-ciu studentów z grupy 1,
11-tu studentów z grupy 2, 17-tu studentów z grupy 3, 20-tu
studentów z grupy 4, 1 student z grupy 5 i 16-tu studentów z
grupy 6.

Czy rozkład liczby studentów obecnych na wykładzie można

uznać za równomierny w grupach ?

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

17

Rozwiązanie. Niech p

i

dla i



1,…,6 oznacza prawdop. zdarze-

nia, że losowo wybrany student obecny na wykładzie jest przy-
pisany do i



tej grupy ćwiczeniowej. Hipoteza zerowa ma postać

H

0

: p

1



…



p

6



1/6.

Hipoteza alt. orzeka zróżnicowane zainteresowanie wykładem w
poszczególnych grupach.

Aby obliczyć statystykę chi-kwadrat, musimy znaleźć liczeb-

ności teoretyczne dla wszystkich sześciu grup.

Obliczenia są zestawione w tablicy

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

18

Wyznaczamy obszar krytyczny R





(



2

1



, k



1

,



).

Z tablic odczytujemy



2

0,95, 5



11,1.

Ponieważ



2

0



18,36



(11,1;



), więc odrzucamy hipotezę ze-

rową o jednakowym zainteresowaniu wykładem w grupach.

numer

grupy

liczebność

empiryczna

liczebność

teoretyczna

chi-kwadrat

1

10

12,5

0,5

2

11

12,5

0,18

3

17

12,5

1,62

4

20

12,5

4,5

5

1

12,5

10,58

6

16

12,5

0,98



75

75

18,36

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

19

5. Test zgodności Kołmogorowa

Test zgodności



Kołmogorowa można stosować dla dużych

prób X, ale tylko dla populacji X o rozkładzie absolutnie cią-
głym. Istotę testu nie stanowi porównanie liczebności empirycz-
nych z teoretycznymi, jak to było w teście Pearsona, lecz
wprost porównanie wartości dystrybuanty empirycznej i teore-
tycznej. Statystyka testowa



Kołmogorowa mierzy odległość

dystrybuanty emp. F

n

(x;X) od dystrybuanty teoretycznej F(x), tj.

)

(

)

;

(

sup

x

F

x

F

n

n

x









X

R

.

Aby wyznaczyć statystykę



Kołmogorowa trzeba znać dane

szczegółowe. Rozkład graniczny statystyki



nazywamy rozkła-

dem Kołmogorowa. Jest on stablicowany.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

20

6. Test niezależności chi-kwadrat

Populacja generalna jest badana ze względu na dwie cechy X i Y,
niekoniecznie mierzalne. Sprawdzamy hipotezę zerową

H

0

: X i Y są niezależne,

tj., że dla każdego x i y



R, F

XY

(x, y)



F

X

(x) F

Y

(y), przeciw hi-

potezie H

1

: F

XY

(x, y)



F

X

(x) F

Y

(y)

Dużą próbę o liczebności n (zwykle n



100) dzielimy ze

względu na cechę X na r klas, a ze względu na cechę Y na s klas.
W ten sposób wszystkie elementy z próby dzielimy na rs klas
otrzymując tak zwaną tablicę wielodzielczą. Hipotezę H

0

łatwiej

jest sprawdzać w postaci: p

ij



p

i



p



j

, gdzie i



{1,…, r},

j



{1,…, s}.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

21

Niech n

ij

oznacza liczbę elementów, które ze względu na ce-

chę X znajdą się w i-tej klasie, a ze względu na cechę Y są w j-
tej klasie. Określamy liczebności brzegowe

n

i





N

i1



N

i2



…



N

is

, n



j



N

1j



N

2j



…



N

rj

Z liczebności brzegowych szacujemy prawdop. brzegowe

p

i





n

i



/n, p



j



n



j

/n.

Przy założeniu niezależności cech X i Y, obliczamy prawdop. hi-
potetyczne p

ij



p

i



p



j

.

Następnie konstruujemy statystykę

(*)













r

i

s

j

ij

ij

ij

np

np

n

1

1

2

2

)

(

.

Statystyka (*) ma rozkład podany w tw. Pearsona (1916).

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

22

Twierdzenie o rozkładzie statystyki



2

. Dystrybuanta statysty-

ki



2

określonej wzorem (*), jest zbieżna dla n



do dystrybu-

anty rozkładu chi-kwadrat o (r



1)(s



1) stopniach swobody.

Obszar krytyczny: R





(



2

1



;(r



1)(s



1)

,



).

Założenia testu: n



100, wszystkie np

ij



8.

Jeżeli liczebności n

ij

< 8, to łączymy dwie klasy w jedną.

Jeżeli r



s



2, to tablicę [n

ij

] nazywamy tablicą czteropolo-

wą i statystyka



2

ma jeden stopień swobody. W takich przy-

padkach zalecane jest „skorygowanie” wartości statystyki tak,
aby jej rozkład dyskretny był lepiej przybliżony przez ciągły
rozkład chi-kwadrat.

Korekta ta, zwana poprawką Yatesa, polega na odjęciu liczby

½ od modułu różnicy liczebności zaobserwowanych i hipote-
tycznych przed podniesieniem tej różnicy do kwadratu.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

23

Przykład 3. Wybrano losowo próbę 100 firm i dla każdej z nich
zanotowano czy miała zysk, czy straty oraz czy należy do sekto-
ra usług, czy nie. Dane podsumowane w postaci tablicy 2



2 są

przedstawione w tablicy 1.

Tablica 1.

Zysk/strata

Rodzaj działalności

Suma

usługi

inne

Zysk

Strata

42
6

18
34

60
40

Suma

48

52

100

Zbadać, czy obydwa zdarzenia „firma przyniosła zysk” i „firma
działa w sektorze usług” są niezależne.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

24

Rozwiązanie. Wyznaczamy liczebności hipotetyczne
np

11



np

1



p



1

= n (N

1



/n)( N



1

/n)



N

1



N



1

/n



60



48/100



28,8;

np

12



N

1



N



2

/n



60



52/100



31,2;

np

21



N

2



N



1

/n



40



48 /100



19,2;

np

22



N

2



N



2

/n



40



52/100



20,8

i zestawiamy je w tablicę

Usługi Inne

Zysk

28,8

(42)

31,2

(18)

Strata

19,2

(6)

20,8

(34)

Obliczamy statystykę chi-kwadrat z poprawką Yatesa.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

25



















r

i

s

j

ij

ij

ij

np

np

N

1

1

2

2

5

,

0



skorygowana na ciągłość

statystyka chi-kwadrat,

92

,

26

8

,

20

)

5

,

0

2

,

13

(

2

,

19

)

5

,

0

2

,

13

(

2

,

31

)

5

,

0

2

,

13

(

8

,

28

)

5

,

0

2

,

13

(

2

2

2

2

2
0





















Obszar krytyczny dla





0,01, R

0,01



(



2

0,99; 1

,



).

Kwantyl rozkładu chi-kwadrat



2

0,99;1



6,63.

Wniosek: Obliczona wartość statystyki 26,92 jest o wiele więk-
sza od wartości krytycznej 6,63, więc odrzucamy hipotezę ze-
rową i wnioskujemy, że dwie badane cechy, zysk/strata oraz typ
działalności firmy, nie są niezależne.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

26

7. Test losowości próby

Losowość próby odgrywa kluczową rolę we wnioskowaniu sta-
tystycznym. Najczęściej stosowanymi testami losowości próby
są testy oparte na liczbie serii. Serią nazywamy każdy podciąg
ciągu elementów a i b o takiej własności, że wszystkie kolejne
elementy podciągu są tego samego typu.
Założenia: 1) badana cecha ma dowolny rozkład,

2) pobrano n-elementową próbę x

1

,…, x

n

.

Hipotezy: H

0

: próba ma charakter losowy,

H

1

: kolejne wartości próby są zależne.

Statystyka: k



liczba serii w ciągu elementów a, b,

gdzie a – zdarzenie x

i

< me, b – zdarzenie x

i

> me,

me = mediana empiryczna.

Obszar krytyczny: Ustalony z tablicy wartości krytycznych.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

27

8. Test na zrozumienie wykładu

1. Zaplanować doświadczenie do zbadania symetryczności mo-
nety. Powiedzmy, że w 100 rzutach monetą otrzymano

a) 55 orłów, b) 65 orłów.

Co możemy powiedzieć o symetryczności monety na poziomie
istotności 0,05 ? Odp.: a)



2

0



1; b)



2

0



9;



2

0,95; 1



3,8415.

2. Do każdej z 20 tarcz oddano po 5 niezależnych strzałów i za-
notowano liczbę trafień. Wyniki strzelania podane są w tabeli:

Liczba trafień

0 1 2 3 4 5

Liczba tarcz

1 2 3 10 3 1

Na poziomie istotności 0,1 zweryfikować hipotezę orzekającą,
że liczba trafień do tarczy ma rozkład dwumianowy.

Karol J. Andrzejczak, MPiS30 W12: Weryfikacja hipotez nieparametrycznych

28

Odp.: Łączymy klasy i szacujemy parametr p,

55

,

0



n

p

. Od-

rzucamy hipotezę zerową.

3. Dane z próby zostały pogrupowane w tabeli:

Przedział Liczba wyników

(−



, −1)

[−1, 1]

(1,



)

11
76
13

Na poziomie istotności



0,05 zweryfikować hipotezy:

a) dane pochodzą z rozkładu N(1,



);

b) dane pochodzą z rozkładu N(m,



),

c) dane pochodzą z rozkładu N(0, 1).

4. Zaprojektować badanie niezależności preferencji kolorów aut
od płci kierowcy.