STATYSTYKA

Weryfikacja hipotez statystycznych

(testowanie hipotez statystycznych)

Hipotezy statystyczne

Niech będzie dana przestrzeń statystyczna (W,F,P), gdzie P={P_q,qÎQ} jest rodziną rozkładów prawdopodobieństwa opisującą wynik eksperymentu, a Q jest jakąś przestrzenią parametrów przy czym Q₁ČQ₂=Q, Q₁ÇQ₂=Ć.

Stwierdzenie (hipotezę statystyczną) q Î Q₁ będziemy nazywać hipotezą zerową i będziemy zapisywać

H: q Î Q₁,

zaś stwierdzenie (hipotezę statystyczną) q Î Q₂ będziemy nazywać hipotezą alternatywną (dla hipotezy H) i będziemy zapisywać

K: q Î Q₂.

Przykład

Stawiamy hipotezę, że prawdopodobieństwo q wyrzucenia „orła” w rzucie symetryczną monetą wynosi 1/2, tzn.

H: q = 0,5

Hipotezą alternatywną jest: K: q ą 0,5

Hipotezę statystyczną nazywamy prostą, gdy zbiory Q₂ oraz Q₂ zawierają dokładnie po jednym elemencie, w przeciwnym razie mówimy o hipotezie złożonej.

Przykład (hipotezy prostej)

Dokładność pomiaru mierzona jest wartością odchylenia standardowego s względnego błędu pomiaru. Badane urządzenie pomiarowe należy zakwalifikować do jednej z dwu klas odpowiadających względnemu błędowi pomiaru 1% lub 2%. Mamy więc do czynienia z weryfikacją hipotezy zerowej H: s=0.01 przeciwko hipotezie alternatywnej K: s=0.02.

Przykład (hipotezy złożonej)

Badano roczny zysk wykazywany przez grupę firm. Weryfikowano hipotezę, że oczekiwany (średni) zysk jest nie mniejszy od zera, przy alternatywie, że jest on mniejszy od zera. Mamy więc do czynienia z weryfikowaniem hipotezy zerowej H: mł0 przeciwko hipotezie alternatywnej K: m<0.

Test statystyczny

Testem statystycznym nazywamy procedurę postępowania, która możliwym realizacjom próby losowej (X₁,X₂,...,X_n) określonej na przestrzeni statystycznej (W,F,P) przypisuje decyzje odrzucenia (albo przyjęcia) weryfikowanej hipotezy.

W celu zbudowania testu statystycznego konstruujemy dwa dopełniające się zbiory W i W' (WÇW'=Ć, WČW'=R) oraz pewną statystykę T=T(X₁,X₂,...,X_n) zwaną statystyką testową.

Decyzje podejmujemy w następujący sposób:

jeżeli T=T(X₁,X₂,...,X_n)ÎW , to H odrzucamy;

jeżeli T=T(X₁,X₂,...,X_n)ĎW , to H przyjmujemy.

Zbiór W nazywamy zbiorem krytycznym (zbiorem odrzuceń hipotezy H), a zbiór W' nazywamy zbiorem przyjęć.

Jeżeli weryfikowaną hipotezę nie odrzucamy, to bezpieczniej jest powiedzieć, że nie ma podstaw do jej odrzucenia, niż mówić o przyjęciu hipotezy alternatywnej.

Błędy decyzji statystycznych

• odrzucamy weryfikowaną hipotezę H, gdy jest ona prawdziwa; jest to tzw. błąd pierwszego rodzaju;

• przyjmujemy weryfikowaną hipotezę H, gdy jest ona fałszywa; jest to tzw. błąd drugiego rodzaju.

Błędne decyzje statystyczne podejmowane są z określonymi prawdopodobieństwami nazywanymi, odpowiednio, prawdopodobieństwem błędu pierwszego rodzaju oraz prawdopodobieństwem błędu drugiego rodzaju.

Przy ustalonej liczności próby losowej nie jest możliwe jednoczesne minimalizowanie tych prawdopodobieństw. Zwykle ustalamy dopuszczalną wielkość prawdopodobieństwa błędu pierwszego rodzaju, którą nazywamy poziomem istotności a. Wśród testów spełniających wymaganie określone poziomem istotności poszukujemy takiego, by zminimalizowane zostało prawdopodobieństwo błędu drugiego rodzaju.

Testy zgodności

Testy zgodności służą do weryfikacji hipotez o postaci rozkładu prawdopodobieństwa.

Na podstawie wyników badania próby losowej X₁,X₂,...,X_n , której elementy mają rozkład prawdopodobieństwa o dystrybuancie F weryfikujemy hipotezę

H: F = F₀

gdzie F₀ jest zadaną dystrybuantą.

Testy zgodności są na ogół testami nieparametrycznymi, gdyż alternatywa ma zwykle postać: K: F ą F₀.

Test zgodności chi-kwadrat Pearsona

Przyjmijmy, że wyniki obserwacji próby losowej zostały pogrupowane w k rozłącznych klas, o licznościach n₁,n₂,...,n­_k, przy czym n₁+n₂+...+n­_k=n. Należy teraz przyjąć założony rozkład prawdopodobieństwa i dla tego rozkładu wyznaczyć prawdopodobieństwa p­₁, p₂,....,p_k, że obserwowana zmienna losowa przyjmie wartość z danej klasy.

K.Pearson zaproponował wykorzystanie statystyki

Jeżeli spełniony jest warunek min(n₁,n₂,...,n­_k)>5 i liczność próby jest duża (np. nł100), to w przypadku słuszności weryfikowanej hipotezy rozkład prawdopodobieństwa statystyki jest rozkładem chi-kwadrat o k-1 stopniach swobody.

Hipotezę o zgodności obserwacji z założonym rozkładem prawdopodobieństwa odrzucamy gdy gdzie jest kwantylem rzędu 1-a w rozkładzie chi-kwadrat o k-1 stopniach swobody (tablice).

Przykład

Badano 100 segmentów procesu produkcyjnego, po 1000 elementów każdy. Poszczególne elementy oceniano jako zgodne lub niezgodne z wymaganiami. Zaobserwowano następujące wyniki badania

Numer klasy	Liczba elementów niezgodnych	Liczba segmentów procesu
1	0	34
2	1	35
3	2	16
4	3	9
5	4 i więcej	6

Zweryfikować hipotezę, że liczba elementów niezgodnych w jednym segmencie badanego procesu opisana jest rozkładem dwumianowym o parametrach m=1000 oraz p=0.001 Poziom istotności testu ustalamy na a=0.05.

Prawdopodobieństwa p_i , i=1,2,3,4 wyznaczamy z rozkładu dwumianowego

zaś p₅=1-(p₁+p₂+p₃+p₄)

Wyniki obliczeń

Nr klasy i	ni	pi	npi
1	34	0,3677	36,77
2	35	0,3681	36,81
3	16	0,1840	18,40
4	9	0,0613	6,13
5	6	0,0189	1,89

Stąd

Weryfikowaną hipotezę należy więc na danym poziomie istotności odrzucić.

Test zgodności chi-kwadrat Pearsona może być stosowany zarówno w przypadku rozkładów ciągłych jak i rozkładów dyskretnych. Ma on dobre własności statystyczne dopiero przy bardzo dużych licznościach próby losowej.

Test zgodności Kołmogorowa

Test zgodności Kołmogorowa wykorzystuje się w przypadku weryfikowania hipotez dla rozkładów zmiennych losowych ciągłych.

Niech F₀(s) będzie założoną dystrybuantą (hipotetyczną), a F_n(s) zaobserwowaną w próbie losowej X₁,X₂,...,X_n dystrybuantą empiryczną.

Statystyką testową jest statystyka Kołmogorowa

Hipotezę o zgodności z założonym rozkładem prawdopodobieństwa odrzuca się, gdy zachodzi nierówność D_n>d_n(1-a), gdzie d_n(1-a) jest kwantylem rzędu 1-a (stablicowanym) rozkładu prawdopodobieństwa statystyki D_n.

Dla dużych liczności próby nł100 hipotezę o zgodności z założonym rozkładem prawdopodobieństwa odrzuca się, gdy zachodzi nierówność , gdzie l_1-a jest kwantylem rzędu 1-a (stablicowanym ) rozkładu prawdopodobieństwa statystyki l-Kołmogorowa.

Testy normalności

W pewnych przypadkach interesuje nas czy dany rozkład prawdopodobieństwa jest rozkładem normalnym. Do weryfikacji tej hipotezy możemy wykorzystać klasyczne testy zgodności. Konieczna jest jednak znajomość wartości parametrów rozkładu. Możliwa jest jednak weryfikacja takiej hipotezy przy pomocy testów wyspecjalizowanych, np. testu Shapiro-Wilka. Który jest zalecany jest dla przypadków, gdy liczność próbki należy do przedziału [8,50]

Zaobserwowane w próbce wartości badanej zmiennej losowej należy uporządkować w nierosnący ciąg i wyznaczyć wartość następującej statystyki

gdzie indeks sumowania k przyjmuje wartości od 1 do n/2 dla n parzystego, lub od 1 do (n-1)/2 dla n nieparzystego, a współczynniki a_k podane są np. w odpowiedniej tablicy normy ISO 5479

k/n	8	9	10
1	0,6052	0,5888	0,5739
2	0,3164	0,3244	0,3291
3	0,1743	0,1976	0,2141
4	0,0561	0,0947	0,1224
5			0,0399

Przykładowe współczynniki a_k testu Shapiro-Wilka.

Właściwą statystyką testu Shapiro-Wilka jest statystyka W

Wartości krytyczne statystyki W testu Shapiro-Wilka podane są w normie ISO 5479. Hipotezę o normalności rozkładu odrzucamy gdy zaobserwowana w próbce wartość statystyki W jest mniejsza od odpowiedniej wartości krytycznej.

n / a	0,01	0,05
8	0,749	0,818
9	0,764	0,829
10	0,781	0,842
11	0,792	0,850

Przykładowe wartości krytyczne statystyki W testu Shapiro-Wilka.

Przykład

Zaobserwowano 10 realizacji zmiennej losowej

-.604 -.980 -.008 -.611 .536 .810 2.022 -1.372 1.064 -.519

Zweryfikować hipotezę o normalności rozkładu prawdopodobieństwa, z którego pochodzą te obserwacje, przyjmując poziom istotności testu równy a=0,05..

Po uporządkowaniu danych mamy:

-1.372, -.980, -.611, -.604, -.519, -.008, .536, .810, 1.064, 2.022

S=0.5739(2.022+1.372)+0.3291(1.064+0.980)+ .... = 3.0847

Po dalszych obliczeniach uzyskujemy: W=0.948. Wartość ta jest większa od wartości krytycznej 0.842, a więc nie ma powodu by odrzucić hipotezę o normalności badanego rozkładu prawdopodobieństwa.

Graficzna weryfikacja hipotezy o normalności rozkładu

Wykorzystujemy specjalne siatki prawdopodobieństwa (wykresy w układzie współrzędnych o specjalnie dobranych skalach na osi X i osi Y. Na wykresie tym zaznaczamy punkty skokowe dystrybuanty empirycznej. Jeżeli punkty te układają się wzdłuż linii prostej, to analizowany rozkład jest rozkładem normalnym.

Wykresy te można wykonywać przy pomocy komputerowych pakietów statystycznych, lub też na specjalnie przygotowanych formatkach (wzory w podręcznikach z zastosowań statystyki)

Dla naszych danych mamy (podobny wykres wykonany przez program statystyczny STATISTICA)

Punkty na wykresie rzeczywiście układają się wzdłuż linii prostej, a więc nie ma podstaw do kwestionowania hipotezy o normalności analizowanego rozkładu prawdopodobieństwa.

Związek weryfikacji hipotez statystycznych z estymacją przedziałową

Hipotezy statystyczne weryfikuje się (testuje) na poziomie istotności a. Przy budowie testu można wykorzystać pojęcie przedziału ufności.

Hipotezę statystyczną na danym poziomie istotności a weryfikuje się porównując hipotetyczną (wymaganą) wartość parametru rozkładu prawdopodobieństwa z wyznaczonym na podstawie obserwacji z próbki PRZEDZIAŁEM UFNOŚCI na poziomie ufności b=1-a dla tego parametru.

Weryfikacja hipotezy typu H: m = m₀.

Przyjęcie hipotezy: m₀Î(m₁,m­₂)

Odrzucenie hipotezy: m₀Î{(-Ą,m­₁)Č (m₂,Ą)}

Wykorzystujemy dwustronny przedział ufności dla parametru m na poziomie ufności b

Weryfikacja hipotezy typu H: m Ł m₀.

Hipoteza ta jest równoważna następującemu problemowi decyzyjnemu:

H: m = m₀ K: m > m₀

Przyjęcie hipotezy: m₀Î(m_d,Ą)

Odrzucenie hipotezy: m₀Ď (m_d,Ą)

Wykorzystujemy jednostronny (górny) przedział ufności dla parametru m na poziomie ufności b

Wyszukiwarka