Wyklad 9, biotechnologia inż, sem3, BiB, wykłady

Wykład 9

Nieparametryczne metody statystyczne

Metody nieparametryczne

Z założenia test t dla dwóch próbek wymaga, by obie populacje, z których pochodzą próbki miały rozkład normalny o takich samych wariancjach.
Wiele innych powszechnie stosowanych procedur ma w swoim założeniu normalność rozkładów. Na szczęście większość z nich jest odporna na drobne odstępstwa od normalności rozkładów.

Jednakże jest cała grupa procedur wnioskowania statystycznego, które nie wymagają oceny wariancji czy wartości średniej w populacji, a hipotezy nie dotyczą jawnie parametrów rozkładów.
Takie procedury nazywane są testami nieparametrycznymi.
Metody te zazwyczaj nie wymagają założeń co do dystrybucji analizowanej zmiennej losowej (np. nie wymagają normalności rozkładu), aczkolwiek mogą pojawiać się założenia, iż porównywane populacje mają taką samą zmienność albo kształt funkcji gęstości prawdopodobieństwa.
Testy nieparametryczne mogą być używane zarówno w sytuacjach, w których stosuje się testy parametryczne, np. test t dla dwóch próbek, jak i tam, gdzie tych metod zastosować nie można.
Będziemy również tych metod używać do analizy zmiennych rangowych i atrybutów.
Jednakże, jeśli można zastosować test parametryczny i nieparametryczny, wówczas zawsze test parametryczny będzie miał moc co najmniej taką jak test nieparametryczny (tzn. metoda nieparametryczna ma większe prawdopodobieństwo popełnienia błędu typu II).
Często jednak różnice mocy testu parametrycznego i jego odpowiednika nieparametrycznego nie są tak duże i ulegają zmniejszeniu wraz ze wzrostem liczności próbki.

Pojedyncza próbka. Test znaków:

Załóżmy, że jesteśmy zainteresowani testowaniem hipotezy o którejś ze statystyk opisowych położenia i nie wiemy niczego więcej o rozkładzie zmiennej losowej poza tym, iż jest ciągła.
Wygodnie jest wykorzystać medianę m jako statystykę położenia, gdyż ma własność:
Hipoteza zerowa ma zatem postać:

H₀: m=m₀

i jeśli jest prawdziwa, spodziewamy się mniej więcej takiej samej liczby obserwacji powyżej jak i poniżej m₀ a jeśli próbka odbiega zbyt mocno od tego, odrzucamy H₀.

Test opisywany jest najczęściej jako przypisywanie każdej z obserwacji znaku plus (jeśli wartość jest większa od mediany m₀) albo minus jeśli jest poniżej m₀ (założenie o ciągłości teoretycznie wyklucza przypadki, dla których obserwacja jest dokładnie równa m₀, jeśli jednak mamy taki przypadek to przypisujemy mu zero).
Oznaczmy zatem przez N₊ liczbę znaków plus: N₊= #{k: X_k>m₀}.

Załóżmy, że hipoteza alternatywna jest dwustronna i ma postać H_A: m ≠

m₀.
Odrzucamy zatem H₀jeśli N₊jest albo zbyt duża albo zbyt mała, a powstały w ten sposób test nazywany jest testem znaków.
Załóżmy iż X₁, ..., X_nsą realizacjami ciągłej zmiennej losowej o medianie m i stawiamy hipotezę zerową H₀: m = m₀;versus H_A: m ≠
m_0.

Odrzucamy H₀jeśli N₊≤

k lub N₊≥

n −k na poziomie istotności:
Dowód: Zakładając słuszność H₀, N₊ bin(n,¹/₂), co oznacza, że zmienna losowa n −N₊(liczba minusów) ma również rozkład dwumianowy bin(n,¹/₂) oraz:

Zatem poziom istotności może być bezpośrednio wyrażony z wykorzystaniem dystrybuanty rozkładu dwumianowego bin(n,¹/₂), co jest łatwym obliczeniowo zadaniem.
Ponieważ zmienna losowa N₊jest z natury swojej zmienną dyskretną, więc nie zawsze uda się określić k, dla którego poziom istotności jest równy dokładnie założonemu, przyjmujemy zatem najbliższy mniejszy niż α.

Przykład 1

Szczury laboratoryjne przechodzą labirynt i mierzony jest czas przejścia. Szczur albo bezproblemowo radzi sobie z zadaniem i dociera do wyjścia w miarę szybko, albo też gubi się i znajduje wyjście po długim czasie. Oznacza to, że rzadko pojawiać się będą czasy pośrednie.
Dystrybucja czasu przejścia może być jednak uznana za symetryczną.
Uznano, że średni czas przejścia wynosi więcej niż 100 sekund.
Zebrano następujące dane i należy zweryfikować tę hipotezę na poziomie á 5%:

26,31,43,163,171,181,193,199,206,210

Ponieważ dystrybucja jest symetryczna wartość średnia µ i mediana m są sobie równe.
Formułujemy hipotezy H₀: µ=100 versus H_A: µ>100, i odrzucamy H₀jeśli N₊≥
n −k gdzie n=10 a k spełnia:

Otrzymujemy k=2.

Zatem odrzucamy jeśli N₊≥

8.
Dla naszych danych

26,31,43,163,171,181,193,199,206,210

obserwowana wartość N₊=7, więc nie mamy podstaw do odrzucenia H₀na poziomie

α =0.05.

Pojedyncza próbka.
Test Wilcoxona.

Jeśli rozkład zmiennej losowej jest symetryczny, wartość średnia i mediana są sobie równe to formułujemy hipotezę w dziedzinie średniej µ zamiast mediany m.
Załóżmy, że chcemy zweryfikować hipotezę H₀: µ=µ₀na podstawie obserwacji X₁, ..., X_n, realizacji ciągłej zmiennej losowej o symetrycznym rozkładzie.
Rozważmy wartości absolutne odchyłek od µ₀|X₁−µ₀|, ..., |X_n−µ₀|, i uporządkujmy je od najmniejszej do największej.
Przyporządkujmy każdej wartości X_kjej rangę R_k, tak, że R_k=j jeśli X_kma j-tą najmniejszą absolutną odchyłkę od µ₀.
Trzeba równocześnie pamiętać dla każdej obserwacji X_k po której stronie µ₀się znajdowała, poprzez przypisanie wartości wskaźnika I_k:

Ostatecznie, dla każdej obserwacji X_kotrzymujemy parę (R_k, I_k), rangę oraz wskaźnik położenia względem µ₀.
Użyjemy następującej statystyki testowej

0x08 graphic

która jest po prostu sumą rang wszystkich obserwacji powyżej µ₀.

Zmienna losowa W przyjmuje wartości od 0 (wszystkie obserwacje poniżej µ₀) do n(n+1)/2 (wszystkie obserwacje powyżej µ₀).
Jeśli H₀jest prawdziwa, dystrybucja W jest symetryczna o średniej n(n+1)/4, i odrzucimy H₀jeśli obliczone W odstaje zbyt mocno od swojej wartości średniej.
Jak zwykle musimy sprecyzować pojęcie „zbyt mocno odstaje” co wymaga znajomości dystrybucji zmiennej losowej W.
Wymaga to znajomości własności funkcji tworzących prawdopodobieństwa.
Ogólnie, rozkład prawdopodobieństwa W ma postać:

0x08 graphic

gdzie α(r) jest współczynnikiem składnika s^r w rozwinięciu

Jeśli H₀ jest prawdziwa a liczność próbki jest duża, możemy wykorzystać następujące przybliżenie rozkładu W rozkładem normalnym o parametrach:
Definiujemy zatem dla próbek o dużej liczności statystykę

Przykład 2

Podaje się najczęściej, iż gęstość Ziemi wynosi 5.52g/cm³. W swoim słynnym doświadczeniu w 1798, Henry Cavendish wykorzystał swoje sprytne urządzenie do pomiaru gęstości.
Uzyskał następujące wyniki przy 29 powtórzeniach: 4.07,4.88,5.10,5.26,5.27,5.29,5.29,5.30,5.34,5.34,5.36,5.395.42,5.44,5.46,5.47,5.50,5.53,5.55,5.57,5.58,5.61,5.62,5.635.65,5.75,5.79,5.85,5.86

a średnia z próbki wyniosła 5.42.

Niech µ oznacza rzeczywistą, nieznaną wartość średnią i zweryfikujmy hipotezę

H₀: µ=5.52 versus H_A: µ ≠

5.52 na poziomie 5%.

Wykorzystamy w tym celu statystykę T i normalne przybliżenie rozkładu W. Dla α =0.05, odrzucimy H₀ jeśli |T| ≥

1.96, n=29.

Wartości absolutne odchyłek |X_k−5.52|, k=1, ..., 29, uporządkowane według wartości, z dodatnimi odchyłkami zaznaczonymi podkreśleniem, są następujące:

0.01, 0.02, 0.03, 0.05, 0.05, 0.06, 0.06, 0.08,0.09,0.10, 0.10, 0.11, 0.13, 0.13, 0.16, 0.18, 0.18, 0.22,0.23,0.23, 0.23, 0.25, 0.26, 0.27, 0.33, 0.34, 0.42, 0.64,1.45

Wartość statystyki W=1+3+4.5+6.5+9+10.5+12+13.5+20+24+25+ 26 = 155

oraz

i |T|=1.35. Nie mamy zatem podstaw do odrzucenia H₀.

Testy rangowe dla dwóch próbek.

Pomimo tego, że zaproponowano wiele metod nieparametrycznych testowania różnic pomiędzy dyspersją czy, w ogólnym przypadku, zmiennością dwóch populacji, żadna z nich nie zyskała powszechnej akceptacji.
Najczęściej stosowany test to nieparametryczny odpowiednik testu t dla dwóch próbek.
Test został zaproponowany, dla przypadku próbek o takiej samej liczności, przez Wilcoxona (1945) a następnie zmodyfikowany dla przypadku próbek o różnej liczności przez Manna i Whitneya (1947).
Test jest zatem oficjalnie zwany testem Wilcoxona-Manna-Whitneya, albo, częściej, testem U Mann-Whitneya.

Test U Mann-Whitneya

W tym teście, jak w wielu testach nieparametrycznych, bezpośrednie wartości pomiarów nie są wykorzystywane a jedynie ich rangi.

Rangi

Pomiary mogą mieć przypisane rangi albo w porządku malejącym (od największego do najmniejszego) albo rosnącym (od najmniejszego do największego).
Jeśli przypisujemy rangi pomiarom od największego do najmniejszego to pomiar o największej wartości będzie miał rangę 1, następny rangę 2 itd., a najmniejszy rangę N, gdzie N = n₁+n₂ (suma liczności obu próbek).

Przykład 3 - Wzrost

0x08 graphic

Kiedy dwie lub więcej obserwacji ma dokładnie taką samą wartość mówimy, iż są związane (ang. tied).
Ranga przypisana takim obserwacjom jest średnią rang, które byłyby przypisane tym obserwacjom, gdyby nie były one związane.

Przykład 4 - Prędkość maszynopisania

0x08 graphic

Na przykład, kodując zbiór danych w systemie od najmniejszej do największej wartości, trzecia i czwarta wartość są związane i wynoszą 32 słowa na minutę, dlatego każdej z nich przypisujemy rangę (3+4)/2=3.5
Ósma, dziewiąta i dziesiąta obserwacja są również związane i wynoszą 44 słowa na minutę, więc każda z nich otrzymuje rangę (8+9+10)/3=9

0x08 graphic

Test U Mann-Whitneya

Mając przypisane wszystkie rangi, obliczamy statystykę Mann-Whitneya:

gdzie n₁ oraz n₂ są liczbami obserwacji w każdej z próbek, natomiast R₁ jest sumą rang obserwacji z próbki pierwszej.

Dla testu dwustronnego, obliczona wartość U jest porównywana z wartością graniczną U_α_,n1,n2 zamieszczoną w odpowiednich tabelach statystycznych.
W tabelach zakłada się najczęściej że n₁< n₂. Jeśli n₁> n₂ należy użyć U_α_,n2,n1 jako wartości krytycznej testu.
Statystyka Mann-Whitneya może być także obliczona jako:

(gdzie R₂ jest sumą rang obserwacji z drugiej próbki), gdyż etykietowanie próbek jako 1 czy 2 jest zupełnie arbitralne.

Przeprowadzając test dwustronny musimy obliczyć obie wartości U i U^', a większa z nich porównywana jest z wartością krytyczną.

Przykład 3

0x08 graphic
H₀: Studenci są takiego samego

wzrostu, niezależnie od płci.

0x08 graphic
H₁: Wzrost zależny jest od płci.

Można zauważyć, że
U (lub U^') jest również równa liczbie pomiarów, które są większe od obserwacji w drugiej próbie.
Dla grupy kobiet, każda z rang 7 i 8 jest większa od 6 rang z grupy mężczyzn, a każda z rang 10, 11 i 12 each przekracza wszystkich 7 rang mężczyzn, sumując otrzymujemy 6+6+7+7+7=33=U. W grupie mężczyzn, tylko ranga 9 przewyższa 2 rangi z grupy kobiet, co daje 2=U^'.

Test U Mann-Whitneya jest testem o największej mocy wśród testów nieparametrycznych; jeśli zastosujemy do analizy porównawczej rozkładów normalnych oba - test t dla dwóch próbek i test U Mann-Whitneya - ten drugi będzie miał moc około 95% testu parametrycznego.
Jeśli natomiast istnieją silne odchyłki od założeń testu t, test Mann-Whitneya będzie miał większą moc.

Inne rozwiązania

Alternatywą dla testów nieparametrycznych jest zastosowanie testu t dla dwóch próbek po obliczeniu rang (nazywane jest to często transformacją rangową danych).
Taka procedura ma moc taką samą jak test Mann-Whitneya.

Jednostronny test U Mann-Whitneya.

W przypadku testu jednostronnego konieczne jest określenie, która część dystrybucji statystyki Mann-Whitney nas interesuje.
Determinuje to, czy w teście wykorzystywana będzie wartość U czy U^'.

0x08 graphic

Przykład 4

0x08 graphic

H₀: Prędkość maszynopisania

nie jest większa wśród osób,

które ukończyły kurs w porównaniu

do osób bez szkolenia.

H₁: Prędkość maszynopisania jest

większa w grupie osób po kursie

0x08 graphic
Rangowanie: z dołu do góry

Normalna aproksymacja testu U Mann-Whitneya

Tablice z wartościami krytycznymi testu Mann-Whitney są określone tylko dla małych liczności próbek.
Rozkład zmiennej losowej U zmierza do normalnego wraz ze wzrostem liczebności.
Dla dużych n₁ i n₂ wykorzystujemy fakt, że U ma wartość średnią

0x08 graphic
i odchylenie standardowe

Zatem, jeśli obliczymy U albo U' a liczność n₁ bądź n₂ jest większa od tych zamieszczonych w tablicach, poziom istotności może być obliczony poprzez
lub, uwzględniając poprawkę ze względu na nieciągłość

Pamiętając, iż rozkład t dla ν = ∞ jest identyczny z rozkładem normalnym, możemy wartość krytyczną Z_αokreślić jako równą wartości krytycznej t_α_,_∞.

Gdy korzystamy w normalnej aproksymacji dla testu dwustronnego, wystarczy obliczyć tylko jedną z wartości U albo U'.
Można również sformułować test jednostronny.

Przykład 5

Jednostronny test Mann-Whitney został użyty do zbadania hipotezy, czy zwierzęta, którym podawano dodatkowo witaminy i mikroelementy przybrały więcej na wadze w porównaniu do zwierząt bez dodatków.
W trakcie eksperymentu, 22 zwierzęta (grupa 1) hodowano podając równocześnie witaminy i mikroelementy, a 46 zwierząt hodowano metodami tradycyjnymi, nie podając żadnych dodatkowych witamin (grupa 2).
Masie ciała zwierząt przypisano rangi od 1 (dla najmniejszej wagi) to 68 (dla wagi największej), oraz obliczono U otrzymując 282.

H₀: Masa ciała zwierząt karmionych witaminami nie jest większa niż masa ciała zwierząt karmionych standardowo.

H₁: Masa zwierząt karmionych witaminami jest wyższa od masy zwierząt hodowanych bez witamin.

Dla testu jednostronnego α = 0.05

0x08 graphic
t_0.05[1],_∞= 1.6449

Ponieważ Z = 2.94 > 1.6449, odrzucamy H₀ (p=0.0016)

Test U Mann-Whitneya dla zmiennych w skali porządkowej

Test U Mann-Whitneya może być również stosowany do analizy danych przedstawionych w skali porządkowej.
Przykład 6 pokazuje tę procedurę. Dwadzieścioro pięcioro studentów wybrało kurs z zoologii. Studentów podzielono losowo do dwóch grup prowadzonych przez innych nauczycieli. Na podstawie wyników końcowych zweryfikować hipotezę zerową, że studenci z uzyskują takie same wyniki niezależnie od prowadzącego ćwiczenia.

Example 4

0x08 graphic

Przykład 6

Testowanie różnic pomiędzy medianami.

Można wyobrazić sobie sytuację, w której interesować nas będzie odpowiedź na pytanie, czy dwie próbki pochodzą z populacji o takich samych medianach - jest to tzw. test medianowy (Mood, 1950).
Procedura wymaga obliczenia tzw. globalnej mediany oraz konstrukcji odpowiedniej tablicy kontyngencyjnej o wymiarze 2x2.
Tak powstała tablica kontyngencyjna może być analizowana z wykorzystaniem np. testu χ².

Przykład 7

H₀: Dwie próbki pochodzą z populacji o takiej samej medianie (tzn. mediana ocen jest taka sama w obu populacjach, niezależnie od nauczyciela).

H₁: Mediany obu populacji są różne.

α=0.05

Mediana dla wszystkich N pomiarów wynosi (N=25):

X_(N+1)/2= X₁₃= grade C+

Powstaje zatem następująca tablica kontyngencyjna.

0x08 graphic

Możemy obliczyć statystykę

0x08 graphic

Test porównawczy dla dwóch próbek wyrażonych w skali nominalnej (atrybutów)

Możemy porównać dwie próbki danych w skali nominalnej poprzez odpowiednio skonstruowaną tablicę kontyngencyjną 2xC oraz test niezależności χ².

Tablice kontyngencyjne

Hipoteza zerowa stanowi, że częstości obserwacji umieszczone w wierszach macierzy są niezależne od częstości w kolumnach (częstości „kolumnowe” są niezależne od „wierszowych”).

Przykład 8

Schematy próbkowania

Trzeba sobie uświadomić, że są trzy schematy eksperymentu zebrania danych z przykładu 8:

1. Można losowo wybrać 100 mężczyzn i zapytać ich o kolor włosów oraz losowo wybrać 200 kobiet i również zapytać je o kolor włosów.

Oznacza to, że ustalono liczności danych w wierszach tablicy kontyngencyjnej (100 oraz 200).

2. Albo, możemy zdecydować iż pytamy o płeć losowo wybrane 87 osoby o czarnych włosach, 108 osób o włosach brązowych, 80 osób o włosach w kolorze blond oraz 25 osób rudych.

Tak przeprowadzony eksperyment odpowiada schematowi o ustalonych wcześniej licznościach w kolumnach.

3. Albo, pytamy losowo wybrane 300 osób o kolor włosów i płeć.

Taki eksperyment wymaga jedynie określenia całkowitej liczności próby.

Niezależnie od schematu eksperymentu, analizę danych można przeprowadzić w taki sam sposób.

Test niezależności Χ²

W analizie χ² tablic kontyngencyjnych korzystamy ze standardowej formuły na statystykę χ²:

0x08 graphic

Ogółem, liczność oczekiwana dla każdej z komórek tabeli wynosi:

Mając obliczoną wartość statystyki χ², jej znamienność statystyczna może być wyznaczona poprzez porównanie wartości z rozkładem χ² o (r-1)(c-1) liczbie stopni swobody.