Wykład 1. Wprowadzenie do
wnioskowania statystycznego i streszczenie I semestru

Wnioskowanie statystyczne: procedury umożliwiające orzekanie o właściwościach populacji na podstawie badań przeprowadzonych na próbie pobranej z tej populacji.

Badania prowadzi się na próbach, ale wnioski mają dotyczyć populacji.

Analiza opisowa

• kontrola danych (identyfikacja błędów technicznych, tj. błędne kody, dane poza zakresem; identyfikacja przypadków odstających i skrajnych)

• zbadanie podstawowych właściwości próby badawczej

• Przypadki odstające (outliers): wartości między 1,5 a 3 długości skrzynki od górnej krawędzi w górę lub dolnej w dół
  

• Przypadki skrajne (ekstremalne) (extremes): wartości ponad 3 długości skrzynki od górnej krawędzi w górę lub dolnej w dół

Poznanie podstawowych właściwości próby

• miary tendencji centralnej: średnia, mediana (połowa pomiędzy minimum a maksimum) i moda (dominanta - najczęściej występuje)

• miary rozproszenia

Odchylenie standardowe zmiennej losowej w populacji oznacza się tradycyjnie przez σ (małe greckie sigma) i definiuje jako pierwiastek kwadratowy wariancji.

• właściwości rozkładów (analiza histogramów)

• normalność

• skośność (miara asymetrii - wynosi ZERO dla r. normalnego)

• kurtoza (miara spłaszczenia - wynosi ZERO dla r. normalnego)

Wnioskowanie statystyczne

• szacowanie parametrów
  

• poszukiwanie związków miedzy zmiennymi w populacji

Typy skal pomiarowych

• skale nominalne

• skale porządkowe

• skale “ciągłe”: przedziałowe (różnicowe) i ilorazowe (stosunkowe)
  

• Umowne przypadki szczególne:

• suma skal porządkowych traktowana jest jako skala ciągła

• np. suma pytań w kwestionariuszu , na które badany odpowiada na porządkowej skali 5-punktowej

Typy badań

• Badania korelacyjne
  

• Badania eksperymentalne

Procedura korelacyjna

• oparta na obserwacji „zastanych” nasileń zmiennych dla każdego przypadku
  

• w większości wypadków nie dostarcza informacji o zależnościach przyczynowo-skutkowych

Procedura eksperymentalna

• randomizacja (losowy przydział osób badanych do poszczególnych warunków eksperymentalnych)

• manipulacja zmienną (zmiennymi) niezależną

• pomiar zmiennej (zmiennych) zależnych

Wykład 2
Wnioskowanie statystyczne

Podstawowe idee

Wnioskowanie statystyczne

• Cel ostateczny: wyciąganie wniosków na temat właściwości populacji (różnic między średnimi, korelacjami itp.), na podstawie badań przeprowadzonych na próbie

• Sposób osiągnięcia tego celu: oszacowania prawdopodobieństwa, że efekt uzyskany w próbie jest „przypadkiem” (a dokładniej wynika z błędów losowania)

Logika wnioskowania statystycznego

• Podstawowe narzędzia logiczne

• hipotezy

• badawcza
  

• alternatywna

• zerowa

• Schemat dowodzenia “nie wprost”

• chcemy odrzucić twierdzenie mówiące o braku efektu, którego istnienia chcemy dowieść

• chcemy odrzucić hipotezę zerową

• chcemy dowieść, że hipoteza zerowa jest fałszywa

• chcemy pokazać, że hipoteza zerowa jest nieprawdopodobna

• Jeśli uda się pokazać, że brak efektu w populacji (czyli hipoteza zerowa) jest nieprawdopodobny, to możemy przyjąć hipotezę alternatywną (a tym samym badawczą) mówiącą, że efekt istnieje

• Efekt w próbie zwykle nie jest zerowy; chcemy wiedzieć, czy wynika on z „przypadku” (błędów losowania próby)
  

• Procedury stosowane do obliczenia prawdopodobieństwa przypadkowości nazywa się ogólnie testowaniem hipotez

• Konkretne procedury stosowane w danym przypadku nazywa się testami istotności

• Poziom prawdopodobieństwa p jest to prawdopodobieństwo uzyskania danej wartości statystyki w próbie lub większej przez przypadek, to znaczy, gdyby odpowiedni parametr w populacji wynosił zero

• Testy istotności służą do wyliczania poziomu prawdopodobieństwa p

α=0,05

Poziom istotności (α)
a poziom prawdopodobieńśtwa (p)

• Poziom istotności - przyjęty z góry

• Poziom prawdopodobieństwa - wyliczany na podstawie danych empirycznych

Przykłady sytuacji, w których potrzebujemy dużej pewności, czyli niższego poziomu istotności

• testujemy lek, i musimy mieć pewność, że leczy, a nie szkodzi

• testujemy skuteczność nowej kampanii reklamowej, która dużo kosztuje, a płacimy za nią z własnej kieszeni…

W zależności od potrzeb, można zdecydować się na poziom istotności 0,01, 0,001 albo mniej.

Raczej natomiast nie spotyka się podwyższania poziomu istotności

Możliwe błędy

• Błąd I rodzaju - odrzucenie testowanej hipotezy zerowej prawdziwej

= Przyjęcie wniosku o istnieniu efektu, którego nie ma

• Błąd II rodzaju - nieodrzucenie testowanej hipotezy zerowej fałszywej

=Niezauważenie istniejącego efektu

Moc testu

• Prawdopodobieństwo uznania za istotny statystycznie efektu istniejącego w populacji

• Prawdopodobieństwo wykrycia efektu istniejącego w populacji

Etapy wnioskowania statystycznego

• hipoteza badawcza

• hipoteza alternatywna i zerowa

• poziom istotności

• badania

• obliczenie statystyki testu

• porównanie statystyki testu z wartością krytyczną

• odrzucenie H₀ jeśli statystyka testu jest równa lub wyższa od wartości krytycznej

Wykład 3
Wnioskowanie statystyczne c.d.

Testowanie hipotez na przykładzie testu t studenta

• W wypadku dużych prób przedziały ufności dla średnich można konstruować w oparciu o statystyki z próby (średnią w próbie, OS w próbie, N) oraz w oparciu o właściwości krzywej normalnej

• W wypadku małych prób (N < 30), konstruowanie statystyk w oparciu o krzywą normalną obciążone jest błędem.

• Dla małych prób, różnica między średnią z próby a średnią w populacji jest większa, a przedziały ufności węższe, niż wynikałoby to z właściwości rozkładu normalnego
  

• Dla małych prób, testy statystyczne oparte n krzywej normalnej odrzucają prawdziwą hipotezę zerową częściej niż powinny.

Rozkład t i test t Studenta

• Nazwa testu: autor William S. Gosset (1876-1937) - “A Student of Statistics”

• test t Studenta

• Nazwy testów statystycznych:

• symbol literowy

• nazwisko autora (autorów)

• Test z: Mnożnik dla granicy obszaru krytycznego jest niezależny od wielkości próby i wynosi 1,96 (dla obszaru dwustronnego) i 1,65 (dla obszaru jednostronnego

• Test t: Mnożnik dla granicy obszaru krytycznego zależy od wielkości próby

Rozkład t a rozkład normalny

Przeznaczenie międzygrupowego testu t studenta

• Badanie istotności różnic między dwiema średnimi

• = Badanie związku między zmienną nominalną z dwiema kategoriami ze zmienną interwałową (ilorazową)

• Zmienna niezależna:

• nominalna z dwiema kategoriami

• Zmienna zależna

• interwałowa lub ilorazowa

Typy zmiennych niezależnych

• Manipulowalne

• Niemanipulowalne (organizmiczne)

• "z natury" dychotomiczne

• "z natury" ciągłe, ale zdychotomizowane

• podział całej próby na dwie grupy

• wg średniej

• wg mediany (w wypadku np. skośnych rozkładów)

• wykorzystanie skrajnych części grupy

• np. skrajne kwartyle

Założenia testu t studenta

• skale pomiarowe

• normalność rozkładów zmiennych zależnych w badanych populacjach (test Lillierorsa, test Shapiro-Wilka)

• homogeniczność wariancji w badanych populacjach (test Levena)

• liczebność próby

• test t daje poprawne wyniki w małych próbach, ale mała wtedy jest jego moc

• Wariancje różne, a próby różnoliczne: najbardziej niebezpieczna sytuacja.

• Niejednakowość wariancji jest mało niebezpieczna, jeśli obie próby są duże i nie różnią się zbytnio liczebnością

Wersje testu t studenta

• Dla danych międzygrupowych

• wersja zakładająca homogeniczność wariancji

• wersja nie zakładająca homogeniczności wariancji

• Dla pomiarów zależnych

• Dla jednej średniej

Pomiary zależne

• Istota: oba pomiary są skorelowane

• Kiedy powstają pomiary zależne:

• Manipulacja "wewnątrz" osób badanych

• Dobór parami

• Badanie małżonków, rodzeństwa itp.

• ...

• Test dwustronny - hipoteza
  bezkierunkowa

H₀: μ₁ = μ₂

H₁: μ₁ ≠ μ₂

• Test jednostronny: (hipoteza kierunkowa

H₀: μ₁ > μ₂

H₁: μ₁ ≤ μ₂

H₀: μ₁ < μ₂

H₁: μ₁ ≥ μ₂

Dla tego samego t, poziom p jest dwukrotnie niższy w wypadku hipotezy jednostronnej niż dwustronnej.

• Hipotezy kierunkowe są "korzystniejsze" w tym sensie, że przy tych samych wynikach z badań, jeśli hipoteza jest kierunkowa, szansa na istotność statystyczną rezultatu jest większa

• Nie znaczy to, że można po zakończeniu badań i obliczeń zmieniać hipotezę, która pierwotnie była bezkierunkowa, na kierunkową. Postępowanie takie ociera się o fałszowanie wyników.

• Szczególny typ hipotezy zerowej - dla hipotezy badawczej postulującej, że średnia uzyskana w badaniach różni się od pewnej z góry założonej wartości

• H₁: μ₁ ≠ 4,541 H₀: μ₁ = 4,541
  

• Np: czy nasza próba (np. pacjenci schizofreniczni w Krakowie) istotnie różnią się w danej zmiennej od pacjentów w USA, których nie badaliśmy, ale których wyniki znamy

Test t - streszczenie

• Służy do testowania różnic między dwiema średnimi (pochodzącymi z danych międzygrupowych albo z powtórzonego pomiaru); albo do testowania hipotezy dotyczącej jednej średniej

• Zmienna niezależna nominalna z dwiema kategoriami, zmienna zależna co najmniej przedziałowa

• Rozkłady zmiennej zależnej powinny być z grubsza normalne, a wariancje w porównywanych populacjach z grubsza podobne

Analiza wariancji (ANOVA)

Analiza wariancji (R.A. Fisher, 1923) - przegląd podstawowy

• Przeznaczenie analizy wariancji

• Rodzaje analiz wariancji

• Założenia

• Zasada działania

Przeznaczenie jednoczynnikowej jednozmiennowej
analizy wariancji

• Testowanie istotności różnic między więcej niż dwiema średnimi

• Średnie te mogą pochodzić z danych międzygrupowych lub powtarzanych pomiarów

• W wypadku tylko dwóch średnich do testowania, analiza wariancji daje identyczne wyniki jak test t studenta

Rodzaje analiz wariancji

• Analiza międzygrupowa

• Pomiary powtarzane

• Jeden czynnik i jedna zmienna zależna: ANOVA (analiza wariancji)

• Więcej niż jeden czynnik i jedna zmienna zależna: ANOVA (analiza wariancji)

• Jeden czynnik i więcej niż jedna zmienna zależna: MANOVA (wielokrotna (wieloraka) analiza wariancji)

• Więcej niż jeden czynnik i więcej niż jedna zmienna zależna: MANOVA (wielokrotna (wieloraka) analiza wariancji)

Analiza wariancji a seria testów t

• W wypadku kilku średnich, nie należy do testowania różnic między nimi stosować serii testów t

• Postępowanie takie czyni nieinterpretowalnym poziom prawdopodobieństwa i pozbawia nas kontroli nad błędem I rodzaju

• Jest ono dopuszczalne tylko w pewnych szczególnych sytuacjach

Hipoteza zerowa w analizie wariancji

μ₁ = μ₂ = μ₃ = ... = μ_k

Założenia analizy wariancji

• Rozkłady zmiennych zależnych w porównywanych populacjach normalne

• Wariancje w porównywanych populacjach nie różniące się od siebie
  

Założenia analizy wariancji - komentarz

• Założenia są takie same jak w teście t, i podobnie jak test t, analiza wariancji jest dość odporna na umiarkowane niespełnianie tych założeń

• Stosunkowo najgroźniejsza sytuacja powstaje, kiedy wariancje są niehomogeniczne, a grupy różnoliczne

Analiza wariancji c.d.

Zasada działania, testy post-hoc, kontrasty, wieloczynnikowa ANOVA z interakcjami, efekty proste

• Podstawowa idea analizy wariancji: porównywanie zmienności poszczególnych wyników wewnątrz grup ze zmiennością średnich z grup

• = Porównywanie średnich kwdratów odchyleń wewnątrzgrupowch ze średnim kwadratem odchyleń międzygrupowych

• Jeśli analiza wariancji przyniosła „istotne” wyniki, to wiemy tylko tyle, że w badanych grupach występują jakieś istotne różnice. Nie wiemy natomiast, która grupa od której się różni. Żeby dowiedzieć się czegoś więcej na temat natury tych różnic, trzeba przeprowadzić dalsze analizy.

• Jeden ze sposobów na dalszą analizę:
  porównania wielokrotne między średnimi za pomocą testów post-hoc

• Error rate per comparison: prawdopodobieństwo, że w danej (pojedynczej) analizie popełniony zostanie błąd I rodzaju

• Error rate familywise: prawdopodobieństwo, że w serii analiz zostanie popełniony przynajmniej jeden błąd I rodzaju

• Np. dla serii trzech analiz, w których α=0,05, prawdoppdobieństwo błędu I rodzaju wynosi 1 - (1 - )^c = 1 - .95³ = .1426

Konserwatywność / liberalność (testu statystycznego)

• Testy konserwatywne - działają "ostrożnie", stosunkowo rzadziej popełniamy przy ich użyciu błąd I rodzaju, ale częściej błąd II rodzaju

• Testy liberalne - działają "śmiało"; stosunkowo rzadziej popełniamy przy ich użyciu błąd II rodzaju, ale częściej błąd I rodzaju

Procedura Bonferoniego

• Zmodyfikowanie poziomu istotności poprzez podzielenie go przez liczbę dokonywanych porównań

• Np. jeśli mamy 3 grupy (czyli 3 porównania), to α=0,05 / 3 = 0,017

• Test ten staje się bardzo konserwatywny przy większej liczbie grup do porównania

Test Najmniejszej Istotnej Różnicy Fishera (LSD)

• Wg Fishera, jeśli test ogólny F przyniósł istotne wyniki, można wykonać serię testów t badających wszystkie możliwe różnice między średnimi

• Test ten jest najbardziej liberalny ze wszystkich testów post-hoc

• Można go polecić tylko w sytuacji, kiedy są trzy grupy do porównania

Test Newmana-Keulsa

• Jest testem liberalnym

• Utrzymuje α=0,05 tylko, jeśli są trzy grupy do porównań

• Dla czterech i pięciu grup, α=0,10, dla sześciu i siedmiu: α=0,15

• Zalecany tylko dla trzech grup do porównań

Test Tukeya

• raczej konserwatywny

• utrzymuje poprawny poziom α = 0,05 bez względu na liczbę grup do porównań

REGWQ

• Ryan, Einot, Gabriel, Welch q test

• raczej liberalny

• ogólna logika podobna do testu Bonferroniego, ale zrealizowana inaczej:
  _ = /(k/r), gdzie k = liczba porównań, r = liczba średnich, z których dwie porównywane są najmniejsze i największe

• utrzymuje poprawny poziom  bez względu na liczbę porównań

test Scheffe'go

• bardzo konserwatywny

• raczej wyszedł obecnie z użycia

Kontrasty

• Kontrast to suma ważona pewnej liczby średnich, gdzie suma wag jest równa zero

• Stosowane do wykonywania porównań zaplanowanych (w tym np. efektów prostych) oraz do szczególnego rodzaju porównań wielokrotnych

Kontrasty jako technika porównań wielokrotnych

• Odchylenie: porównanie odchyleń od średniej ogólnej zmiennej zależnej (dla każdego poziomu z wyjątkiem jednego)

• Różnica: porównanie poziomów zmiennej ze średnią z poprzedzających poziomów tej zmiennej

• Helmerta: porównanie poziomów zmiennej ze średnią z następnych poziomów tej zmiennej

• Prosty: porównywanie każdego poziomu zmiennej z poziomem kryterialnym

• Powtarzany: porównywanie każdego poziomu zmiennej z poziomem poprzedzającym

• Wielomianowy - analiza trendów

Jednoczynnikowa ANOVA - podsumowanie

• Służy do wykrywania różnic średnich między trzema lub więcej grupami

• Opiera się na porównywaniu zmienności wewnątrzgrupowej ze zmiennością średnich z grup

• Istotny wynik testu F analizy wariancji znaczy tylko tyle, że co najmniej jedna średnia jest różna od co najmniej jednej innej, ale nie mówi, która od której

• Żeby dowiedzieć się, które średnie różnią się od których, wykonuje się porównania wielokrotne, np. za pomocą testów post-hoc (jest to tzw. podejście a posteriori)

Podejście "a posteriori" a podejście "a priori"

• Jeśli z góry istniały bardzo ścisłe hipotezy dotyczące tego, które średnie mają się od których różnić i w którą stronę, to można i należy pominąć etap testu ogólnego F, i zamiast niego wykonać serię porównań zaplanowanych.

• Porównania zaplanowane to kontrasty testujące różnice między określonymi parami średnich

• Stosując podejście "a priori" nie używa się testów post-hoc

Wykład 6. Analiza wariancji cd.

Wieloczynnikowa ANOVA oraz

powtarzane pomiary

• Jednoczynnikowa jednozmiennowa analiza

wariancji ("prosta" ANOVA, ONEWAY)

• Wieloczynnikowa jednozmiennowa analiza

wariancji

- więcej niż jeden czynnik (zmienna niezależna)

- jedna zmienna zależna

• Efekty główne

• Interakcje

• Efekty proste

Efekt główny (Main effect)

• Wpływ jednego z czynników na zmienną

zależną

• Pozostałe czynniki w układzie są

uśredniane

Interakcja

• Wpływ jednego z czynników na zmienną

zależną jest różny w zależności od

poziomów innego czynnika

• = Jeden z czynników różnicuje zmienną

zależną niejednakowo w różnych grupach

tworzonych przez drugi czynnik

Efekt prosty (Simple main effect)

• Wpływ jednego czynnika na zmienną

zależną na jednym, wybranym poziomie

drugiego czynnika

Hipotezy a priori i a posteriori

• Jeśli istnieje ściśle określona hipoteza,

dotycząca tego, które średnie mają się od

których różnić i w którą stronę, należy

pominąć etap testu ogólnego F i wykonać

serię porównań zaplanowanych, np. przy

użyciu efektów prostych

ANOVA z powtarzanymi pomiarami

(within-subjects design)

Wielozmiennowa (wieloraka)

analiza wariancji (MANOVA)

• Jeden lub więcej czynników, więcej niż

jedna zmienna zależna

• UWAGA: MANOVA w istocie przyjmuje,

że kilka zmiennych zależnych to różne

wskaźniki czy aspekty jednej zmiennej

zależnej latentnej

Dwa etapy w typowej analizie

wielorakiej

1. Test wielowariancyjny (np. test Rao)

- pytanie, czy dany czynnik (lub interakcja)

wpływa na zmienną zależną latentną

2. Seria testów jednowariancyjnych

- pytanie, na które spośród wszystkich

wskaźników zmiennej latentnej wpływa dany

czynnik

1. Analiza kowariancji

2. Analiza wariancji: streszczenie
i podsumowanie

Przeznaczenie analizy kowariancji

• Statystyczna kontrola zmiennych ubocznych, mierzonych na skalach interwałowych lub ilorazowych

Niektóre metody kontroli zmiennych ubocznych

• Randomizacja

• Ustalenie stałego podzakresu zm. ubocznej

• Analiza kowariancji

Randomizacja

• Jest "kontrolą" zmiennych ubocznych tylko w tym sensie, że zapewnia ich równomierne "rozłożenie" pomiędzy poszczególne warunki eksperymentalne

• Nie eliminuje wpływu zmiennych ubocznych, ale eliminuje wpływ SYSTEMATYCZNY

• Główna zaleta: eliminuje systematyczny wpływ wszystkich zmiennych ubocznych, jakie występują

Ustalenie stałego podzakresu zmiennej ubocznej

• Polega na wybraniu do badań osób odznaczających się podobnym poziomem zmiennej ubocznej

• Zaleta: dość skuteczna eliminacja wpływu zmiennej ubocznej

• Wady konieczność dokonywania "wstępnego odsiewu", dla każdej kontrolowanej zmiennej z osobna

Analiza kowariancji

• Polega na skorygowaniu średnich grupowych według wartości zmiennej towarzyszącej (ubocznej)

• … poprzez wyznaczenie równania regresji zmiennej towarzyszyszącej na zmienną zależną, i dokonanie analizy wariancji na tej części wariancji zmiennej zależnej, której nie wyjaśniła zmienna towarzysząca

Założenia analizy kowariancji

• Zmienna towarzysząca mierzona na skali co najmniej interwałowej

• Brak wpływu zmiennej niezależnej grupującej na towarzyszącą

• Równość współczynników regresji w grupach eksperymentalnych

Słabości analizy kowariancji

• Czasem dostarcza poprawnych odpowiedzi na bezsensowne pytania
  

• Czy mężczyźni są silniejsi fizycznie od kobiet? TAK.

• Czy mężczyźni są silniejsi fizycznie od kobiet, jeśli kontroluje się beztłuszczową masę ciała? NIE.

• To w końcu mężczyźni są silniejsi od kobiet czy nie?

Tabele statystyczne a komputer

Analizy "ręczne"

• Oblicz F

• Oblicz liczbę stopni swobody dla efektu i dla błędu

• Odczytaj z tabel wartość krytyczną F dla α=0,05 dla odpowiedniej liczby stopni swobody

• Porównaj obliczone F z wartością krytyczną F odczytaną z tabel

Analizy komputerowe

• Wprowadź dane surowe do komputera

• Wydaj polecenie wykonania odpowiedniej analizy wariancji

• Sprawdź, czy wartość p obliczona przez komputer jest nie większa niż poziom istotności, to jest, 0,05

Hipotezy a założenia

Testowanie hipotez

• alfa = 0,05

• p nie większe niż alfa

• jeśli p nie większe niż alfa, to efekt jest istotny

• Jeśli wynik jest istotny, to DOBRZE

Testowanie założeń

• alfa = 0,05

• p nie większe niż alfa

• jeśli p nie większe niż alfa, to efekt jest istotny

• Jeśli wynik jest istotny, to ŹLE

• Czynniki manipulowalne

• Czynniki niemanipulowalne

• "miękkie"

• "twarde"

Jednoczynnikowa jednozmiennowa analiza wariancji

• Test ogólny F

• Testy post-hoc

• Kontrasty

• Porównania zaplanowane

• Podejście a priori i a posteriori

Wieloczynnikowa jednozmiennowa analiza wariancji

• Test ogólny F

• Testy post-hoc

• Kontrasty

• Porównania zaplanowane

• Podejście a priori i a posteriori

• Interakcje

• Efekty główne

• Efekty proste

Wieloczynnikowa wielozmiennowa analiza wariancji

• Testy wielowariancyjne i jednowariancyjne

• Porównania zaplanowane

• Podejście a priori i a posteriori

• Interakcje

• Efekty główne

• Efekty proste

Analiza regresji wielokrotnej

Zagadnienia podstawowe

Współczynnik korelacji liniowej według momentu iloczynowego r Pearsona

• Służy do mierzenia siły związku (liniowego) pomiędzy dwiema zmiennymi mierzonymi na skali co najmniej przedziałowej

• Niektórzy dopuszczają też skale pomiarowe typu likertowskiego

Interpretacja r Pearsona

• -1,00 <= r <= 1,00

• r² * 100% = "procent wariancji wyjaśnionej"

• Zwyczajowa interpretacja:

0,00 - 0,20 (0% - 4%): związek bardzo słaby

0,20 - 0,30 (4%- 9%): związek słaby

0,30 - 0,50 (9%-25%): związek umiarkowany

0,50 - 0,80 (25%-64%): związek silny

pow. 0,80 (pow. 64%): związek bardzo silny

r=1,00

r=0,85

r=0,42

r=0,17

r=-0,33

Problem przypadków odstających

Analiza regresji jednokrotnej

• Głowny cel:

• Ujęcie relacji między predyktorem (predyktorami) a zmienną zależną w postaci formuły matematycznej (tzw. równanie regresji)

Równanie regresji

• y = b₁x + b₀

• b₁: nachylenie linii regresji (slope)

• b₀: punkt, w którym linia przecina oś x

Optymalna linia regresji

• Metoda najmniejszych kwadratów

Formuły obliczeniowe

Regresja wielokrotna

• Identyfikacja predyktorów skutecznych

• Predyktor skuteczny = nieredundantny (wnoszący informację, której nie wnoszą inne predyktory)

Kwestie terminologiczne

• ANOVA wielokrotna (wieloraka, wielozmiennowa) ⇒ więcej niż jedna zmienna zależna.
  

• Regresja wielokrotna (wieloraka, wielozmiennowa) ⇒ więcej niż jedna zmienna niezależna.

Informacje uzyskiwane w wyniku analizy regresji wielokrotnej

• Dotyczące jakości ogólnej predykcji

• Dotyczące poszczególnych predyktorów

Informacje o jakości predykcji

• Dotyczące istotności statystycznej predykcji

• Hipoteza zerowa mówi, że wszystkie predyktory łącznie wyjaśniają w populacji zero procent wariancij zmiennej zależnej

• Dotyczące skuteczności predykcji

• R - współczynnik korelacji wielokrotnej

• R² - współczynnik determinacji wielokrotnej

• R² * 100%= "procent wariancji wyjaśnionej

Informacje o predyktorach

• Istotność statystyczna dla każdego predyktora

• Hipoteza zerowa: dany predyktor, przy kontroli wszystkich pozostałych predyktorów, nie powoduje przyrostu wariancji wyjaśnianej zmiennej zależnej

• Współczynniki regresji dla każdego predyktora

Współczynniki regresji

• b - współczynnik regresji

• zmiana w z. zależnej (w jej jednostkach) przy zmianie predyktora o jeden (w jego jednostkach), przy kontroli pozostałych predyktorów

• beta - standaryzowany współczynnik regresji (wagi beta)

• zmiana w z. zależnej (w jednostkach odchylenia standardowego) przy zmianie predyktora o jedno odchylenie standardowe, przy kontroli pozostałych predyktorów

Regresja wielokrotna c.d.

• niestandaryzowany współczynnik regresji

• zmiana w z. zależnej (w jej jednostkach) przy zmianie predyktora o jeden (w jego jednostkach), przy kontroli pozostałych predyktorów
  

• beta - standaryzowany współczynnik regresji (wagi beta)

• zmiana w z. zależnej (w jednostkach odchylenia standardowego) przy zmianie predyktora o jedno odchylenie standardowe, przy kontroli pozostałych predyktorów

• POV = 0,0005 * AFRAM + 20,47
  

• POV = 0,23 * AFRAM
  

• W wypadku większej liczby predyktorów, wagi beta pozwalają zorientować się w różnicach w sile predykcji między poszczególnymi predyktorami

Korelacja a predykcja

• Nie wszystkie zmienne wysoko skorelowane ze zmienną zależną są jej skutecznymi predyktorami

Redukcja wyjściowego zbioru zmiennych

• Regresja krokowa postępująca (forward)

• Regresja krokowa wsteczna (backward)

• Regresja krokowa pełna (stepwise)

Regresja krokowa postępująca

1. do modelu włączany jest predyktor najsilniej skorelowany ze zmienną zależną

2. do modelu włączany jest predyktor (spośród wszystkich pozostałych), którego korelacja cząstkowa ze zmienną zależną jest największa (i istotna statystycznie)

3. Krok 2 jest powtarzany tak długo, aż w wyjściowym zbiorze predyktorów nie będzie już takiego, którego korelacja cząstkowa przy kontroli predyktorów będących już w modelu jest istotna statystycznie

Regresja krokowa wsteczna

1. Do modelu włączane są wszystkie naraz predyktory. Jeśli ilość wyjaśnianej przez nie wariancji jest istotna statystycznie, analiza jest kontynuowana

2. Z modelu usuwany jest predyktor o najmniejszej korelacji cząstkowej ze zmienną zależną, przy kontroli pozostałych w równaniu predyktorów. Jeśli spadek wariancji wyjaśnianej jest istotny, analiza jest kończona, a dany predyktor powraca do równania. Jeśli nie, jest on usuwany.

3. Krok jest powtarzany tak długo, aż do uzyskania predyktora, którego usunięcie powoduje istotny spadek wariancji wyjaśnianej.

Regresja krokowa pełna

• Główna idea: połączenie regresji postępującej i wstecznej. W każdym kolejnym kroku predyktory próbuje się włączać oraz usuwać z modelu

1. do modelu włączany jest predyktor najsilniej skorelowany ze zmienną zależną

2. do modelu włączany jest predyktor (spośród wszystkich pozostałych), którego korelacja cząstkowa ze zmienną zależną jest największa (i istotna statystycznie)

3. obliczana jest korelacja cząstkowa predyktora włączonego w kroku 1, przy kontroli predyktora włączonego w kroku 2.

Powyższe kroki są powtarzane, aż do wyczerpania puli wyjściowej puli predyktorów o istotnej korelacji cząstkowej przy kontroli predyktorów w równaniu.

W regresji pełnej predyktor, który już był w modelu, może zostać z niego usunięty i powrócić do puli wyjściowej.

Interakcje w modelu regresji

1. Utworzyć iloczyn predyktorów, dla których analizowana jest interakcja

2. Do modelu włączyć najpierw predyktory, dla których analizowana jest interakcja

3. Następnie do modelu włączyć iloczyn predyktorów

4. Jeśli przyrost wariancji spowodowany włączeniem predyktorów jest istotny, oznacza to istnienie interakcji

Precyzja predykcji

• Błąd standardowy estymacji

• Przedziały ufności

• dla współczynników regresji

• dla predykcji

Błąd standardowy estymacji (Standard Error of Estimate, SEE)

• SEE = SQRT(RSS/df), gdzie:

• RSS: suma kwadratów reszt

• df = n - m - 1

Przedziały ufności dla współczynników regresji

• Współczynniki równania wyliczane są w oparciu o znane właściwości próby.

• Populacyjna wartość danego współczynnika jest szacowana na podstawie właściwości próby

Przedziały ufności dla predykcji

• Jest to przedział, w którym 95 razy na sto będzie się mieściła wartość zmiennej zależnej wyznaczonej na podstawie danych wartości predyktorów

Regresja a analiza wariancji

• Analiza wariancji jest pewnym szczególnym przypadkiem analizy regresji

• Model wielokrotnej regresji pozwala analizować predyktory ciągłe, nominalne z dwiema kategoriami, nominalne z większą liczbą kategorii (tzw. kodowanie ślepe (dummy), i dowolne interakcje między nimi

GLM

• Ogólny model liniowy (General Linear Model)

• Liniowe (regresyjne) podejście do analizy danych, bez względu na skalę pomiarową predyktorów

Analiza czynnikowa
Modelowanie równań strukturalnych

Cel: Odnalezienie nowej grupy zmiennych (mniej licznych niż grupa zmiennych wyjściowych), które wyrażają to, co wspólne pomiędzy oryginalnymi zmiennymi

Cel: Służy do indentyfikacji niewidocznych czynników latentnych, odpowiedzialnych za interkorelacje pomiędzy widocznymi korelacjami widocznych wskaźników

Cel: odkrycie niewidocznej struktury w zbiorze wskaźników

• Kiedy jestem pogrążony w marzeniach, to świat wokół mnie przestaje dla mnie istnieć.

• Wychodząc z domu jestem czasami tak pochłonięty rozmyślaniami, że nie pamiętam o zamknięciu drzwi na klucz.

• Zdarza mi się "zapatrzyć" w jakiś przedmiot lub punkt w przestrzeni, nie myśleć równocześnie o niczym i nie zdawać sobie sprawy z mijającego czasu.

• Niekiedy mój umysł na krótką chwilę jakby się "wyłącza" i dopiero po jakiejś chwili zaczyna znowu funkcjonować.

• Zdarza mi się tak zapatrzyć na jakiś przedmiot, że nie zauważam, że ktoś wszedł do pokoju.

• Zdarza mi się tak pogrążyć w słuchanej muzyce, że zapominam, gdzie się znajduję.

• Czasami mam stany "umysłowego odrętwienia" - na przykład patrzę na coś, a jednak tego czegoś nie widzę.

• Zdarza mi się podczas czekania na zielone światło na przejściu dla pieszych tak się na coś zapatrzyć, że dopiero mijający mnie ludzie uświadamiają mi, że światła już się zmieniły.

• Zdarza mi się, że chodzę po ulicy tak głęboko zagłębiony w myślach, że potrącam innych przechodniów.

• Eksploracyjna a konfirmacyjna analiza czynnikowa

• Ładunki czynnikowe (factor loadings):

• korelacje pomiędzy wskaźnikami a czynnikami latentnymi

• ładunek czynnnikowy określa "stopień nasycenia" danego wskaźnika określonym czynnikiem

• Rotacja:

• powstaje wyraźniejsza granica między ładunkami czynnikowymi

• wyniki są bardziej czytelne

• Najczęściej spotykane typy rotacji:

• VARIMAX - rotacja ortogonalna

• OBLIMIN - rotacja ukośna

Ograniczenia metody

• Problem ogólny:

• ten sam materiał empiryczny analizowany różnymi rodzajami analizy czynnikowej może dać inne wyniki

• brak interpretacji w kategoriach istotności statystycznej

Decyzje arbitralne w analizie czynnikowej

• Selekcja zmiennych

• Kryterium liczby czynników

• Kryterium progu ładunku czynnikowego

• Wybór typu rotacji

• Struktura próby badawczej

Modelowanie równań strukturalnych
(Structural Equation Modelling, SEM)

Typy informacji uzyskiwane w wyniku SEM

• Ogólne dopasowanie modelu

• istotność statystyczna

• wskaźniki dopasowania

• Właściwości poszczególnych ścieżek

• Indeksy modyfikacyjne

Oprogramowanie do SEM

• LISREL

• AMOS

• SEPATH

• EQS

Regresja a analiza wariancji

• Analiza wariancji jest pewnym szczególnym przypadkiem analizy regresji

• Model wielokrotnej regresji pozwala analizować predyktory ciągłe, nominalne z dwiema kategoriami, nominalne z większą liczbą kategorii (tzw. kodowanie ślepe (dummy), i dowolne interakcje między nimi

• Ogólny model liniowy (General Linear Model)

• Liniowe (regresyjne) podejście do analizy danych, bez względu na skalę pomiarową predyktorów

Statystyki nieparametryczne

Statystyki parametryczne

• Więcej założeń

• np. normalność rozkładu, homogeniczność wariancji

• Większa moc

Statystyki nieparametryczne

• Mniej założeń

• Mniejsza moc

Test chi-kwadrat

• Dwa rodzaje

• test niezależności

• analiza współzależności dwóch zmiennych mierzonych na skalach nominalnych

• test zgodności

• analiza zgodności rozkładu empirycznego z danym rozkładem teoretycznym

Istota testu chi-kwadrat

• Porównywanie liczebności zaobserwowanych i oczekiwanych

• Przykład: (nie dotyczy korelacji!):

Friedman, Katcher, Lynch, and Thomas (1980)

Założenia testu chi-kwadrat

• Dane pochodzą z niezależnych obserwacji

• (analiza danych powtarzanych niemożliwa)

• Liczebności komórek nie mniejsze niż 5

Wskaźniki wielkości efektu dla korelacji skal nominalnych

• dla tabel 2x2

• współczynnik phi (0 - 1)

• iloraz szans

• dla dowolnych tabel:

• współczynnik kontyngencji (C) (0 - ?…)

• V Cramera (0 - 1)

Skala nominalna a pomiar powtórzony

• test McNemara - powtórzony pomiar na skali nominalnej z dwiema kategoriami

Alternatywy nieparametryczne

Stosowane, kiedy:

• założenia danego testu parametrycznego są niespełnione
  i / lub

• skale pomiarowe zmiennych nie spełniają wymogów danego testu parametrycznego

Alternatywy nieparametryczne

• Oparte na medianach i rangowaniu wyników, nie na obliczaniu średnich i wariancji

• Nie wymagają założeń co do rozkładu, dopuszczają pomiar na skali porządkowej

Korelacja dwóch zmiennych

• Analiza parametryczna: r Pearsona

• wymaga rozkładów z grubsza normalnych i skal ciągłych

• Alternatywy nieparametryczne

• tau Kendalla

• rho Spearmana

• obie przyjmują wartości z przedziału od -1 do +1; rho jest zwykle nieco wyższe niż tau

Porównanie dwóch grup

• Analiza parametryczna: test t studenta

• wymaga rozkładów z grubsza normalnych, wariancji w obu grupach porównywalnych i skal ciągłych

• Alternatywa nieparametryczna:

• test U Manna-Whitneya

• oparty na rangowaniu danych; nie wymaga żadnego z powyższych założeń

Porównanie trzech i więcej grup

• Analiza parametryczna: analiza wariancji (ANOVA)

• wymaga rozkładów z grubsza normalnych, wariancji we wszystkich grupach porównywalnych i skal ciągłych

• Alternatywa nieparametryczna:

• test H Kruskala-Wallisa

• Problem: Brak eleganckiej nieparametrycznej alternatywy dla testów post-hoc, interakcji, analizy wielorakiej, analizy wieloczynnikowej

• porównania parami testem U

• mała moc, jeśli grup więcej niż trzy

Porównanie dwóch powtórzonych pomiarów

• Analiza parametryczna: test t dla powtórzonych pomiarów

• wymaga rozkładów z grubsza normalnych i skal ciągłych

• Alternatywa nieparametryczna:

• test znaków rangowych Wilcoxona

Porównanie trzech i więcej powtórzonych pomiarów

• Analiza parametryczna: ANOVA dla powtórzonych pomiarów

• wymaga rozkładów z grubsza normalnych i skal ciągłych

• Alternatywa nieparametryczna:

• test rang Friedmana

• Problem: Brak eleganckiej nieparametrycznej alternatywy dla porównań wielokrotnych

• porównania parami testem znaków rangowych Friedmana z korektą Bonferroniego

• mała moc, jeśli pomiarów więcej niż trzy

Analizy interakcji i inne plany złożone

• Brak jest alternatyw nieparametrycznych dla bardziej złożonych planów ANOVA, np. analizy interakcji międzygrupowe i wewnątrzgrupowe, analizy interakcji międzygrupowo-wewnętrzne, analizy trendów, analizy wielorakie

• Niektórzy dopuszczają analizę parametryczną na skalach porządkowych, jeśli ma ona co najmniej siedem poziomów lub więcej

• współczynniki tau, rho i r zwykle różnią się nieznacznie

• korelacje Spearmana i Pearsona są sobie równoważne, jeśli dane zostały porangowane

• współczynnik phi jest tożsamy z r

4

---