Patrząc wstecz…
Metodologia ze statystyką
Kurs zaawansowany
Wykład 01
dr Rafał Albiński
Kontakt do
prowadzącego
dr Rafał Albiński
rafal.albinski@gmail.com
Dyżur:
- spotkania „face to face” możliwe po
umówieniu się drogą mailową
Po co nam właściwie
metodologia i statystyka (I)
• Metodologia – jak przeprowadzać
badania?
• Statystyka – jak analizować dane?
Po co nam właściwie
metodologia i statystyka (II)
Jeszcze jedna sprawa…
• Szczególnie dotycząca programów w stylu IBM
SPSS
Czym jest nauka?
• Nauka – wiedza, czy specyficzne
podejście do rzeczywistości?
– Zdobywanie wiedzy o świecie za
pomocą możliwych do testowania
wyjaśnień
• Psychologia – nauka empiryczna:
wady i zalety
– Zygmunt Freud
Cechy metody naukowej
(I)
• Metoda naukowa jest empiryczna i polega
na systematycznej i kontrolowanej
obserwacji
• Badacze kontrolują sytuację
eksperymentalną, manipulują zmiennymi
niezależnymi lub dobierają poziomy
zmiennych osobowościowych
• Zmienne zależne są miarami zachowania
używanymi do określenia konsekwencji
zmiennych niezależnych
Shaugnessy, Zechmeister i Zechmeister (2002)
Cechy metody naukowej
(II)
• Naukowy opis badań jest bezstronny
i obiektywny, a znaczenie pojęć jest
precyzowane za pomocą definicji
operacyjnych
• Narzędzia naukowe są dokładne i
precyzyjne, miary fizyczne i
psychologiczne zaś powinny być
trafne i rzetelne
Shaugnessy, Zechmeister i Zechmeister (2002)
Cechy metody naukowej
(III)
• Hipoteza jest próbnym wyjaśnieniem
zjawisk; sprawdzalne hipotezy zawierają
jasno zdefiniowane pojęcia, nie posługują
się definicjami kołowymi i odnoszą się do
zjawisk obserwowalnych
• Naukowcy przyjmują sceptyczną postawę
i ostrożnie podchodzą do wyjaśnień,
dopóki nie uzyskają na ich poparcie
wystarczających dowodów naukowych
Shaugnessy, Zechmeister i Zechmeister (2002)
Skale pomiarowe (I)
• W zależności od zastosowanej skali
pomiarowej, zbieramy różnego
rodzaju informacje, o różnym stopniu
dokładności
Skale pomiarowe (II)
• Zmienne mogą być mierzone na
jednej z czterech skal pomiarowych
– Skala nominalna
– Skala porządkowa
– Skala przedziałowa
– Skala ilorazowa
SKALE JAKOŚCIOWE
SKALE ILOŚCIOWE
Skale pomiarowe (III)
• SKALA NOMINALNA
– Pozwala na klasyfikowanie obiektów do
różnych kategorii… i tyle
– Pozwala na stwierdzenie, że obiekty należą do
tej samej grupy lub do różnych grup
– Nie pozwala uporządkowanie informacji (np.
rosnąco)
– Najmniej informacyjna
• Płeć
• Kolor oczu
• Marka auta
Skale pomiarowe (IV)
• SKALA PORZĄDKOWA
– Pozwala na uporządkowanie obserwacji
w pod względem nasilenia mierzonej
cechy
– Nie możemy określić na ile jedna
obserwacja różni się od drugiej
• Osoby młode (20-25 lat)
• Osoby w średnim wieku (40-45 lat)
• Osoby starsze (60-65 lat)
Skale pomiarowe (V)
• SKALA PRZEDZIAŁOWA
– Pozwala na stwierdzenie o ile
dokładnie różnią się dwie
obserwacje
– Nie ma zera absolutnego (np.
stopnie Celsjusza)
– Skala ma stałą jednostkę (równe
odstępy między wartościami)
– W krainie drobnych
metodologicznych nadużyć:
skale subiektywnej oceny…
Skale pomiarowe (VI)
• W polskiej gospodarce widać zmiany
na lepsze
1 – zdecydowanie się nie zgadzam
2 – nie zgadzam się
3 – nie mam zdania
4 – zgadzam się
5 – zdecydowanie się zgadzam
Skale pomiarowe (VII)
• SKALA ILORAZOWA
– Ma zero absolutne
– Mówi nie tylko „o ile A różni się od B”,
ale też ile razy A różni się od B (np.
Stefan zarabia trzy razy tyle co Zenon)
• Zarobki
• Czasu reakcji
• Prędkość
• Ilość punktów na teście
Skale pomiarowe (VII)
• UWAGA: zawsze
zbieramy dane na
najwyżej możliwej skali
– Np. wiek jako liczbę lat, a
nie jako wybór jednej z kilku
kategorii
• Czym się różni
akwarium od zupy
rybnej?
• Z wyższej skali możemy
zejść do niższej, ale nie
odwrotnie
Podejścia badawcze (I)
• Podejście nomotetyczne
– Jego celem jest formułowanie
uniwersalnych praw odnoszących się
do szerokiej populacji
– Koncentruje się na szukaniu
podobieństw między jednostkami,
nie przeczy jednak występowaniu
różnic
– Przykład: rozproszenie
odpowiedzialności (w ujęciu
nomotetycznym), telewizja a wyniki
egzaminu
– Większość badań jest prowadzonych
w podejściu nomotetycznym
Podejścia badawcze (II)
0
2
4
6
8
10
12
14
16
15
11
7
średnia ilość zapamiętanych słów
Podejścia badawcze (III)
• Podejście idiograficzne
– Allport (1961): jednostki nie
można opisać poprzez
średni wynik grupy, do
której ona należy
– Studium przypadku
– Poszukiwanie unikatowych
właściwości danej jednostki,
co nie wyklucza także
podobieństw z innymi
jednostkami
Teorie naukowe
• Teorie naukowe to
weryfikowalne pomysły na temat
tego, jak działa natura (wersja
light ).
• Teoria naukowa to logicznie
powiązany zbiór twierdzeń
służących do definiowania
zdarzeń (pojęć), opisywania
związków między nimi, oraz
wyjaśniania powodów ich
występowania (wersja
standardowa ).
Shaugnessy, Zechmeister i Zechmeister (2002)
Główne schematy
badawcze
• Schemat eksperymentalny
• Schemat quasi-eksperymentalny
• Schemat korelacyjny
• Schemat między-osobami
• Schemat wewnątrz-osób
• Schemat mieszany
Schemat eksperymentalny
– Pozwalają nam udzielać odpowiedzi na
pytania o różnice
– Jedyna metoda pozwlajająca na
wyciąganie wniosków o przyczynie i skutku
– Manipulujemy zmienną niezależną
– Mierzymy zmienną zależną
– Losowo przyporządkowujemy osoby
badane do grup
– Kontrolujemy tak wiele zmiennych
ubocznych jak to możliwe (i tak nigdy nie
jesteśmy w stanie kontrolować wszystkich)
Eksperyment: przykład
• Czy Coca-Cola smakuje inaczej, gdy jest
serwowana w butelce z inną etykietą?
– Każdy badany otrzymuje butelkę Coca-Coli
• Połowa badanych otrzymuje Coca-Colę w
butelce z etykietą Coca-Coli
• Połowa badanych otrzymuje Coca-Colę w
butelce z etykietą Hoop Coli
• Każdy badany po wypiciu napoju ocenia jego
jakość na skali od 1 (niska) do 10 (wysoka)
Coca-Cola
w
oryginalnej
butelce
Coca-Cola
w
oryginalnej
butelce
Coca-cola w
butelce
Hoop Coli
Coca-cola w
butelce
Hoop Coli
Ocena
Ocena
Ocena
Ocena
ZMIENNA NIEZALEŻNA
ZMIENNA ZALEŻNA
Schemat quasi-
eksperymentalny
– Pozwala nam na udzielanie
odpowiedzi na pytania o
różnice
– Nie można wyciągać wniosków
na temat przyczyny i skutku
– Nie ma losowego doboru
badanych, porównujemy grupy
istniejące naturalnie
– Nie manipulujemy zmienną
niezależną
Quasi-eksperyment: przykład
• Jak fani Coca-Coli i fani Pepsi
oceniają jakość Hoop Coli?
– Na podstawie badań
kwestionariuszowych
identyfikujemy 30 fanatyków Coca-
coli i 30 fanatyków Pepsi
– Każda osoba badana wypija puszkę
Hoop Coli
– Każdy badany po wypiciu napoju
ocenia jego jakość na skali od 1
(niska) do 10 (wysoka)
Fanatycy
Coca-Coli
Fanatycy
Coca-Coli
Fanatycy
Pepsi
Fanatycy
Pepsi
Jakość
Jakość
Jakość
Jakość
Hoop Cola
Hoop Cola
Schematy badawcze (VII)
SCHEMAT KORELACYJNY
• Analizujemy związek między
dwiema lub większą liczbą
zmiennych
• Nie możemy wyciągać wniosków
przyczynowo skutkowych
– Nawet jeżeli wydaje to się
absolutnie logiczne i klarowne!
– Dodatnia korelacja
• Zmienna X rośnie, zmienna Y rośnie
– Ujemna korelacja
• Zmienna X rośnie, zmienna Y maleje
– Wyniki: <-1; 1>
Schemat między-osobami
• Czy są różnice w poziomie
wiedzy statystycznej między
kobietami a mężczyznami?
– Osoby badane: 50 mężczyzn i 50
kobiet (studenci trzeciego roku)
– Każdy z badanych wypełnia test
szacujący poziom wiedzy statystycznej
– Porównujemy wyniki obu grup
• Możemy użyć testu t dla prób
niezależnych
• Quasi-eksperyment (płeć)
Mężczyźni
Mężczyźni
Kobiety
Kobiety
Wyniki
testu
Wyniki
testu
Wyniki
testu
Wyniki
testu
Schemat wewnątrz osób
• Czy ukończenie kursu ze
statystyki przyczynia się do
zwiększenia wiedzy statystycznej?
• Badani: 30 studentów 1-go roku
• Każdy z badanych rozwiązuje test
ze statystyki: przed rozpoczęciem
kursu i po jego zakończeniu (0-30
pkt.)
• Porównujemy średnie z obu
pomiarów
Testujemy dwukrotnie tych samych badanych!
1-szy test –
przed
rozpoczęcie
m kursu
2-gi test – po
zakończeniu
kursu
kurs
kurs
Schemat mieszany
• Skomplikujmy nieco
poprzednie przykłady…
– Czy wiedza statystyczna
zmienia się na skutek
ukończenia kursu?
– Jak to wygląda osobno
dla grup kobiet i
mężczyzn?
1-szy test –
przed
rozpoczęcie
m kursu
2-gi test – po
zakończeniu
kursu
kurs
kurs
1-szy test –
przed
rozpoczęcie
m kursu
2-gi test – po
zakończeniu
kursu
kurs
kurs
Mężczyźni
Kobiety
Proces badawczy (I)
1. Postawienie pytania badawczego
– Wynika ono z teorii lub po prostu z
obserwacji rzeczywistości, lub… intuicji
badacza (czemu nie?)
2. Postawienie hipotez
– Konkretne przewidywania na bazie
określonej teorii lub zbioru faktów,
poszukiwanie czynników modyfikujących
znane już efekty, itp.
3. Dobór odpowiedniego schematu
badawczego
– eksperymentalny, quasi-eksperymentalny,
korelacyjny
Proces badawczy (II)
4. Dobór narzędzi
badawczych i
operacjonalizacja
– Stosujemy narzędzia
istniejące lub tworzymy
własne
– Testy psychometryczne…
ale i procedury badawcze
(np. do pomiaru pamięci
prospektywnej)
5. Zbieranie danych
Proces badawczy (III)
6. Analiza danych
– UWAGA: metody analizy
dobieramy przed
badaniem!
7. Opis wyników i
wyciąganie
wniosków
– Klarowny język
– Analiza ani opis nie
lubią pośpiechu
Pytania badawcze (I)
• Jak postawić dobre
pytanie badawcze?
– Pytanie musi być
weryfikowalne
– „Jaki jest sens życia?”…
Hmm…
– Dobre pytanie badawcze
pozwala na
wyodrębnienie istotnych
zmiennych i sugeruje
metody badawcze
Pytania badawcze (II)
• Pytania o różnice
– Czy kobiety i mężczyźni różnią się zdolnościami
przestrzennymi?
– Czy rotwailery i yorki różnią się pod kątem wagi?
– Czy osoby starsze i młode różnią się pod względem
pojemności operacyjnej?
• Pytania o związek
– Czy jest związek między inteligencją a zarobkami?
– Czy jest zależność między ekstrawersją a skłonnością
do ryzyka?
– Czy jest relacja/powiązanie między ilością wypitych
kaw a czasem reakcji w zadaniu leksykalnym?
Hipotezy (I)
• Z pytań badawczych
wyprowadzamy hipotezy (zdania
twierdzące), które weryfikujemy
w badaniu
– PYTANIE BADAWCZE: Czy osoby
starsze i młode różnią się pod
względem pojemności operacyjnej?
– HIPOTEZA: Osoby starsze i młode
różnią się pod względem
pojemności pamięci operacyjnej
Hipotezy (II)
• Zarówno pytania badawcze jak i hipotezy mogą być
kierunkowe lub niekierunkowe
– PYTANIE BADAWCZE NIEKIERUNKOWE: Czy osoby
starsze i młode różnią się pod względem pojemności
operacyjnej?
– PYTANIE BADAWCZE KIERUNKOWE: Czy osoby starsze
mają niższą pojemność pamięci operacyjnej niż osoby
młodsze?
– HIPOTEZA NIEKIERUNKOWA: Osoby starsze różnią się od
młodych pod względem pojemności pamięci operacyjnej
– HIPOTEZA KIERUNKOWA: Osoby starsze mają niższą
pojemność pamięci operacyjnej niż osoby młodsze
Hipotezy (III)
• Hipoteza jest próbną odpowiedzią na
pytanie badawcze
• Jest twierdzeniem, które określa konkretny
układ zależności
• Dobra hipoteza:
–
Jest jasno sformułowana
–
Jest adekwatną odpowiedzią na problem
–
Jest najprostszą odpowiedzią na problem
–
Jest tak sformułowana, że łatwo ją odrzucić lub
przyjąć
Podsumowując: o co tu w sumie
chodzi?
• Nauka polega na wyjaśnianiu tego
jak „działa świat”
• Celem nauki jest identyfikacja
przyczyn i skutków różnych zjawisk
• Celem jest także wykluczenie
fałszywych wyjaśnień dotyczących
tego jak rzeczy się mają
– Mądry Hans (znaczy się koń…)
O co tu w sumie chodzi?
• Wyjaśnianie zmienności
– Fakt I: ludzie różnią się od siebie
– Fakt II: Każde zdarzenie może mieć
więcej niż jedną przyczynę
– Fakt III: Przyczyny te nie muszą być
równie ważne
O co tu w sumie chodzi?
• Jak jest zmienna to musi być i zmienność
• Cała psychologia to w zasadzie
wyjaśnianie zmienności!
• Np. co wpływa na zarobki:
– Inteligencja
– Ekstrawersja/introwersja
– Pochodzenie
– Znajomości
– Atrakcyjność fizyczna
– Doświadczenie zawodowe
Na czym polega wnioskowanie
statystyczne
• Tak naprawdę na ocenie
prawdopodobieństwa zdarzeń.
• Korzystając z metod statystycznych
nigdy nic nie wiemy na 100%
– Może być 99,999999%
– Ale nie 100%
Panie Premierze, jak żyć?
Czyli statystyka w służbie codzienności…
Coolican, 2009
• Pewna klinika oferuje
nieinwazyjne metody mające
zagwarantować preferowaną
płeć dziecka
• Zabiegi są bardzo drogie
• Z usług kliniki skorzystało już
sześć par, czterem z nich
urodziło się dziecko takiej płci,
jaką chcieli „klienci”
• Nasi znajomi pytają czy warto
zainwestować pieniądze w
usługi tej kliniki
Przykład
• Badamy skuteczność nowatorskich
metod nauczania matematyki
• W badaniu biorą udział uczniowie
dwóch klas w szkole podstawowej
(IIIA i IIIB)
• IIIA uczona jest metodą tradycyjną,
IIIB uczona jest nową metodą
• Na koniec semestru wszyscy
uczniowie z obu klas piszą
identyczny test (0-100 pkt.)
• Jak ustalić, czy obie metody
nauczania się różnią?
Wyniki – wersja 1
III A
III B
0
10
20
30
40
50
60
70
60
60
Wyniki – wersja 2
III A
III B
0
10
20
30
40
50
60
70
55
65
Wyniki – wersja 3
III A
III B
0
10
20
30
40
50
60
70
80
50
70
Wyniki – wersja 4
III A
III B
0
10
20
30
40
50
60
70
80
45
75
Wyniki – wersja 5
III A
III B
0
10
20
30
40
50
60
70
80
90
100
30
90
Hipoteza zerowa
• Założenie na temat populacji, z której
„pobieramy” badane próby
• Zakłada brak efektu (np. brak różnic
pomiędzy dwiema metodami nauczania)
H
0
: M
pkt. Standardowa metoda
= M
pkt. Nowatorska metoda
• W badaniach szacujemy
prawdopodobieństwo wystąpienia
naszego wyniku, przy założeniu, że
hipoteza zerowa jest prawdziwa
Hipoteza alternatywna
• Jeżeli owo prawdopodobieństwo jest
dostatecznie niskie możemy zdecydować o
odrzuceniu hipotezy zerowej i przyjęciu
hipotezy alternatywnej
H
A
: M
pkt. Standardowa metoda
≠ M
pkt. Nowatorska metoda
• Wnioskowanie statystyczne polega na
wyborze: albo zostajemy przy hipotezie
zerowej, albo odrzucamy ją i przyjmujemy
hipotezę alternatywną
Kiedy wynik uznajemy za
nieprzypadkowy?
• W naukach społecznych jako
granicę akceptacji wyniku jako
nieprzypadkowego przyjęto 5%.
• Innymi słowy, jeżeli jest mniej niż
5% szans na uzyskanie danego
wyniku przy założeniu
prawdziwości hipotezy zerowej, to
możemy ją odrzucić i przyjąć
hipotezę alternatywną
• Czemu akurat 5%? Ach czemu???
– Nie mam pojęcia. Zapytajcie tego
pana…
Ronald Fisher
1890 - 1962
Różne nauki, różne kryteria
• W naukach społecznych 5% (p<0,05)
spokojnie wystarczy…
• …ale już np. przy badaniach nad
nowymi lekami stosuje się bardziej
wyśrubowane kryteria (np. żeby
zbadać częstość pojawiania się
poważnych efektów ubocznych):
– p < 0,01
– p < 0,001
– p <0,0001
• Przykład: korzystne efekty
aspiryny
Jak wygląda stosowanie testów
w praktyce? (I)
WRÓĆMY DO PRZYKŁADU Z IIIA I IIIB
• H
0
: porównywane metody
nauczania nie różnią się pod
względem efektów
• H
A
: porównywane metody
nauczania różnią się pod
względem efektów
• Operacjonalizacja H
A
: wystąpią
istotne statystyczne różnice w
średniej ilości punktów z testu
zdobytych przez uczniów obu klas
Jak wygląda stosowanie
testów w praktyce? (II)
• Dobieramy metodę
analizy:
– Porównujemy wyniki dwóch
grup pod kątem jednej
zmiennej (wynik testu)
• Test t dla prób niezależnych
– Hipotezy już mamy -
stawiamy je przed
zebraniem danych(!!!) –
wiemy już, czy są
kierunkowe czy nie –
przykłady za chwilę)
Jak wygląda stosowanie testów
w praktyce? (III)
• Ustawiamy analizę… i kolejne kroki wykonuje
program typu IBM SPSS… ale co się właściwie dzieje?
– Program oblicza wynik testu (tu: testu t dla prób
niezależnych)
– Program bierze pod uwagę ilość stopni swobody (df –
degrees of freedom), które wpływają na kształt rozkładu
wyników
– Program ustala czy przy danym kształcie rozkładu uzyskany
wynik testu jest na tyle wysoki/niski, żeby uznać go za
nieprzypadkowy (przy założeniu prawdziwości hipotezy
zerowej)
– My dostajemy tę informację w postaci wyniku istotności
statystycznej
Istotność dwustronna
• .05 = 5%
2,5%
2,5%
Hipoteza
alternatywna:
są różnice w
średnich
wynikach testu
w zależności od
użytej metody
Istotność jednostronna
• .05 = 5%
5%
Hipoteza
alternatywna:
uczniowie
uczeni
nowatorską
metodą
osiągną wyższe
wyniki testu
2,5%
Bez oszukiwania!
• Hipotezy należy stawiać przed
rozpoczęciem zbierania danych
• Fabrykowanie danych jest
przestępstwem (co najmniej
naukowym… ale nie tylko)
• Kontrprzykład:
– Diederik Stapel
• PhD: 1997 (Univeristy of Amsterdam)
• Koniec kariery: 2011
• Wymyślił dane, na bazie których
opublikował co najmniej 50
artykułów naukowych (w tym w
Science)
Przed analizą wariancji były
testy t Studenta…
• Testów t używamy do porównywania
średnich – nie więcej niż dwóch
jednocześnie
• Trzy rodzaje testów t
– Test t dla prób niezależnych
– Test t dla prób zależnych
– Test t dla jednej próby
– Ale tu skorzystamy z innej prezentacji