RZETELNOŚĆ TESTÓW
PSYCHOLOGICZNYCH
powtórka regresji,
analizy czynnikowej i
testy nieparametryczne
RZETELNOŚĆ TESTU ROZUMIE SIĘ
JAKO DOKŁADNOŚĆ, Z JAKĄ MIERZY
TO, CO MIERZY.
JEST TO STOPIEŃ ZGODNOŚCI
POMIĘDZY WYNIKAMI UZYSKIWANYMI
PRZY KOLEJNYCH POMIARACH
DOKONYWANYCH ZA POMOCĄ TEGO
SAMEGO NARZĘDZIA.
TO SAMO NARZĘDZIE
POWINNO DAWAĆ TAKI SAM
WYNIK DLA TEJ SAMEJ
OSOBY BADANEJ ZA
KAŻDYM KOLEJNYM RAZEM.
WTEDY JEST ONO
RZETELNE.
OD CZEGO ZALEŻY RZETELNOŚĆ?
♠
Od wariancji błędu – im mniejsza ta
wariancja tym lepiej – błąd ten można
zmniejszyć zwiększając liczbę pomiarów, o
ile jest błędem przypadkowym
♠
Od stopnia skorelowania wzajemnego
pozycji – im bardziej pozycje dotyczą
jednej cechy, tym większa rzetelność
♠
Od mocy dyskryminacyjnej
♠
System odpowiedzi wielokategorialny
zwiększa rzetelność
MOC DYSKRYMINACYJNA
MOC DYSKRYMINACYJNA DANEJ POZYCJI W
TEŚCIE BĄDŹ SKALI MÓWI NAM O TYM, W
JAKIM STOPNIU DANA POZYCJA RÓŻNICUJE
POPULACJĘ POD WZGLĘDEM DANEJ CECHY.
Np. „Budzę się w nocy z palpitacjami serca”
może oznaczać lękliwość, ale niekoniecznie.
Im więcej jest alternatywnych możliwości
uzasadnienia palpitacji serca, tym bardziej
spada moc dyskryminacyjna pozycji.
POWINNIŚMY MIERZYĆ RZETELNOŚĆ
KAŻDEJ SKALI CZY KAŻDEGO TESTU,
KTÓREGO WYNIKI CHCEMY
INTERPRETOWAĆ.
KAŻDA POZYCJA W TEŚCIE POWINNA
BYĆ RÓWNOWAŻNA Z INNYMI
POZYCJAMI, TZN. WSZYSTKIE
POWINNY ODNOSIĆ SIĘ DO TEGO
SAMEGO WYMIARU, KTÓRY MAJĄ ZA
ZADANIE MIERZYĆ.
BADANIE 1
Pewna studentka skonstruowała 10-pozycyjną
skalę Kontroli Emocjonalnej. Poprosiła 50 osób
o wykonanie testu i udzielenie odpowiedzi na
skalach od 0 (całkowicie się nie zgadzam) do
4 (całkowicie się zgadzam). Jednak połowa
pozycji jest skonstruowana w taki sposób, że
odpowiedź „zgadzam się” wyraża chęć
utrzymywania emocji pod kontrolą, podczas
gdy druga połowa odwrotnie – „zgadzam się”
oznacza chęć dzielenia się emocjami. W
związku z tym, trzeba przekształcić wyniki w
taki sposób, aby były jednolite. Następnie
obliczyła rzetelność swojej skali.
NAJPIERW MOŻEMY
SPRAWDZIĆ, CZY TAK
NAPRAWDĘ SKALA MA
JEDEN WYMIAR, CZY MOŻE
WIĘCEJ CZYNNIKÓW.
ANALIZA CZYNNIKOWA
Baza „Kontrola emocjonalna”
Wykres osypiska
Numer składowej
10
9
8
7
6
5
4
3
2
1
W
ar
to
ść
w
ła
sn
a
5
4
3
2
1
0
ROTACJI NIE
WYKONUJEMY,
PONIEWAŻ MAMY
TYLKO 1 CZYNNIK.
Macierz czynników
a
,684
,709
-,636
-,650
,615
-,621
,637
-,740
-,479
,596
ITEM1
ITEM2
ITEM3
ITEM4
ITEM5
ITEM6
ITEM7
ITEM8
ITEM9
ITEM10
1
Czynnik
Metoda wyodrębniania czynników - Największej wiarygodności.
1 - liczba wyodrębnionych czynników. 4 - liczba
wymaganych iteracji.
a.
MAMY CZYNNIK
O DWÓCH BIEGUNACH.
UJEMNE KORELACJE
WSKAZUJĄ NAM TE
POZYCJE, KTÓRE
MUSIMY PRZEKODOWAĆ,
TAK ABY ODPOWIEDŹ
„ZGADZAM SIĘ”
ZAWSZE OZNACZAŁA
KONTROLĘ
EMOCJONALNĄ.
ODPOWIEDZI „ZGADZAM SIĘ” NA TE POZYCJE SĄ WYRAZEM
MNIEJSZEJ EMOCJONLANEJ KONTROLI, NATOMIAST TE SAME
ODPOWIEDZI DLA POZOSTAŁYCH POZYCJI SĄ WYRAZM
WIĘKSZEJ KONTROLI. TAK WIĘC MUSIMY PRZEKODOWAĆ
ZAZNACZONE POZYCJE – NAZWIJMY JE RÓWNIEŻ ODMIENNIE.
WKLEJAMY WSZYSTKIE POTRZEBNE
POZCYCJE – 3,4,6,8,9
PRZERZUCAMY
POZYCJE
WYNIKI
WSPÓŁCZYNNIK ALFA CRONBACHA WYNOSI 0,87, CO
OZNACZA, ŻE SKALA JEST BARDZO RZETELNA.
BADANIE 2
Badanie opiera się na bazie danych z
poprzednich zajęć i dotyczy skali mierzącej, w
jakim stopniu kobiety cenią karierę zawodową.
Przeprowadź analizę czynnikową
sprawdzającą, czy rzeczywiście skala jest
jednowymiarowa i przekoduj odpowiednie
pozycje.
Podaj współczynnik korelacji pomiędzy 3 i 4
pozycją.
BAZA „KARIERA”
Wykres osypiska
Numer składowej
12
11
10
9
8
7
6
5
4
3
2
1
W
ar
to
ść
w
ła
sn
a
7
6
5
4
3
2
1
0
POZYCJE 3,4,5,7,11,12 TRZEBA PRZEKODOWAĆ.
WRZUCAMY ODPOWIEDNIE POZYCJE
3,4,5,7,11,12
WYNIKI
RZETELNOŚĆ SKALI JEST BARDZO WYSOKA –
ALFA CRONBACHA WYNOSI 0,91
KORELACJA MIĘDZY POZYCJĄ 3 A 4 WYNOSI r = 0,51
Otwieramy bazę
„Nauczyciele 2”
ZADANIA:
ANALIZA REGRESJI
– który z predyktorów najlepiej
przewiduje samoocenę badanych?
• Jaka jest siła tego predyktora?
• Wraz ze wzrostem tego predyktora o 1, jak zmieni się
samoocena?
ANALIZA CZYNNIKOWA
– ile czynników zawiera w sobie
ten kwestionariusz wg. wykresu osypiska?
• Jakie pozycje wchodzą w zawartość czynnika 1? Jak
można nazwać ten czynnik? Jaką część wariancji
wyjaśnia?
ANALIZA RZETELNOŚCI
– ile wynosi współczynnik
rzetelności alfa Cronbacha dla kwestionariusza, który
tworzy czynnik pierwszy?
Współczynniki
a
,527
,983
,536
,593
,149
,225
,093
,663
,509
-,211
,161
-,155
-1,308
,195
,463
,137
,400
3,368
,001
,063
,123
,056
,515
,608
-,015
,180
-,010
-,085
,933
-,090
,199
-,062
-,449
,655
,092
,140
,077
,657
,513
,363
,211
,190
1,721
,089
,024
,190
,017
,125
,901
(Stała)
Dyskutuję o moich
problemach z uczniami z
osobami w szkole.
Próbuję układać plan
działania, aby
rozwiązywać takie
problemy.
Dzielę się moimi
emocjami z rodziną i
przyjaciółmi.
Czytuję, uczęszczam na
warsztaty lub korzystam
z innych edukacyjnych
pomocy, aby pomagać
uczniom.
Próbuję uświadamiać
sobie własne emocje
związane z problemami.
Szukam rady u innych, w
jaki sposób rozwiązać
problem.
Zastanawiam się nad
emocjami związanymi z
problemami.
Podejmuję konkretne
działania w celu
rozwiązania problemu.
Mówię innym o swoich
odczuciach związanych z
danym problemem.
Model
1
B
Błąd
standardowy
Współczynniki
niestandaryzowane
Beta
Współczynniki
standaryzowa
ne
t
Istotność
Zmienna zależna: Samoocena badanego (0-6)
a.
•Najsilniejszym predyktorem
samooceny jest pozycja „Dzielę
się moimi emocjami z rodziną i
przyjaciółmi”. Beta wynosi 0,4.
•Wraz ze wzrostem tego
predyktora o 1 (na skali),
samoocena wzrasta o 0,463.
Wykres osypiska
Numer składowej
10
9
8
7
6
5
4
3
2
1
W
ar
to
ść
w
ła
sn
a
3,5
3,0
2,5
2,0
1,5
1,0
,5
0,0
2 CZYNNIKI
CZYNNIK PIERWSZY WYJAŚNIA
22,62% WARIANCJI KWESTIONARIUSZA.
Całkowita wyjaśniona wariancja
3,046
30,465
30,465
2,495
24,954
24,954
2,262
22,616
22,616
1,801
18,011
48,476
1,173
11,734
36,688
1,407
14,072
36,688
1,009
10,091
58,566
,934
9,336
67,902
,840
8,404
76,307
,711
7,107
83,414
,574
5,737
89,151
,440
4,396
93,547
,337
3,368
96,915
,308
3,085
100,000
Czynnik
1
2
3
4
5
6
7
8
9
10
Ogółem
% wariancji
%
skumulowany
Ogółem
% wariancji
%
skumulowany
Ogółem
% wariancji
%
skumulowany
Początkowe wartości własne
Sumy kwadratów ładunków po
wyodrębnieniu
Sumy kwadratów ładunków po rotacji
Metoda wyodrębniania czynników - Największej wiarygodności.
CZYNNIK PIERWSZY DOTYCZY RADZENIA SOBIE Z PROBLEMAMI
Z TRUDNYMI UCZNIAMI Z POMOCĄ INNYCH OSÓB –
DZIELENIA SIĘ Z NIMI EMOCJAMI LUB SZUKANIEM RAD.
POZYCJE 1,3,6,9.
RZETELNOŚĆ KWESTIONARIUSZA
OPARTEGO NA CZYNNIKU PIERWSZYM JEST
WYSOKA – ALFA CRONBACHA WYNOSI 0,79.
• OTWIERAMY BAZĘ „RYZYKO
FINANSOWE”
• OBLICZAMY RZETELNOŚĆ
POZYCJI SKŁADAJĄCYCH SIĘ NA
CZYNNIK 1. ILE WYNOSI ALFA
CRONBACHA?
• JAKI PROCENT WARIANCJI
WYJAŚNIA TEN CZYNNIK?
Wykres osypiska
Numer składowej
12
11
10
9
8
7
6
5
4
3
2
1
W
ar
to
ść
w
ła
sn
a
3,5
3,0
2,5
2,0
1,5
1,0
,5
0,0
Całkowita wyjaśniona wariancja
2,860
23,833
23,833
2,150
17,914
17,914
1,881
15,679
15,679
2,178
18,148
41,981
1,578
13,150
31,064
1,606
13,381
29,060
1,421
11,838
53,819
1,433
11,946
43,010
1,466
12,220
41,280
1,347
11,229
65,048
1,134
9,449
52,459
1,341
11,179
52,459
,925
7,707
72,755
,788
6,565
79,320
,703
5,855
85,176
,586
4,886
90,062
,459
3,824
93,885
,339
2,826
96,711
,291
2,429
99,140
,103
,860
100,000
Czynnik
1
2
3
4
5
6
7
8
9
10
11
12
Ogółem
% wariancji
%
skumulowany
Ogółem
% wariancji
%
skumulowany
Ogółem
% wariancji
%
skumulowany
Początkowe wartości własne
Sumy kwadratów ładunków po
wyodrębnieniu
Sumy kwadratów ładunków po rotacji
Metoda wyodrębniania czynników - Największej wiarygodności.
Macierz rotowanych czynników
a
,019
,941
,009
-,028
,266
,662
,179
-,111
,138
-,053
,580
,062
-,111
-,019
,582
,295
,175
-,096
,252
,336
,008
-,066
,198
,441
,100
,115
-,085
,851
,051
-,116
,578
,407
,199
,076
,494
-,080
,871
,078
,170
,051
,967
,085
,089
,175
,041
-,469
,187
-,038
ryzyko gotówka w domu
ryzko przedmiot
wartościowych
ryzyko jednostek
funduszy powierniczych
ryzyko akcji
ryzyko ROR'u
ryzyko polisy na życie
ryzko książeczki
oszczędnościowej
ryzyko obligacji
ryzko walut obcych
ryzko lokaty bankowej
długoterminowej
ryzko lokaty bankowej
krótkoterminowej
ryzko nieruchomości
1
2
3
4
Czynnik
Metoda wyodrębniania czynników - Największej wiarygodności.
Metoda rotacji - Varimax z normalizacją Kaisera.
Rotacja osiągnęła zbieżność w 6 iteracjach.
a.