Psychometria 2009
Wykład 5
Trafność
Psychometria 2009
Wykład 5
Trafność
• Trafność testu - odnosi się do pytania
o to, co jest mierzone przez test
• APA: Pojęcie trafności dotyczy
poprawności wniosków
wyprowadzanych na podstawie
wyników testowych lub innych form
badania
• Brzeziński (1996): trafność sprowadza
się do dwóch pytań:
– jakie wnioski można wyciągnąć na temat
tego, co jest mierzone przez test
– jakie wnioski można sformułować o
innych (pozatestowych) zachowaniach
• Przykłady narzędzi szczególnie
narażonych na nietrafność:
– pomiar wyznawanych wartości
– pomiar sumienności podczas
kwalifikowania do pracy
– pomiar neurotyczności u kandydatów
na komandosów
• Walidacja = ustalanie trafności
testu
Trzy aspekty trafności
• Trafność kryterialna
– trafność diagnostyczna
– trafność prognostyczna
• Trafność treściowa
• Trafność teoretyczna
Są to nie tyle trzy rodzaje trafności,
co trzy sposoby ustalania trafności.
„O trafności kryterialnej mówimy
wtedy, gdy na podstawie wyników
testowych wnioskuje się o
przypuszczalnej pozycji badanego
względem innej zmiennej – tzw.
kryterium” (Standardy dla testów
stosowanych w psychologii i
pedagogice, APA)
Trafność kryterialna -
diagnostyczna
• Pytanie o to, czy test jest w stanie
określić, czy w danej chwili dana osoba
odznacza się pewnymi właściwościami
• Metoda badania: określanie zgodność
testu z kryterium zewnętrznym
– korelacja wyników testu z inną metodą,
mierzącą to samo, co wyniki w teście
– narzędzie testowe oraz kryterialne
stosowane w tym samym momencie
Trafność kryterialna -
prognostyczna
• pytanie o to, czy wyniki w teście
skutecznie prognozują zachowanie się
jednostki w przyszłości
• Metoda badania: określanie zgodności
testu z rzeczywistym zachowaniem się
jednostki w przyszłości
– korelacja wyników w teście z narzędziem
określającym zachowanie się jednostki
– narzędzie kryterialne stosowane po
określonym czasie od zastosowania
narzędzia testowanego
Narzędzia kryterialne
• Kryteria bezpośrednie i pośrednie
• Problemy z określaniem trafności
kryterialnej:
– kryteria bezpośrednie dostępne są
rzadko, a pośrednie same wymagają
określenia ich trafności (i rzetelności)
– w praktyce psycholodzy określają
trafność zwykle przez skorelowanie
wyników swojego testu z innym testem
mierzącym to samo
Trafność treściowa
(wewnętrzna, logiczna)
• Pytanie o to, czy zachowania obejmowane
przez test są reprezentatywną próbką
wszystkich zachowań ujawniających się w
danej sferze
• „…aby potwierdzić trafność treściową zbioru
wyników otrzymanych w teście, należy
wykazać, że zachowania demonstrowane w
badaniu testowym są reprezentatywną próbką
zachowań ujawniających się w interesującej
badacza sferze” (Stadardy… APA)
• brak jest bezpośredniej empirycznej
metody weryfikowania tego rodzaju
trafności
– pozostają jedynie metody analizy jakościowej
– zgodność sędziów kompetentnych (Lawshe,
1975):
1.pozycja ta ma zasadnicze znaczenie dla testu
2.pozycja ta jest użyteczna, jednak nie ma
zasadniczego znaczenia
3.pozycja ta nie powinna się znaleźć w obrębie
testu
Trafność teoretyczna
• Jakie konstrukty wyjaśniają
wariancję wyników
rozwiązywanego testu (Cronbach i
Meehl, 1955)
• t. teoretyczna jest to stopień, w
jakim test mierzy konstrukt
teoretyczny lub cechę
Trafność teoretyczna
• t. kryterialna - kładzie nacisk na
pragma-tyczną sensowność i
użyteczność testu
• t. treściowa - kładzie nacisk na
"prawomocność" testu i jego
reprezentatywność dla mierzonego
zachowania
• t. teoretyczna - kładzie nacisk na to,
jakie zjawiska psychologiczne
(konstrukty, cechy), decydujące o
określonych zachowaniach,
obejmowane są przez dany test
Metody badania trafności
teoretycznej
• analiza różnic międzygrupowych
• badanie aspektu zbieżnego i
różnicowego
• analiza struktury wewnętrznej testu
• analiza zmian nieprzypadkowych
wyników testu
• analiza procesu rozwiązywania testu
• analiza czynnikowa
Analiza różnic
międzygrupowych
• różne grupy ludzi, skutecznie
zróżnicowane pod względem pewnego
konstruktu, powinny uzyskiwać różne
wyniki w teście
• np. test siły ego:
– osoby o wysokiej sile ego powinny
rzadziej korzystać z psychoterapii niż
osoby o niskiej sile ego
– tym samym, osoby rzadziej korzystające
z psychoterapii powinny uzyskiwać inne
wyniki w teście niż osoby częściej
korzystające z psychoterapii
Badanie aspektu zbieżnego i
różnicowego
• trafny test powinien wyżej korelować z
innymi narzędziami mierzącymi to
samo,
oraz
niżej z innymi narzędziami
mierzącymi co innego
• wysoka korelacja między testami tej
samej cechy świadczy o trafności
zbieżnej (TZ)
• niska korelacja z testami innych cech
świadczy o trafności różnicowej (TR)
• metoda macierzy wielu cech-wielu
metod WCWM) (MTMM):
– co najmniej dwie cechy, każda
mierzona przez co najmniej dwie
metody (zalecane trzy cechy i trzy
metody)
– metody wielowymiarowe określają,
czy interkorelacje między testami
mierzącymi to samo są wyższe niż
między testami mierzącymi co innego
IPSA
Oceny równieśników
IPSA
Mściwość Agr. fiz. Agr. słow. Mściwość Agr. fiz. Agr. słow.
Mściwość
-
Agr. fizyczna
0,55
-
Agr. słowna
0,39
0,42
Oceny równieśników
Mściwość
0,33
0,36
0,05
-
Agr. fizyczna
0,30
0,35
0,00
0,91
-
Agr. słowna
0,32
0,32
0,07
0,86
0,86
-
Campbell i Fiske, 1959
• Współczynniki TZ (kolor czerwony)
powinny być istotnie różne od zera
i na tyle wysokie, by warto było
dalej badać trafność tych testów
• Współczynniki TZ powinny być
wyższe niż współczynniki TR dla
różnych cech – różnych metod
(kolor czarny)
Drwal (1995): „W psychologii nadal
dominują badania nad trafnością
zbieżną i często się zdarza, że twórca
nowego testu jest zadowolony z
każdej istotnej korelacji, jaką może
podać, nie zauważając, że niektóre w
gruncie rzeczy kompromitują
trafność jego testu”
Analiza struktury testu
• Dotyczy zgodności wewnętrznej
Analiza zmian
nieprzypadkowych
wyników testu
• test i retest, ale przedzielone
manipulacją obliczoną na zmianę
wyników testu w określonym
kierunku
• np. skala relaksu - wykonana po
treningu relaksacyjnym
Analiza procesu
rozwiązywania testu
• zastosowanie dodatkowej techniki
(wywiadu, kwestionariusza itp.)
badającego myśli i odczucia osób
badanych podczas rozwiązywania
testu
Analiza czynnikowa
• Test mierzący jedną cechę powinien
ujawnić jeden czynnik, ewentualnie
kilka skorelowanych czynników
• Testy mierzące więcej cech
(kwestionariusze) - każda mierzona
cecha powinna ujawniać się jako
czynnik
Analiza czynnikowa
eksploracyjna vs.
konfirmacyjna
• Eksploracyjna analiza czynnikowa (EFA)
– jest techniką eksploracyjną
– wymaga podjęcia wielu arbitralnych decyzji
– nie nadaje się do weryfikowania hipotez
• Konfirmacyjna analiza czynnikowa (CFA)
– umożliwia weryfikację hipotez (modeli):
• liczba czynników
• treść czynników
• skorelowanie czynników
1. Opinie innych ludzi są dla mnie bardzo ważne.
2. Łatwo ulegam wpływom innych ludzi
3. Horrory wywierają na mnie bardzo silne wrażenie.
4. Kiedy się na czymś koncentruję, jestem tym
bardzo zaabsorbowany(a).
5. Łatwo mogę zapomnieć o wszystkim, kiedy
słucham swojej ulubionej muzyki.
6. Jestem osobą podatną na sugestie.
7. Łatwo przychodzi mi koncentrowanie się na tym,
co robię.
8. Zdarza mi się, że podczas oglądania filmu, sztuki
w teatrze lub w telewizji mogę tak bardzo się w
nią zaangażować, że zapominam o sobie i o tym co
mnie otacza i traktuję tę sztukę tak, jakby to było
rzeczywiste zdarzenie, w którym biorę udział.
9. Łatwo się wzruszam (płaczę) kiedy oglądam
sentymentalne filmy.
Podstawowe informacje w
CFA
• Istotność statystyczna dopasowania
modelu
– test chi-kwadrat
– Wyniki istotne statystycznie świadczą
o NIEDOPASOWANIU modelu
• Parametry ścieżkowe
• Indeksy dopasowania (goodness-of-fit)
• Indeksy modyfikacyjne
I n t e lig e n c ja
w e r b a ln a
I n t e lig e n c ja
n ie w e r b a ln a
S ło w n ik
W ia d o m o ś c i
A r y t m e t y k a
S y m b o le c y f r
P o w t a r z a n ie
c y f r
1
0 , 6 5
0 , 8 9
0 , 9 5
0 , 7 2
1
0 , 2 5
0 , 3 7
0 , 3 1
0 , 1 2
0 , 3 1
Trafność fasadowa
• błędne rozumienie: "test jest trafny, jeśli
wygląda na trafny"
• właściwe rozumienie: "test powinien w
oczach osób badanych wyglądać na
trafny"
• "trafność fasadowa dotyczy sposobu, w
jaki badani reagują na wygląd testu i na
metodę testowania" (Bechtoldt, 1968)
Czy zawsze konieczne jest
badanie trafności?
• Nie.
• „Trafność na mocy założenia”
• Trudno polemizować z trafnością termometru czy
ciśnieniomierza
• W psychologii: : np. w testach pamięci (w testach
inteligencji już ryzykowne)
• Konieczna jednak ostrożność: Mosier (1947):
dwa testy mierzące umiejętność porządkowania
według alfabetu korelowały z sobą na poziomie
0,0, a z kryteriami odpowiednio: 0,09 i 0,00
– mogło to być spowodowane niską rzetelnością, ale jeśli
można wykazać rzetelność wewnętrzną dwóch testów
mierzących to samo, to nie mogą one z sobą korelować
nisko, jeśli oba są rzetelne
• „fizycy nie mówią o ustalaniu
trafności procedury pomiarowej,
tylko o ustalaniu trafności teorii
naukowych” (Frank, 1956)
• Trafność kryterialna
• Trafność treściowa
• Trafność teoretyczna
• Guion (1980): Trynitarna doktryna
trafności
• = „nie może być tak, że jak komuś nie
udało się wykazać trafności na jeden
aspekt, to ma jeszcze dwie szanse”
Różne rodzaje trafności,
aspekty trafności, metody
badania trafności?
Słabości koncepcji
trynitarnej
• trafność teoretyczna jest jednak
nadrzędna; trafność kryterialna to zaledwie
metoda, a treściowa - problem raczej
metodologiczny (Guion, 1980: ustalanie
trafności treściowej to w gruncie rzeczy
procedura poprawnego konstruowania
testu
• W innym ujęciu: trafność kryterialna, a
nawet treściowa, to dwa szczególne
przypadki trafności teoretycznej.
•
Poprawka na tłumienie korelacji: powinna
być stosowana również w wypadku badania
trafności
•
Analizy trafności kryterialnej, podobnie jak
rzetelności, są wrażliwe na „spłaszczenie”
wariancji
– Np. gdyby określać trafność narzędzia mierzącego
nadawanie się do zawodu przedstawiciela
handlowego, to próba będzie spłaszczona, bo
chyba kandydaci pewnego rodzaju ubiegają się o
taką pracę; często zresztą już w tym zawodzie
pracowali.
•
Długość testu a jego trafność - ponieważ im
test jest dłuższy, tym jest rzetelniejszy, a
rzetelność ogranicza trafność, zatem im test
dłuższy, tym bardziej
•
Guilford, 1954: Praca nad kryterium powinna
zajmować tyle czasu, co konstrukcja testu
Przykłady badań trafności
FCZ-KT
• Trafność czynnikowa - analizy
czynnikowe
• Trafność teoretyczna:
– reaktywność emocjonalna zwiększa
wpływ stresorów na psychikę
– pacjenci depresyjni:
• obniżone wyniki w Żwawości,
Wytrzymałości i Aktywności
• podwyższone wyniki w reaktywności
emocjonalnej i perseweratywności
EPQ-R - trafność
teoretyczna
Należało oczekiwać:
• dodatniej korelacji skal P i N ze
schizotypią i Pogranicznymi
Zaburzeniami Osobowości
• dodatniej korelacji skali K z aprobatą
społeczną
• dodatniej korelacji skali P ze skalą
Machiawelizmu
• dodatniej korelacji skali P z twórczością
WAIS-R
przykłady trafności
diagnostycznej
• organiczne uszkodzenie mózgu
(zwłaszcza testy bezsłowne)
• neurotyzm (gorsze wyniki w testach
wymagających natychmiastowego
wysiłku)
• urzędnicy i nauczyciele - lepsi w
testach słownych; robotnicy i
mechanicy - w bezsłownych