Klasyczna teoria testu
Klasyczna teoria testu
Whatever exists, exists in some
amount."
E. L. Thorndike.
Założenia klasycznej teorii testu
(Gulliksen, 1950)
• do psychologii można zaadaptować model pomiaru
pochodzący z fizyki
• podobnie jak każdy obiekt fizyczny ma określone
wartości swoich cech fizycznych, niezależne od aktu
pomiaru i natury narzędzia badawczego, tak każdy
człowiek ma nieznane prawdziwe wartości cech
psychologicznych
• podczas pomiaru obserwujemy wartości prawdziwe
mierzonej cechy, zakłócone błędem równym różnicy
miedzy obserwowaną wartością wyniku pomiaru a
nieobserwowalną wartością prawdziwą mierzonej
cechy
Rzetelność
• Klasyczna teoria testu (Gulliksen, 1950)
– „psychometryczne opracowanie
problemu rzetelności i błędu pomiaru”
• Rzetelność jest miarą dokładności
pomiaru
X
t
= X
+ X
e
,
gdzie:
X
t
: wynik otrzymany
X
: wynik prawdziwy
X
e
: składnik błędu
2
2
e
tt
s
s
r
gdzie:
r
tt
- rzetelność
s
2
- wariancja wyników
prawdziwych
s
2
e
- wariancja wyników
otrzymanych
var
t
= var
+ var
e
Wynik prawdziwy
(Gulliksen, 1950)
• Wynik prawdziwy to granica, do
jakiej zmierza przeciętna wyników
i-tej osoby w danej liczbie testów
równoległych, jeśli ta liczba
wzrasta nieograniczenie
Wynik prawdziwy
(Guilford, 1954)
• średnia z nieskończenie wielu
badań tym samym testem
• wynik danej osoby otrzymany w
idealnych warunkach idealnym
narzędziem pomiarowym
Składnik błędu (Guilford,
1954)
• różnica między wynikiem
prawdziwym a wynikiem
otrzymanym
• wartość dodatnia lub ujemna
będąca funkcją warunków
testowania konkretnej osoby w
konkretnym badaniu
Założenia klasycznej teorii
testów
• Średnia arytmetyczna błędów
wynosi zero
• Korelacja wyniku prawdziwego i
składnika błędu jest zerowa
• Korelacja składników błędu dwóch
testów równoległych (czyli dwóch
kolejnych pomiarów) jest zerowa
• Błedy systematyczne
(skorelowane)
• Błedy losowe (nieskorelowane)
– Klasyczna teoria testu i wskaźniki
rzetelności dotyczą wyłącznie błędów
losowych
Szacowanie składnika
błędu
• Z założenia o istnieniu wyniku prawdziwego,
niezależnego od aktu pomiaru, oraz z
założenia o losowości błędów, wynika, że:
– idealne narzędzie badawcze powinno w dwóch
kolejnych pomiarach przynieść takie same wyniki
– różnice między wynikami dwóch kolejnych
pomiarów są odbiciem błędów pomiaru i mogą
służyć do jego szacowania
– (podobnie zachowają się wersje idealnie
równoległe)
• Rzetelność jest zatem równa teoretycznej
wartości współczynnika korelacji w dwóch
kolejnych badaniach (twierdzenie przydatne
empirycznie)
• Rzetelność jest też równa kwadratowi
korelacji między wynikiem prawdziwym a
wynikiem otrzymanym (twierdzenie mniej
przydatne empirycznie)
• Najprościej mówiąc, test rzetelny to taki,
którego wyniki korelują wysoko z sobą przy
powtórzeniu badania
Długość testu a jego
rzetelność
• Im dłuższy test (im więcej pozycji
zawiera) tym jest rzetelniejszy, to jest,
tym mniejszym jest obciążony błędem
• Im więcej składowych znajduje się w
teście, tym bliższy jest on wynikowi
prawdziwemu na mocy definicji
stwierdzającej, że wynik prawdziwy to
średnia z nieskończenie wielu testów
równoległych
• Rzetelność a wskaźniki rzetelności
• Bezpośrednie badanie rzetelności:
– kalibracja
– seria pomiarów
(w psychologii ani jedno, ani drugie nie jest
możliwe)
• Pośrednie badanie rzetelności:
wskaźniki rzetelności
• Rzetelność odnosi się do:
– stabilności
– równoważności
– spójności
wyników testowych.
Metody empirycznej
estymacji rzetelności
• wskaźnik rzetelności retestowej
(stabilność)
• formy równoległe (równoważność)
• wskaźnik rzetelności
międzypołówkowej (spójność)
• wskaźnik rzetelności wewnętrznej
(spójność)
• ocena sędziów kompetentnych
Krytyka aksjomatyki
Gulliksena
• Thorndike (1964): ponieważ wyniki
prawdziwe nie są mierzalne bezpośrednio,
są one mitem i nie mogą mieć znaczenia
teoretycznego
– przyjęcie tego poglądu odrzucałoby całą
statystykę inferencyjną, która dotyczy głównie
szacowania nieobserwowalnych parametrów
– wyniki prawdziwe nie są mierzalne
bezpośrednio, ale są szacowalne, z błędem nie
wykluczającym teoretycznej ani praktycznej
użyteczności
Krytyka aksjomatyki
Gulliksena
• Poważniejszy zarzut (Lord i Novick,
1968): nieweryfikowalność założenia
o losowości błędu pomiaru, czyli
postulatu, że średni błąd wynosi
zero. Stopień prawdziwości tego
założenia nie jest szacowalny (w
przeciwieństwie do
nieobserwowalnych parametrów)
Nowsza wersja klasycznej
teorii testu (Lord i Novick,
1968)
• Wynik prawdziwy definiowany nie jako
wartość absolutna, tylko oczekiwana z
pewnego rozkładu normalnego
wyników testowych
• Defiincja błędu pomiaru oparta na
pojęciu średnia wartość odchyleń od
średniej
• Podejście Lorda i Novicka nie
absolutyzuje wyniku prawdziwego i
składnika błędu, ale pozwala zachować
zasadnicze zręby teorii Gulliksena
• Najnowsze ujęcie teorii testu:
Teoria odpowiedzi na pytania
testowe (Item Response Theory,
IRT)
Rzetelność – właściwość
testu
czy zbioru wyników?
• Rzetelność jest właściwością zbioru
wyników uzyskanego na konkretnej
populacji, a nie testu
• Stwierdzenie: „rzetelność testu X
wynosi 0,87” jest skrótem myślowym
• Oszacowanie rzetelności testu może
się różnić w różnych populacjach, np.
IQ szacowane w próbie pobranej z
populacji generalnej i z populacji
studentów
Wskaźnik rzetelności
retestowej
• dwa rodzaje
– wiarygodność testu (rzadko stosowany)
– stabilność bezwzględna (stosowany)
• spotykane odstępy: od 1 tygodnia do
6 miesięcy
– wyjątkowo dziesiątki lat (kiedy badana
jest nie tyle stabilność testu, co raczej
mierzonej przez niego cechy)
Obliczanie wskaźnika
rzetelności retestowej
• Współczynnik korelacji liniowej r-
Pearsona
Problemy ze wskaźnikiem
rzetelności retestowej
• pamięć poprzedniego badania
• uczenie się, wprawa
• wyobrażenia badanych na temat
celu powtórzenia badania
Zalecenie APA: "nie wolno ograniczać
się do stosowania wskaźników
retestowych"
Formy równoległe -
wymogi
• równość średnich
• równość odchyleń standardowych
• równość interkorelacji pozycji
• równość korelacji z kryterium
zewnętrznym
Obliczanie rzetelności
form równoległych
• Współczynnik korelacji liniowej r-
Pearsona
• Formy równoległe jako wskaźnik:
– Stabilności bezwględnej
– Wiarygodności
• Rzetelność szacowana metodą form
równoległych daje zwykle
oszacowania najniższe z możliwych
Wskaźnik rzetelności
międzypołówkowej
• korelacja między połówkami testu,
zazwyczaj pozycjami parzystymi i
nieparzystymi
• bywa zaliczany do wskaźników
rzetelności wewnętrznej
Obliczanie rzetelności
międzypołówkowej –
korekta Spearmana-Browna
hh
hh
tt
r
r
r
1
2
gdzie:
r
tt
- rzetelność skorygowana
r
hh
- korelacja między połówkami
Wskaźnik rzetelności
wewnętrznej
(zgodności wewnętrznej)
• "j.t. miara tego, w jakim stopniu test
jest czystą miarą mierzonej zmiennej i
w jakim stopniu odpowiedzi na
poszczególne pytania mierzą to samo
co wynik w całym teście”
(Choynowski, 1971)
Zgodność wewnętrzna jest tym wyższa,
im:
• wyższe są korelacje między pozycjami
testu
• wyższa jest wariancja pozycji testu
• mniejsze są różnice w trudności
poszczególnych zadań
• większa jest liczba pozycji w teście
• Wzory Kudera-Richardsona:
format pozycji dychotomiczny
• Alfa Cronbacha: dowolny format
odpowiedzi
Alfa Cronbacha - najpopularniejszy
obecnie wskaźnik rzetelności
Obliczanie alfy Cronbacha
gdzie:
SD
t
: wariancja całego testu
SD
i
: wariancja i-tej pozycji
2
1
2
2
)
(
1
t
SD
SD
SD
n
n
r
n
i
i
t
tt
Zgodność sędziów
kompetentnych
• stosowana w wypadku procedur,
które wymagają subiektywnej
oceny
• W Kendalla – „korelacja” między
więcej niż dwiema zmiennymi
(sędziami)
Testy szybkości a
wskaźniki rzetelności
W wypadku testów szybkości:
• wykluczone są:
– wskaźniki rz. międzypołówkowej
– wskaźniki rz. wewnętrznej
• dopuszczalne: wskaźniki retestowe i
formy równoległe
Interpretacja wskaźników
rzetelności
• przyjmują wartości z przedziału od 0 do
1
• reprezentują estymowaną proporcję
składnika prawdziwego i składnika błedu
– np. 0,85 - 85% udziału wyniku prawdziwego;
15% - składnika błędu
• UWAGA - korelację retestową oraz
międzypołówkową należy podnieść do
kwadratu w celu uzyskania tej proporcji
Pożądane wartości
współczynników
rzetelności
• Wymogi wobec rzetelności są wyższe w
wypadku badań indywidualnych (pożądane
0,90) niż eksperymentów grupowych
• Orientacyjna interpretacja:
– 0,90 i więcej - rzetelność znakomita (w
psychologii raczej rzadko spotykana)
– 0,80-0,90 - rzetelność dobra (często spotykana
w psychologii
– poniżej 0,50 - rzetelność nie do zaakceptowania
Przykłady rzetelności
testów
(Alfa Cronbacha)
• FCZ-KT (Strelau, 1995)
– od 0,77 (Żwawość) do 0,85
(Wytrzymałość)
• EPQ-R (Brzozowski i Drwal, 1995)
– Neurotyzm: 0,84
– Ekstra-introwersja: 0,83
– Psychotyzm: 0,67
– Skala kłamstwa: 0,75
• WAIS-R (Brzeziński i Hornowska,
1993)
– od 0,68 (Układanki) do 0,96
(Słownik)
• NEO-FFI (Zawadzki i in., 1995)
– Ekstrawersja: 0,74-0,84
– Neurotyczność: 0,77-0,83
– Sumienność: 0,76-0,84
– Otwartość: 0,59-0,70
– Ugodowość: 0,57-0,73
Błąd standardowy
pomiaru (SEM)
• ponieważ testy zawierają błąd,
użyteczne jest obliczanie zakresu, w
jakim mieści się wynik prawdziwy
• służy do tego SEM
tt
t
r
SD
SEM
1
• SEM j.t. odchylenie standardowe
różnic między wynikiem
prawdziwym a uzyskanym
• gdyby u kogoś powtórzyć pomiar
100 razy, to uzyskana średnia
byłaby oszacowaniem wyniku
prawdziwego, a odchylenie
standardowe uzyskanego rozkładu
- błędem standardowym pomiaru
Przedział ufności (95%)
X
p
<X
t
- 1,96 (SEM); X
t
+ 1,96
(SEM)>
• Współczynniki rzetelności, jak
wszystkie miary oparte na
korelacji, są wrażliwe na wielkość
wariancji w próbie
• Mogą być generalizowane tylko na
tę populację, z której pobrano
próbę
YIELD1 vs. YIELD2
Wsp. korelacji = ,74
YIELD1
Y
IE
LD
2
-2
0
2
4
6
8
10
12
14
-2
0
2
4
6
8
10
12
14
Analiza pozycji testowych
• Moc dyskryminacyjna pytania
• Alfa przy wykluczeniu pozycji
• Skorygowany współczynnik
korelacji item-skala (SKIS)
Moc dyskryminacyjna
• = zdolność do różnicowania
populacji pod względem danej
cechy
• mierzona jako skorygowana
korelacja między pozycją a
wynikiem ogólnym
– SKIS - skorygowana korelacja item-
skala
Alfa Cronbacha: ,57
SKIS
Alfa przy
wykluczeniu
Opadanie głowy
,17
,57
Zamykanie oczu
,27
,54
Opadanie ręki
,11
,58
Unieruchomienie ręki
,46
,50
Splecenie palców
,25
,55
Uszytwnienie ręki
,40
,51
Przyciąganie rąk
,09
,58
Zahamowanie komunikacji niewerbalnej
,35
,53
Halucynacja (mucha)
,16
,57
Katalepsja powiek
,53
,48
Sugestia pohipnotyczna (dotknięcie kostki lewej nogi) -,11
,62
Niepamięć pohipnotyczna
,15
,57