Trafność czyli określanie obszaru zastosowania testu
Trafność jest to dokładność z jaką test mierzy to, co ma mierzyć
Trafność jest to stopień, w jakim test jest w stanie osiągnąć
stawiane mu cele
Trafność testu wskazuje na wielkość błędu spowodowanego
rozbieżnością między zamierzeniami autora testu a tym, co test
faktycznie mierzy
Trafność odzwierciedla relację jaka zachodzi między koncepcją
właściwości psychologicznej a użytymi wskaz
nikami tej
właściwości, czyli adekwatność operacjonalizacji wielkości
psychologicznej
Rodzaje trafności z punktu widzenia celu, jakiemu służy test
(a) ocenianie, na podstawie pomiaru testowego, całokształtu zachowań,
których próbkę pobiera test - na przykład, ocena całokształtu
wiadomości z geografii (trafność treściowa, [logiczna],
[wewnętrzna])
(b) ocenianie posiadania przez osobę badaną - w czasie teraz
niejszym
lub przyszłym - określonej właściwości psychologicznej innej niż ta,
którą test bezpośrednio mierzy (trafność kryterialna)
(c) pomiar nasilenia u osoby badanej hipotetycznej właściwości,
czyli psychologicznego konstruktu, o którym mają świadczyć
odpowiedzi na bodz
ce testowe (trafność teoretyczna)
Trafność fasadowa
trafność treściową należy odróżnić od tzw. trafności fasadowej
(ang. face validity).
trafność fasadowa dotyczy nie tego, co test rzeczywiście
mierzy, lecz tego, co  wydaje się mierzyć
trafność fasadowa opisuje, jak spostrzegają test osoby badane i
czy  z ich punktu widzenia  wydaje się on trafnie mierzyć to,
co ma mierzyć.
trafność fasadowa zapewnia, że dany test wydaje się  w opinii
osób badanych  adekwatny do określonego celu.
Trafność treściowa
(inaczej trafność wewnętrzna lub logiczna)
zakres w jakim pozycje testowe właściwie
reprezentują uniwersum pozycji testowych
lub interesujący nas konstrukt
zakres, w jakim treść testu stanowi
reprezentatywną próbę dziedziny, która ma
być przedmiotem pomiaru
aby potwierdzić trafność treściową zbioru
wyników otrzymanych w teście należy
wykazać, że zachowania demonstrowane w
badaniu testowym są reprezentatywną
próbką zachowań ujawniających się w
interesującej badacza sferze
Trafność kryterialna
Kryterium jest to zachowanie czy właściwość, o której
chcemy wnioskować z wyniku ocenianego testu.
Kryterium jest to zmienna pozatestowa. Kryterium jest
zewnętrzne w stosunku do testu.
Kryterium jest pomiarem innej zmiennej, niż ta która mierzy
interesujący nas test
Trafność kryterialna jest to stopień zgodności
pomiarów otrzymanych za pomocą testu, którego
trafność oceniamy oraz pomiarów otrzymanych w
wyniku oceny kryterium
Rodzaje trafności kryterialnej
Trafność diagnostyczna:
kryterium dla naszego testu jest pomiar zachowania
czy cechy aktualnie występującej u osoby badanej
Trafność prognostyczna:
kryterium dla naszego testu jest pomiar zachowania czy
cechy mającej wystąpić w przyszłości u osoby badanej
Różnica pomiędzy trafnością diagnostyczną a trafnością
prognostyczną nie polega na różnicy w czasie zbierania
danych kryterialnych, lecz na tym, że różne są przedmioty
badania: przy diagnozie obchodzi nas stwierdzenie stanu
istniejącego, przy prognozie - prawdopodobieństwo
wystąpienia pewnych skutków stanu aktualnego
Kontaminacja kryterium:
wyniki testowe nie mogą wpływać
na pozycję jednostki w zakresie
branego pod uwagę kryterium
Trafność teoretyczna
Konieczność określenia trafności teoretycznej występuje wtedy,
kiedy test ma być interpretowany jako miara pewnego atrybutu
lub pewnej właściwości.
Konieczność określenia trafności teoretycznej występuje wtedy,
kiedy test ma być interpretowany jako miara pewnego atrybutu
lub pewnej właściwości.
Sposoby badania trafności teoretycznej
(1) Analiza różnic międzygrupowych - procedura testowania hipotez
o różnym zachowaniu się dwóch grup osób. Hipotezy te
wyprowadzane są z teorii mierzonej cechy a badane grupy różnią
się ze względu na ogólny wynik w teście (grupa o niskich
wynikach vs. grupa o wysokich wynikach)
(2) Analiza macierzy korelacji - ocena trafności teoretycznej na
podstawie wysokości współczynników korelacji z podobnymi
testami (wysokie) i współczynnikami korelacji z testami
mierzącymi inne cechy (niskie); zwłaszcza metoda analizy
macierzy "wielu cech-wielu metod" Campbella i Fiskego
(3) Analiza czynnikowa - wykrywanie czynników odpowiedzialnych
za współzmienność wyników testów korelujących ze sobą
(4) Analiza struktury wewnętrznej testu - jeżeli można przyjąć w
świetle teorii, że mierzona cecha jest cechą homogeniczną, to
wysoki współczynnik zgodności wewnętrznej może być
traktowany jako dowód trafności teoretycznej
(5) Analiza zmian nieprzypadkowych wyników testu - porównywanie
wyników dwukrotnego badania tym samym testem. W przerwie
między badaniami wprowadza się manipulację eksperymentalną,
wyprowadzoną z teorii mierzonej cechy. Wynik porównywania
powinien być zgodny z założonymi efektami manipulacji.
(6) Analiza procesu rozwiązywania testu - gdy test zawiera zadania
do rozwiązania lub polecenia do wykonania to obserwacja
kolejności wykonywanych czynności, elementów zadania
sprawiających najwięcej trudności, elementów pomijanych,
popełnianych błędów dostarcza informacji o mierzonym
konstrukcie
Badanie trafności teoretycznej testu
Analiza różnic międzygrupowych
Weryfikowanie hipotez dotyczących różnego zachowania
się dwóch grup osób. Hipotezy te wyprowadzane są z
teorii mierzonej cechy, a weryfikowane są w oparciu o
wyniki testu
TEORIA
TEST
X2
X1
`"
hipotezy
dane testowe
hipotezy
dane testowe
Badanie trafności teoretycznej testu
Analiza czynnikowa
Celem analizy czynnikowej jest odnalezienie nowej grupy
zmiennych, mniej licznej niż grupa zmiennych oryginalnych,
które wyrażają to, co jest wspólne między oryginalnymi
zmiennymi. Jest to technika statystyczna używana do
identyfikowania relatywnie małych grup czynników,
mogących reprezentować relacje między grupami wielu
wzajemnie skorelowanych zmiennych
Zakrzewska, 1994, s. 7
TEORIA INTELIGENCJI
Czynnik 1 Czynnik 2 Czynnik 3
ROZUMOWANIE ORGANIZACJA ODPORNOŚĆ NA
WERBALNE PERCEPCYJNA DYSTRAKTORY
I PAMI
Ć
TEST WAIS-R
dane testowe
Czynnik 1 Czynnik 2 Czynnik 3
ROZUMOWANIE ORGANIZACJA ODPORNOŚĆ NA
WERBALNE PERCEPCYJNA DYSTRAKTORY
I PAMI
Ć
Badanie trafności teoretycznej testu
Analiza nieprzypadkowych zmian wyników
testu
Porównywanie wyników dwukrotnego badania tym
samym testem  w przerwie pomiędzy badaniami
wprowadza się oddziaływanie eksperymentalne,
wyprowadzone z teorii mierzonej cechy. Wynik
porównywania powinien być zgodny z założonymi
efektami manipulacji
Kształcenie
Terapia
Farmakoterapia
X X
Cykl leczenia
pretest postest
Zwiększanie
doświadczeń
X `" X
pretest postest
X
" poziom lęku ( ) stressory poziom lęku
pretest
X
( )
postest
X
" introwersja ( ) silniejsze procesy pobudzenia korowego od procesów
pretest
hamowania leki uspokajające wzmocnienie procesów hamowania
Badanie trafności teoretycznej testu
Analiza macierzy korelacji
Analiza współczynników korelacji wyników
analizowanego testu z innymi testami. Korelacje z
wynikami mierzącymi podobne testy powinny być
wysokie (trafność zbieżna), a korelacje z wynikami
testów mierzących inne cechy powinny być niskie
Pięć wielkich cech osobowości mierzonych
NEO FFI a PEN mierzone EPQ-R
Skale EPQ-R NEU EKS OTW UGD SUM
Ekstrawersja -0.25** 0.71** 0.18** -0.11** 0.06
Neurotyczność 0.73** -0.19** 0.00 -0.15** -0.11**
Psychotyczność 0.00 0.09** 0.03 -0.47** -0.37**
Skala K -0.10** -0.09** -0.09** 0,39** 0.45**
Na podstawie: Zawadzki, Strelau, Szczepaniak, Śliwińska,
 Inwentarz osobowości NEO FFI Costy i McRae , 1998, s. 65
Badanie trafności teoretycznej testu
Analiza struktury wewnętrznej testu
Zgodność wewnętrzna (homogeniczność) to stopień, w
jakim dany test można uznać za miarę jednego konstruktu
(cechy psychologicznej). Jeżeli można przyjąć w świetle
teorii, że mierzona cecha jest cechą homogeniczną, to
wysoki współczynnik zgodności wewnętrznej może być
traktowany jako dowód trafności teoretycznej testu.
Współczynniki korelacji między poszczególnymi testami a
ogólnym wynikiem w Skali Pełnej, Skali Słownej
i Skali Bezsłownej w teście WAIS-R
Grupa wiekowa 20-24 lata
Skala Skala Skala
Test
Pełna Słowna Bezsłowna
Wiadomości 0,789 0,864 0,551
Powtarzanie Cyfr 0,675 0,733 0,481
Słownik 0,836 0,882 0,631
Arytmetyka 0,781 0,793 0,633
Rozumienie 0,806 0,816 0,656
Podobieństwa 0776 0,805 0,606
Braki w Obrazkach 0,681 0,575 0,717
Porządkowanie Obrazków 0,675 0,571 0,710
Klocki 0,645 0,506 0,734
Układanki 0,534 0,368 0,680
Symbole Cyfr 0,629 0,527 0,668
Badanie trafności teoretycznej testu
Analiza procesu rozwiązywania testu
Analizowanie zadań testowych z punktu widzenia
procesów przetwarzania informacji
" obserwacja kolejności wykonywanych czynności
" analiza elementów zadania sprawiających najwięcej
trudności
" analiza elementów pomijanych
" analiza popełnianych błędów
" wgląd w procesy odpowiadania na pozycje testu
" zmiana dotychczasowej koncentracji na analizie samych
odpowiedzi