dr Adam Sobolewski
Psychometria, metoda testów
Trafność testu
Trafność testu
Poprzez trafność rozumie się zazwyczaj:
" stopień, w jakim test mierzy cechę, którą ma mierzyć  innymi
słowy   czy test inteligencji mierzy inteligencję ;
" stopień dokładności przewidywania określonych kryteriów
zewnętrznych, możliwość opisu zachowań pozatestowych na
podstawie badania testem   czy test inteligencji pozwala
przewidywać inteligentne zachowania w życiu osoby badanej, albo
zachowania, które mogą wymagać inteligencji .
Druga z wymienionych formuł określających trafność jest ważniejsza. Nadto, tak
rozumiana trafność jest najważniejszą własnością testu z punktu widzenia psychologa.
Celem niemal wszystkich diagnoz jest opis lub przewidywanie funkcjonowania osoby
badanej w  realnym życiu . Zatem informacja o trafności określa nie tylko status
  dobroć pomiarową  narzędzia, ale także stanowi wskazówki interpretacyjne dla
diagnosty, co w szerszym kontekście jest realizacją postulatu budowy diagnozy
bazujÄ…cej na dowodach empirycznych.
Trafność testu
 Święta trójca trafności
W podręcznikach psychometrii wymienia się zazwyczaj trzy rodzaje
trafności:
" teoretycznÄ… (ang. construct),
" kryterialnÄ… (diagnostycznÄ…, prognostycznÄ…),
" treściową (wewnętrzną).
Wymieniana niekiedy jest także pseudo-trafność:
" fasadowa.
Pamiętać należy o tym, iż są to przede wszystkim aspekty trafności, którym odpowiadają
techniki walidowania (tj. badania trafności) testów. Wprowadzone przez Guiona pojęcie
 świętej trójcy jest nie tylko żartobliwą etykietą, ale także poważną teologiczną
metaforą. Podobnie jak w teologii chrześcijanskiej, gdzie jest jeden Bóg istniejący jako
trzy osoby, tu jest jedna trafność która przejawia się w swoich aspektach, którym z kolei
odpowiadają metody badania trafności.
Trafność testu
Trafność a rzetelność pomiaru
Rzetelność jest podstawą  warunkiem koniecznym trafności.
Rzetelność stanowi zarazem górną granicę trafności. Jest niemożliwe,
aby trafność była większa od rzetelności; testy o dużej trafności
pomiaru są zarazem bardzo rzetelne, jednak ta zależność nie jest
odwrotna, tzn. wysoka rzetelność nie gwarantuje (nie jest warunkiem
wystarczającym) trafności.
Trafność testu
Trafność treściowa
 zakres, w jakim pozycje testowe reprezentujÄ… uniwersum pozycji
testowych (czy też zachowań związanych z cechą); stopień w jakim
pozycje testowe stanowią reprezentatywną próbkę zachowań.
Jest jedynym aspektem trafności, który nie może być określany w badaniach
empirycznych, badanie trafności treściowej sprowadza się do oceny (procedura sędziów
kompetentnych)  czy wskaz
niki spełniają kryteria definicyjne cech.
Można mówić także o trafności treściowej pojedynczej pozycji. Pozycje o dużej trafności
treściowej charakteryzuje dobra charakterystyka psychometryczna  są one tzw.
osiowymi wskaz
nikami danej cechy.
Trafność treściowa jest koniecznym, choć niewystarczającym warunkiem innych
rodzajów trafności. Większość podręczników utożsamia trafność treściową i trafność
wewnętrzną, ten drugi rodzaj trafności może być jednak rozumiany bardziej ogólnie 
jako stopień w jakim postać narzędzia odpowiada koncepcji założonej przez
konstruktora testu.
Trafność testu
Trafność kryterialna (1)
 stopień w jakim test koreluje z określonym (nietestowym)
kryterium zewnętrznym.
Np. czy wynik w teście inteligencji pozwala przewidywać średnią
ocen szkolnych.
Mówiąc o trafności kryterialnej mamy na myśli trafność diagnostyczna lub trafność
prognostycznÄ….
Trafność diagnostyczna odnosi się do stopnia, w jakim wyniki testowe pozwalają na
ocenę kryterium, przy założeniu, że występują one w tym samym czasie.
Trafność prognostyczna odnosi się natomiast do stopnia,
w jakim wyniki testu umożliwiają przewidywanie kryterium, które występować będzie
znacznie póz
niej.
Trafność diagnostyczna jest warunkiem koniecznym, ale nie wystarczającym trafności
prognostycznej  testy prognostyczne muszą diagnozować, ale diagnozowanie nie
gwarantuje prognozowania.
Określenie zewnętrznego wobec testu kryterium i jego własności jest kluczową
i trudną kwestią w badaniach trafności kryterialnej, standardowe postępowanie
zakłada prowadzenie badań zgodnie z taką procedurą, która pozwala na określenie
rzetelności kryterium, np. w przypadku diagnoz klinicznych nie może być to
pojedyncza diagnoza tylko zestaw diagnoz sporządzonych przez niezależnie
pracujących diagnostów, których zgodność badamy (procedura sędziów
kompetentnych).
Trafność testu
Trafność kryterialna (2)
Właściwymi technikami analizy danych w badaniach trafności kryterialnej są techniki
korelacyjne. W przypadku zastosowania zestawu (baterii) testów do przewidywania
(predykcji) kryterium, dobrą strategią jest użycie analizy regresji, lub analizy
dyskryminacyjnej  w celu opracowania baterii testów (predyktorów) o wysokiej
trafności i niskiej redundancji pomiarowej. Najprościej mówiąc, zestaw testów musi w
jak najwyższym stopniu pozwalać przewidzieć kryterium, ale testy będące
predyktorami nie powinny korelować między sobą.
Ocena współczynników trafności kryterialnej może być korygowana ze względu na
nierzetelność kryterium, możliwa jest też korekta obliczana ze względu na
nierzetelność testu oraz nierzetelność kryterium (patrz: poprawka na nierzetelność).
W przypadku estymacji wyników kryterium na podstawie testu, stosowanej w celu
selekcji osób badanych, pamiętać należy o estymacji przedziału ufności
uwzględniającego standardowy błąd estymacji kryterium.
Trafność kryterialna nie jest własnością stałą, będzie zmieniać się w wyniku
ograniczania zmienności kryterium, lub zmienności między osobami badanymi testem.
Np. jeśli będziemy wiązać oceny szkolne ogółu uczniów z wynikami testu inteligencji to
uzyskamy umiarkowaną korelację. Taka sama korelacja obliczona dla osób
najinteligentniejszych będzie nieistotna, gdyż o różnicach ocen szkolnych tych osób
będą decydować inne zmienne.
Ponieważ wartość współczynnika trafności kryterialnej może być także efektem
czynników losowych, ważne jest stosowanie tzw. walidacji krzyżowej. W pewnym
uproszczeniu  polega to na opracowaniu reguły przewidywania kryterium na
podstawie testu bÄ…dz
testów na podstawie danych z jednej próby i testowanie
efektywności takiej reguły na innych danych.
Trafność testu
Poprawka na nierzetelność
Możliwe jest obliczanie współczynników trafności, których wartość będzie skorygowana
ze względu na nierzetelność zarówno testu, jak i zewnętrznego kryterium. Estymowana
ocena związku między zmiennymi będzie odpowiadać takiej wartości korelacji  jaką
uzyskalibyśmy stosując doskonale rzetelny test i doskonale rzetelne kryterium.
W tym celu posługujemy się wzorem:
rtg
rTG =ð
rttrgg
rTG  estymowany współczynnik korelacji między wynikami prawdziwymi zmiennych t i g;
rtg  otrzymany w badaniach współczynnik korelacji między zmiennymi;
rtt  rzetelnośc testu t,
rgg  rzetelność kryterium g.
UWAGA: ILUSTRACJ
TEGO ZAGADNIENIA JEST ĆWICZENIE NR 5
Trafność testu
Trafność teoretyczna (1)
 rodzaj trafności, który świadczy o zgodności zmiennej
mierzonej przez test z konstruktem teoretycznym.
Badanie trafności teoretycznej oznacza zatem identyfikację  treści psychologicznej
mierzonej przez test. W odróżnieniu od trafności kryterialnej, istotą trafności
teoretycznej jest możliwość przewidywania kryteriów psychologicznych, a nie
kryteriów  pozatestowych . w praktyce ocena trafności teoretycznej polega na
prowadzeniu badań, w których weryfikowane są twierdzenia teoretyczne, w sytuacji
skrajnej badania takie mogą prowadzić nawet do modyfikacji teorii.
W psychometrii wypracowano szereg metod badania trafności teoretycznej, które
generalnie podzielić można na dwie grupy metod: metody analizujące związki
między konstruktem a zachowaniem oraz metody, gdzie w różnoraki sposób
prowadzone analizy danych korelacyjnych.
Metody bazujące na analizie związku między konstruktem a zachowaniem
Metoda badania zmian nieprzypadkowych odwołuje się do dwukrotnego pomiaru,
jest pseudo-eksperymentalna, między pomiarami następuje manipulacja, która
prowadzić ma do uzasadnionych zmian w wynikach testu.
W metodzie badania procesu rozwiązywania testu sprawdzany jest sposób w jaki
test jest rozwiązywany, np. czy angażowane są takie procesy poznawcze, które
wiążą się określonym typem zdolności, możliwe jest stosowanie  wariantów zadań
testowych w celu precyzyjnej analizy procesu rozwiązywania zadań.
Trafność testu
Trafność teoretyczna (2)
W metodzie sprawdzania różnic międzygrupowych weryfikuje hipotezę teoretyczną o
zróżnicowaniu grup  najczęściej skrajnych, kontrastowych  w zakresie mierzonej
zmiennej lub zmiennych. Grupy mogą być dobierane ze względu na kryteria
demograficzne lub psychologiczne. Możliwa jest analiza różnic międzygrupowych
w sytuacjach eksperymentalnych.
Analiza macierzy korelacji
W metodzie badania wewnętrznej struktury testu w najprostszym przypadku
testowane są związki między skalami w teście, lub podskalami a skalą ogólną. Niekiedy
badana jest tzw. trafność czynnikowa oparta na analizie czynnikowej.
Metoda analizy korelacji testu walidowanego i innych testów w uproszczonej formie
polega na analizie korelacji walidowanego testu z grupą narzędzi mierzących tę samą
zmiennÄ… i/lub korelacji z innymi kryteriami, w postaci bardziej zaawansowanej
odwołuje się do analizy czynnikowej prowadzonej na skalach zestawu narzędzi
diagnostycznych.
Metoda wielu cech  wielu metod Campbella i Fiskego jest najbardziej zaawansowanÄ…
formalnie techniką analizy macierzy korelacji, możliwe jest jednak stosowanie
 uproszczonej formy tego paradygmatu; odwołuje się do pomiaru co najmniej dwu lub
więcej niezależnych cech za pomocą dwu niezależnych metod aby dany test uznać za
trafny należy wykazać zarówno trafność zbieżną (konwergentną), jak i trafność
różnicową (dyksryminatywną). Skala ma korelować z innym pomiarem podobnej
zmiennej (aspekt konwergentny), ale nie powinna korelować z miarami innych
zmiennych i innymi skalami wewnÄ…trz tej samej metody (aspekt dyskryminatywny).
Dopiero spełnienie tych dwu warunków łącznie w pełni świadczy o trafności skali.
Trafność testu
Trafność fasadowa
 dotyczy wyglądu testu, wrażenia odnoszącego się do
przeznaczenia testu jakie wywiera na osobach badanych.
Kwestionariusze, które charakteryzuje wysoka trafność fasadowa (łatwo
odgadnąć co mierzy test) są szczególnie podatne na zniekształcenia. Ze
względu na ten efekt w przypadku niektórych testów, szczególnie z obszaru
psychologii klinicznej, cel badania bywa maskowany np. poprzez odpowiedniÄ…
manipulację nazwą (tytułem) kwestionariusza, bądz
umieszczenie pytań
buforowych. W pewnym stopniu maskującą rolę pełnia pytania z inwersja (nie
wprost).
Z drugiej strony, budząca zaufanie postać testu (tj. test wygląda jak poważny
test a nie psychozabawa) może pełnić istotną rolę w budowaniu pozytywnego
stosunku osoby badanej do sytuacji, w której test jest stosowany, jak i do
diagnozy oraz osoby psychologa.
Trafność testu
Kilka ważnych stwierdzeń na koniec
Trzy odmiany trafności są aspektami trafności wzajemnie zależnymi (por.
 Święta Trójca trafności). Nie jest możliwe, aby test nietrafny treściowo był
trafny w inny sposób, albo aby narzędzie nietrafne teoretycznie było trafne
diagnostycznie. Wymienione aspekty trafności są przejawem jednej trafności
zatem występują  łącznie .
Wymóg trafności dotyczy przede wszystkim możliwości interpretacyjnych
zastosowania narzędzia  diagnozowania zazwyczaj w kontekście teorii
psychologicznej. Nie jest sztuką wykazać, że test inteligencji mierzy inteligencję.
Ważniejsze jest by pozwalał diagnozować.
Równie ważnym jest, aby test był walidowany wieloma metodami
sprawdzającymi różne aspekty trafności. Dopiero seria badań walidacyjnych daje
konstruktorowi testu a póz
niej użytkownikowi wgląd w specyfikę mierzonej
zmiennej.
W końcu  współczynniki trafności (podobnie jak współczynniki rzetelności) nie
są cechą narzędzia, są własnością pomiaru testem realizowanego na konkretnej
grupie osób badanych. Przy  przenoszeniu narzędzia z jednej próby do drugiej
własności pomiarowe i diagnostyczne będą ulegać zmianie (por. trafność
kryterialna).