TRAFNOŚĆ

Trafność (validity) testu psychologicznego

(pełny tekst: Brzeziński, 2000, s. 408-411)

(podkreślenia w tekście - AJ)

Obok rzetelności, trafność jest podstawowym kryterium psychometrycznym dobroci testu. O ile rzetelność związana była z precyzją formalną pomiaru testowego, to trafność związana jest z aspektem treściowym tego pomiaru. Interesuje nas bowiem, jak dokładnie test mierzy to, do pomiaru czego został skonstruowany. Tak też pojmuje się trafność w różnych opracowaniach psychometrycznych. (zob. ramka 11.6).

W jaki sposób bada się trafność testu? Psychometrzy są zgodni co do tego, że pełne zbadanie trafności testu wymaga odwołania się do czterech metod (np. APA, 1985; Brzeziński, 1997), mierzących:

(1) trafność diagnostyczną (concurrent validity),

(2) trafność prognostyczną (predictwe validity),

(3) trafność treściową, inaczej - trafność wewnętrzną (content validity),

(4) trafność teoretyczną (construct validity).

Dwa pierwsze (1, 2) rodzaje trafności znane są pod ogólniejszą nazwą trafności kryterialnej (criterion oriented validity), gdyż ustalanie trafności w obu wypadkach polega na obliczeniu współczynnika korelacji między wynikiem testu i jakimś (naszym zdaniem - pozatestowym!) kryterium zewnętrznym względem analizowanego testu. Takim kryterium dla kwestionariusza KOD Becka, na przykład, może być diagnoza psychiatryczna, a nie inny kwestionariusz badający nasilenie depresji. Niestety, utarła się niedobra praktyka, że owym kryterium zewnętrznym jest po prostu inny test, którego trafność sprawdzono przy użyciu jeszcze innego testu itd. Lepiej, gdy kryterium zewnętrznym dla sprawdzenia trafności kryterialnej testu osiągnięć szkolnych nie będzie inny test osiągnięć szkolnych o znanej trafności, ale gdy będą to, na przykład, oceny szkolne albo dane obserwacyjne. Oczywiście dopuszcza się sprawdzanie zbieżności wyników nowego testu z wynikami testów o uznanej reputacji psychometrycznej czy z wynikami testów mierzących zmienne pozostające w związku korelacyjnym (teoretycznie uzasadnionym!). Podstawowe dla orzekania o trafności kryterialnej powinno być jednak wykazanie zbieżności wyników nowego testu z rzeczywiście zewnętrznym, to znaczy pozatestowym, kryterium (odniesionym do aktualnego albo przyszłego zachowania osoby badanej).

D. T. Campbell i D. W. Fiske (1959) swoją pracą poświęconą dwóm aspektom trafności kryterialnej, zbieżnemu i różnicowemu, zainicjowali nową praktykę ustalania trafności kryterialnej (omówienie - Brzeziński, 1997; nowsze ustalenia - Gaul, 1989). To była bardzo ważna praca dla rozwoju problematyki trafności. Każdy nowy test powinien być sprawdzany pod kątem jego zbieżności (aspekt zbieżny trafności) z różnymi testami i miarami nietestowymi przeznaczonymi do pomiaru tej samej cechy, a ponadto - co stanowi istotne nowum tej koncepcji - należy wykazać brak zbieżności testu (aspekt różnicowy trafności) z podobnymi miarami testowymi i nietestowymi, ale przeznaczonymi do oceny innych cech. Aby posłużyć się tą metodą, psycholog musi dysponować wynikami pomiaru co najmniej dwóch różnych cech, przeprowadzonego za pomocą co najmniej dwóch niezależnych metod (testów). Wyniki tych pomiarów tworzą tak zwaną macierz-wielu-cech-wielu-metod (multitrait-multimethod matrix). Na podstawie jej analizy psycholog ustala trafność nowego testu w jej aspekcie zbieżnym i różnicowym.

Na co należy zwracać uwagę przy ustalaniu trafności kryterialnej za pomocą pojedynczego wskaźnika, na przykład współczynnika korelacji? Na to pytanie odpowiadają Standardy... (APA, 1985/1974).

Pierwszy problem związany jest z koniecznością dwukrotnego przeprowadzania badań w porównywalnych warunkach. Podobnie jak to ma miejsce przy ustalaniu rzetelności testu metodą „test-retest”, może okazać się, że warunki, w jakich przeprowadzono pierwsze badanie (za pomocą testu), w procesie ustalania trafności prognostycznej będą istotnie odbiegać od warunków końcowych, w jakich dokonano pomiaru kryterium: „[...] zakłada się bowiem, że warunki istniejące na początku badań i po ich zakończeniu będą do siebie podobne” (APA, 1985/1974, s.36).

Drugi problem dotyczy trafności samego kryterium. Bez przyjęcia założenia (inna sprawa, czy słusznego) o trafności kryterium (na przykład diagnozy psychiatrycznej) w ustalaniu trafności kryterialnej badania walidacyjne tracą swój sens. Nie dość, że kryterium samo w sobie musi być trafne, to jeszcze musi być ono adekwatnie dobrane z punktu widzenia testu. Jednakże wcale niełatwo o ewidentnie trafne kryteria, adekwatne do treści pozycji testowych i celu testu. Psycholog, który nie umie dobrać faktycznie zewnętrznego kryterium, próbuje znaleźć jego substytut pod postacią... innego testu, który podobnie był walidowany. I kółko się zamyka. Nowe testy są wprowadzane do „gry psychologicznej” przez stare testy! I znowu oddajmy głos Standardom... (APA, 1985/1974, s.36):

[...] adekwatność badania walidacyjnego zależy od adekwatności kryterium. Dlatego też należy zdecydowanie negatywnie ocenić wszelkie badania trafności kryterialnej, które oparte są na „łatwo dostępnym kryterium”, wybranym właśnie ze względu na jego dostępność, a nie miejsce w starannie przemyślanych hipotezach.

Trzeci problem związany jest z reprezentatywnością próby, na której prowadzone są badania walidacyjne. Zakłada się, że jest ona faktycznie (a nie że jest to tylko pobożne życzenie psychologa) reprezentatywna. W praktyce jednak może się okazać, że obejmuje ona osoby, do których badacz miał stosunkowo łatwy dostęp (na przykład studentów psychologii czy uczniów ze szkół, w których nauczają zaprzyjaźnieni z psychologiem nauczyciele). Dodatkową trudność może stwarzać utrata osób badanych (zwłaszcza gdy badania walidacyjne trwają dość długo i prowadzone są na próbie uczniów, studentów, chorych hospitalizowanych, żołnierzy odbywających służbę wojskową, a więc uczestniczą w nich osoby, które pozostają dyspozycyjne tylko przez określony czas i później bardzo trudno do nich dotrzeć). Trafność zewnętrzna (zob. Brzeziński, 1997; por. także rozdz. 10.) takich badań walidacyjnych jest ograniczona - podlegają one bowiem uszkadzającym ją wpływom różnorakich czynników.

Ostatni, czwarty problem, podobny do trzeciego, wiąże się z prowadzeniem badań walidacyjnych na zbyt mało licznych grupach. Psychologowie często tłumaczą się tym, że borykają się z trudnością dotarcia do osób o specjalnych „właściwościach” - no, bo o wiele łatwiej skompletować odpowiednio liczną grupę uczniów szkół podstawowych aniżeli przebadać dużą liczbę kontrolerów lotów pracujących na lotniskach. Co zatem zrobić w sytuacji, gdy nie jesteśmy w stanie dotrzeć do dużej liczby osób badanych? Zalecenia Standardów... (APA, 1985/1974, s. 36) są następujące:

[...] należy raczej podejmować próby określania trafności kryterialnej nawet w sposób niedoskonały niż generalnie akceptować niesprawdzone hipotezy [walidacyjne - przypis nasz]. Oczywiście nie zawsze „działanie” jest lepsze od braku działania: wyniki niepoprawnego badania mogą bowiem wprowadzać w błąd. Szczególnie wiele wątpliwości budzą badania walidacyjne o wąskim zakresie lub przeprowadzone na mało liczebnych grupach.

(3) Trafność treściowa, zwana też trafnością wewnętrzną, znacznie częściej jest eksponowana przez pedagogów posługujących się testami osiągnięć szkolnych w celu kontroli procesu nauczania, którzy określają ją jako zgodność „treści testu z programem nauczania” (Niemierko, 1975, s. 172), aniżeli przez psychologów. Nie widzimy jednak sensownego uzasadnienia takiej praktyki. Naszym zdaniem, ustalenie trafności treściowej ma zasadnicze znaczenie w wypadku takich testów, jak testy inteligencji czy kwestionariusze osobowości. Zgodnie ze Standardami... (APA, 1985/1974, s. 36):

[...] aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście, należy wykazać, że zachowania demonstrowane w badaniu testowym są reprezentatywną próbą zachowań ujawniających się w interesującej badacza sferze. Określenie tej sfery, określenie realizowanych przez badacza celów oraz metody dobierania próby jest szczególnie ważne w wypadku trafności treściowej.

Kiedy psycholog powinien zadbać o szczególnie poprawne przeprowadzenie procedury ustalania trafności treściowej? Takie testy, jak werbalne testy inteligencji, odwołujące się do zasobu wiedzy osoby badanej (na przykład Test Wiadomości czy Test Słownik ze Skali Inteligencji Wechslera - WAIS-R), testy osiągnięć szkolnych czy testy przydatności zawodowej muszą być szczególnie starannie sprawdzone, jeśli chodzi o ich trafność treściową. Nawet najlepiej przygotowany (od strony formalnej) test osiągnięć szkolnych nie będzie wiele wart, jeżeli pozycje, z których się składa, nie odzwierciedlają aktualnych treści nauczania zawartych w programie szkolnym czy w zalecanym przez władze oświatowe podręczniku.

Autor testu, przedstawiając rezultaty przeprowadzonej procedury walidacyjnej w zakresie trafności treściowej, powinien podać niezbędne dane o źródle pozycji oraz o sposobie tworzenia z nich testu. Jest to ważne dla oceny aktualności treści, których nośnikami są pozycje testu. Testy starzeją się, co szczególnie odbija się na ich trafności treściowej. Dotyczy to zwłaszcza testów osiągnięć szkolnych. W wypadku testów przydatności zawodowej zaś ich treści powinny być aktualizowane zgodnie ze zmianami dokonującymi się na liście wymagań, które muszą być spełnione przez kandydatów do danego zawodu.

Ustalanie trafności treściowej testu nie należy do zadań łatwych. Jest znacznie trudniejsze od badania rzetelności. Wymaga od konstruktora testu nie tylko dobrej znajomości psychometrii (pamiętajmy, że trafności treściowej nie da się skwitować jednym współczynnikiem korelacji, jak w procedurze ustalania trafności kryterialnej, i najczęściej trzeba się odwołać do bardziej skomplikowanego aparatu analizy logicznej i statystycznej), ale też równie pogłębionej znajomości danej dziedziny praktyki (zawodowej, edukacyjnej, klinicznej itp.), do której odnosić się będzie treść pozycji testu. Mało tego, konstruktor testu musi także zaprojektować procedurę doboru pozycji testowych - z całego zbioru potencjalnych pozycji - zgodnie z którą tworzone będą kolejne wersje testu.

Pozostał nam jeszcze do omówienia ostatni rodzaj trafności, a mianowicie (4) trafność teoretyczna (Cronbach i Meehl, 1955), pokazująca związek testu z określonym konstruktem teoretycznym (zmienną teoretyczną), zaczerpniętym z danej teorii psychologicznej. Każdy test, jako narzędzie psychologii naukowej, a nie zdroworozsądkowej, czerpie rację swego istnienia z teorii psychologicznej; jest tej teorii (lub tylko jej wycinka - twierdzenia czy pojedynczej zmiennej) swoistą operacjonalizacją. Wedle opinii niektórych psychometrów, trafność teoretyczna jest tak naprawdę podstawowym rodzajem trafności; do niej bowiem można sprowadzić dwie przedstawione tu wcześniej odmiany trafności - kryterialną i treściową (Guion, 1980).

Podzielamy to stanowisko, ponieważ jest ono zgodne z akceptowaną przez nas zasadą prymatu teorii nad badaniami empirycznymi. Najpierw jest zawsze teoria, to ona „podpowiada” badaczowi, które fakty są istotne, a które nieistotne. To na jej gruncie dana procedura badawcza nabiera sensu, gdyż sama z siebie o niczym badacza nie informuje. Podobnie jest i z testem psychologicznym. Nie istnieją takie testy, które można by określić mianem „ateoretycznych” czy „empirycznych”. Nawet gdy jacyś psychologowie deklarują, że skonstruowali test niepozostający w jakimkolwiek związku z teorią psychologiczną, to się mylą. Oczywiście założenia teoretyczne testu, jego powiązania z określonymi twierdzeniami teorii mogą być ukryte i należy je wydobyć na światło dzienne, ale zawsze w tle każdego testu mamy jakąś teorię (por. np. przeprowadzoną przez Elżbietę Hornowską rekonstrukcję teoretycznych podstaw skali WAIS-R - Brzeziński i Hornowska, 1998). Poza jej kontekstem test po prostu nie jest testem psychologicznym, jako że psychologia jest nauką empiryczną, posługującą się wyłącznie językiem teorii empirycznych.

Badanie trafności teoretycznej testu sprowadza się do przeprowadzenia badania imitującego psychologiczne badanie naukowe. Jeżeli test jest trafny, w sensie koncepcji Cronbacha i Meehla, to możliwe powinno być sformułowanie - na gruncie określonej teorii psychologicznej - przewidywań mówiących o zachowaniach (w różnych sytuacjach) osób o wysokich lub niskich wynikach w tym teście. Cronbach i Meehl (1955) opracowali kilka metod służących do sprawdzania trafności teoretycznej testu. Ich omówienie zawiera praca Brzezińskiego (1997).

Bibliografia

Brzeziński, J. (2000a). Poznanie naukowe - poznanie psychologiczne. W: J. Brzeziński (red.) Metodologia badań naukowych i diagnostycznych. W: J. Strelau (red.). Psychologia. Podręcznik akademicki (t. 1, s. 335-354). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Brzeziński, J. (2000b). Podstawowe modele badawcze. W: J. Brzeziński (red.) Metodologia badań naukowych i diagnostycznych. W: J. Strelau (red.). Psychologia. Podręcznik akademicki (t. 1, s. 355-387). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Brzeziński, J. (2000c). Podstawowe metody badawcze teoria i praktyka testowania. W: J. Brzeziński (red.) Metodologia badań naukowych i diagnostycznych. W: J. Strelau (red.). Psychologia. Podręcznik akademicki (t. 1, s. 389-435). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

Hornowska, E. 〈2000〉. Operacjonalizacja terminów teoretycznych: czynnik, wielkość, zmienna. W: J. Brzeziński i E. Hornowska (red.). Podstawowe metody badawcze - teoria i praktyka testowania. W: J. Strelau (red.). Psychologia. Podręcznik akademicki (t. 1, s. 389-400). Gdańsk: Gdańskie Wydawnictwo Psychologiczne.

/ 6

/ 5

Ramka 11.6

(1) „Trafność jakiejś metody to dokładność, z jaką mogą być przeprowadzane sensowne i istotne pomiary, w tym znaczeniu, że dokonywane pomiary dotyczą rzeczywiście cech, które chciano mierzyć [...]. Sprawdzając trafność, badamy, w jakim stopniu testy o znanej rzetelności mierzą rzeczywiście i bezpośrednio te cechy, dla których pomiaru zostały skonstruowane” (Magnusson, 1991, s. 411).

(2) „Pytanie o trafność to pytanie o to, co można poprawnie wywnioskować na podstawie wyniku testowego. Pojęcie trafności dotyczy poprawności wniosków wyprowadzonych na podstawie wyników testowych lub innych form badania. Wszelkie potencjalne pytania o trafność dadzą się sprowadzić do dwóch: (a) jakie wnioski można wyciągnąć na temat tego, co jest mierzone przez test; oraz (b) jakie wnioski można sformułować o innych (pozatestowych) zachowaniach?” (APA, 1985/1974,3.33).

---