PSYCHOMETRIA 4

Trafność czyli określanie obszaru zastosowania testu

Trafność jest to dokładność z jaką test mierzy to, co ma mierzyć Trafność jest to stopień, w jakim test jest w stanie osiągnąć stawiane mu cele Trafność testu wskazuje na wielkość błędu spowodowanego rozbieżnością między zamierzeniami autora testu a tym, co test faktycznie mierzy Trafność odzwierciedla relację jaka zachodzi między koncepcją właściwości psychologicznej a użytymi wskaźnikami tej właściwości, czyli adekwatność operacjonalizacji wielkości psychologicznej

Rodzaje trafności z punktu widzenia celu, jakiemu służy test

(a) ocenianie, na podstawie pomiaru testowego, całokształtu zachowań, których próbkę pobiera test - na przykład, ocena całokształtu wiadomości z geografii (trafność treściowa, [logiczna], [wewnętrzna])

(b) ocenianie posiadania przez osobę badaną - w czasie teraźniejszym lub przyszłym - określonej właściwości psychologicznej innej niż ta, którą test bezpośrednio mierzy (trafność kryterialna)

(c) pomiar nasilenia u osoby badanej hipotetycznej właściwości, czyli psychologicznego konstruktu, o którym mają świadczyć odpowiedzi na bodźce testowe (trafność teoretyczna)

Trafność fasadowa

• trafność treściową należy odróżnić od tzw. trafności fasadowej (ang. face validity).

trafność fasadowa dotyczy nie tego, co test rzeczywiście mierzy, lecz tego, co `wydaje się mierzyć'

trafność fasadowa opisuje, jak spostrzegają test osoby badane i czy - z ich punktu widzenia - wydaje się on trafnie mierzyć to, co ma mierzyć.

trafność fasadowa zapewnia, że dany test wydaje się - w opinii osób badanych - adekwatny do określonego celu.

Trafność treściowa

(inaczej trafność wewnętrzna lub logiczna) zakres w jakim pozycje testowe właściwie reprezentują uniwersum pozycji testowych lub interesujący nas konstrukt zakres, w jakim treść testu stanowi reprezentatywną próbę dziedziny, która ma być przedmiotem pomiaru aby potwierdzić trafność treściową zbioru

wyników otrzymanych w teście należy wykazać, że zachowania demonstrowane w badaniu testowym są reprezentatywną próbką zachowań ujawniających się w

interesującej badacza sferze

Trafność kryterialna

Kryterium jest to zachowanie czy właściwość, o której chcemy wnioskować z wyniku ocenianego testu. Kryterium jest to zmienna pozatestowa. Kryterium jest

zewnętrzne w stosunku do testu. Kryterium jest pomiarem innej zmiennej, niż ta która mierzy interesujący nas test Trafność kryterialna jest to stopień zgodności pomiarów otrzymanych za pomocą testu, którego trafność oceniamy oraz pomiarów otrzymanych w wyniku oceny kryterium

Rodzaje trafności kryterialnej

Różnica pomiędzy trafnością diagnostyczną a trafnością prognostyczną nie polega na różnicy w czasie zbierania danych kryterialnych, lecz na tym, że różne są przedmioty badania: przy diagnozie obchodzi nas stwierdzenie stanu istniejącego, przy prognozie - prawdopodobieństwo wystąpienia pewnych skutków stanu aktualnego

Trafność diagnostyczna: kryterium dla naszego testu jest pomiar zachowania czy cechy aktualnie występującej u osoby badanej

Trafność prognostyczna: kryterium dla naszego testu jest pomiar zachowania czy cechy mającej wystąpić w przyszłości u osoby badanej

Kontaminacja kryterium: wyniki testowe nie mogą wpływać na pozycję jednostki w zakresie branego pod uwagę kryterium

Trafność teoretyczna

Konieczność określenia trafności teoretycznej występuje wtedy, kiedy test ma być interpretowany jako miara pewnego atrybutu lub pewnej właściwości.

Konieczność określenia trafności teoretycznej występuje wtedy,kiedy test ma być interpretowany jako miara pewnego atrybutulub pewnej właściwości.

Sposoby badania trafności teoretycznej

(1) Analiza różnic międzygrupowych - procedura testowania hipotez o różnym zachowaniu się dwóch grup osób. Hipotezy te wyprowadzane są z teorii mierzonej cechy a badane grupy różnią się ze względu na ogólny wynik w teście (grupa o niskich wynikach vs. grupa o wysokich wynikach)

(2) Analiza macierzy korelacji - ocena trafności teoretycznej na podstawie wysokości współczynników korelacji z podobnymi testami (wysokie) i współczynnikami korelacji z testami mierzącymi inne cechy (niskie); zwłaszcza metoda analizy macierzy "wielu cech-wielu metod" Campbella i Fiskego

(3) Analiza czynnikowa - wykrywanie czynników odpowiedzialnych za współzmienność wyników testów korelujących ze sobą

(4) Analiza struktury wewnętrznej testu - jeżeli można przyjąć w świetle teorii, że mierzona cecha jest cechą homogeniczną, to wysoki współczynnik zgodności wewnętrznej może być traktowany jako dowód trafności teoretycznej

(5) Analiza zmian nieprzypadkowych wyników testu - porównywanie wyników dwukrotnego badania tym samym testem. W przerwie między badaniami wprowadza się manipulację eksperymentalną, wyprowadzoną z teorii mierzonej cechy. Wynik porównywania powinien być zgodny z założonymi efektami manipulacji.

(6) Analiza procesu rozwiązywania testu - gdy test zawiera zadania do rozwiązania lub polecenia do wykonania to obserwacja kolejności wykonywanych czynności, elementów zadania sprawiających najwięcej trudności, elementów pomijanych, popełnianych błędów dostarcza informacji o mierzonym konstrukcje

Badanie trafności teoretycznej testu Analiza różnic międzygrupowych

Weryfikowanie hipotez dotyczących różnego zachowania się dwóch grup osób. Hipotezy te wyprowadzane są z teorii mierzonej cechy, a weryfikowane są w oparciu o wyniki testu

TEORIA

TEST

hipotezy hipotezy

dane testowe

X₁ ≠ x₂

Badanie trafności teoretycznej testu Analiza czynnikowa

Celem analizy czynnikowej jest odnalezienie nowej grupy zmiennych, mniej licznej niż grupa zmiennych oryginalnych, które wyrażają to, co jest wspólne między oryginalnymi zmiennymi. Jest to technika statystyczna używana do

identyfikowania relatywnie małych grup czynników, mogących reprezentować relacje między grupami wielu wzajemnie skorelowanych zmiennych

Zakrzewska, 1994, s. 7

TEORIA INTELIGENCJI

Czynnik 1 Czynnik 2 Czynnik 3

ROZUMOWANIE ORGANIZACJA ODPORNOŚĆ NA

WERBALNE Percepcyjna DYSTRAKTORY

I PAMIĘĆ

TEST WAIS-R

Dane Testowe

Czynnik 1 Czynnik 2 Czynnik 3

ROZUMOWANIE ORGANIZACJA ODPORNOŚĆ NA

WERBALNE Percepcyjna DYSTRAKTORY

I PAMIĘĆ

Badanie trafności teoretycznej testu Analiza nieprzypadkowych zmian wyników testu

Porównywanie wyników dwukrotnego badania tym samym testem - w przerwie pomiędzy badaniami wprowadza się oddziaływanie eksperymentalne, wyprowadzone z teorii mierzonej cechy. Wynik porównywania powinien być zgodny z założonymi efektami manipulacji

X _pretest Kształcenie X _posttest

Terapia

Farmakoterapia

Cykl leczenia

Zwiększanie

Doświadczeń

X pretest ≠ X postest

• poziom lęku ( pretest X ) → stressory → poziom lęku ( postest X )

• introwersja ( pretest X )→ silniejsze procesy pobudzenia korowego od procesów hamowania → leki uspokajające → wzmocnienie procesów hamowania →

Badanie trafności teoretycznej testu Analiza macierzy korelacji

Analiza współczynników korelacji wyników analizowanego testu z innymi testami. Korelacje z wynikami mierzącymi podobne testy powinny być

wysokie (trafność zbieżna), a korelacje z wynikami testów mierzących inne cechy powinny być niskie

Badanie trafności teoretycznej testu Analiza struktury wewnętrznej testu

Zgodność wewnętrzna (homogeniczność) to stopień, w jakim dany test można uznać za miarę jednego konstruktu (cechy psychologicznej). Jeżeli można przyjąć w świetle teorii, że mierzona cecha jest cechą homogeniczną, to

wysoki współczynnik zgodności wewnętrznej może być traktowany jako dowód trafności teoretycznej testu.

Badanie trafności teoretycznej testu Analiza procesu rozwiązywania testu

Analizowanie zadań testowych z punktu widzenia procesów przetwarzania informacji

• obserwacja kolejności wykonywanych czynności

• analiza elementów zadania sprawiających najwięcej trudności

• analiza elementów pomijanych

• analiza popełnianych błędów

• wgląd w procesy odpowiadania na pozycje testu

• zmiana dotychczasowej koncentracji na analizie samych odpowiedzi

1

---