Trafność czyli określanie obszaru zastosowania testu

Trafność jest to dokładność z jaką test mierzy to, co ma mierzyć

Trafność jest to stopień, w jakim test jest w stanie osiągnąć stawiane mu cele

Trafność testu wskazuje na wielkość błędu spowodowanego rozbieżnością między zamierzeniami autora testu a tym, co test faktycznie mierzy

Trafność odzwierciedla relację jaka zachodzi między koncepcją właściwości psychologicznej a użytymi wskaźnikami tej właściwości, czyli adekwatność operacjonalizacji wielkości psychologicznej

Rodzaje trafności z punktu widzenia celu, jakiemu służy test

(a) ocenianie, na podstawie pomiaru testowego, całokształtu zachowań, których próbkę pobiera test - na przykład, ocena całokształtu wiadomości z geografii (trafność treściowa, [logiczna], [wewnętrzna])

(b) ocenianie posiadania przez osobę badaną - w czasie teraźniejszym lub przyszłym - określonej właściwości psychologicznej innej niż ta, którą test bezpośrednio mierzy (trafność kryterialna)

(c) pomiar nasilenia u osoby badanej hipotetycznej właściwości, czyli psychologicznego konstruktu, o którym mają świadczyć odpowiedzi na bodźce testowe (trafność teoretyczna)

Trafność fasadowa

�� trafność treściową należy odróżnić od tzw. trafności fasadowej (ang. face validity).

�� trafność fasadowa dotyczy nie tego, co test rzeczywiście mierzy, lecz tego, co `wydaje się mierzyć'

�� trafność fasadowa opisuje, jak spostrzegają test osoby badane i czy - z ich punktu widzenia - wydaje się on trafnie mierzyć to, co ma mierzyć.

�� trafność fasadowa zapewnia, że dany test wydaje się - w opinii osób badanych - adekwatny do określonego celu.

Trafność treściowa

(inaczej trafność wewnętrzna lub logiczna) zakres w jakim pozycje testowe właściwie reprezentują uniwersum pozycji testowych lub interesujący nas konstrukt zakres, w jakim treść testu stanowi reprezentatywną próbę dziedziny, która ma być przedmiotem pomiaru aby potwierdzić trafność treściową zbioru wyników otrzymanych w teście należy wykazać, że zachowania demonstrowane w badaniu testowym są reprezentatywną próbką zachowań ujawniających się w interesującej badacza sferze

Trafność kryterialna

Kryterium jest to zachowanie czy właściwość, o której chcemy wnioskować z wyniku ocenianego testu.

Kryterium jest to zmienna pozatestowa. Kryterium jest zewnętrzne w stosunku do testu.

Kryterium jest pomiarem innej zmiennej, niż ta która mierzy interesujący nas test

Trafność kryterialna jest to stopień zgodności pomiarów otrzymanych za pomocą testu, którego

trafność oceniamy oraz pomiarów otrzymanych w wyniku oceny kryterium

Rodzaje trafności kryterialnej

Różnica pomiędzy trafnością diagnostyczną a trafnością prognostyczną nie polega na różnicy w czasie zbierania danych kryterialnych, lecz na tym, że różne są przedmioty badania: przy diagnozie obchodzi nas stwierdzenie stanu istniejącego, przy prognozie - prawdopodobieństwo wystąpienia pewnych skutków stanu aktualnego

Trafność diagnostyczna:

kryterium dla naszego testu jest pomiar zachowania czy cechy aktualnie występującej u osoby badanej

Trafność prognostyczna:

kryterium dla naszego testu jest pomiar zachowania czy cechy mającej wystąpić w przyszłości u osoby badanej

Kontaminacja kryterium:

wyniki testowe nie mogą wpływać na pozycję jednostki w zakresie branego pod uwagę kryterium

Trafność teoretyczna

Konieczność określenia trafności teoretycznej występuje wtedy, kiedy test ma być interpretowany jako miara pewnego atrybutu lub pewnej właściwości. Konieczność określenia trafności teoretycznej występuje wtedy, kiedy test ma być interpretowany jako miara pewnego atrybutu lub pewnej właściwości.

Sposoby badania trafności teoretycznej

(1) Analiza różnic międzygrupowych - procedura testowania hipotez o różnym zachowaniu się dwóch grup osób. Hipotezy te wyprowadzane są z teorii mierzonej cechy a badane grupy różnią się ze względu na ogólny wynik w teście (grupa o niskich wynikach vs. grupa o wysokich wynikach)

(2) Analiza macierzy korelacji - ocena trafności teoretycznej na podstawie wysokości współczynników korelacji z podobnymi testami (wysokie) i współczynnikami korelacji z testami mierzącymi inne cechy (niskie); zwłaszcza metoda analizy macierzy "wielu cech-wielu metod" Campbella i Fiskego

(3) Analiza czynnikowa - wykrywanie czynników odpowiedzialnych za współzmienność wyników testów korelujących ze sobą

(4) Analiza struktury wewnętrznej testu - jeżeli można przyjąć w świetle teorii, że mierzona cecha jest cechą homogeniczną, to wysoki współczynnik zgodności wewnętrznej może być traktowany jako dowód trafności teoretycznej

(5) Analiza zmian nieprzypadkowych wyników testu - porównywanie wyników dwukrotnego badania tym samym testem. W przerwie między badaniami wprowadza się manipulację eksperymentalną, wyprowadzoną z teorii mierzonej cechy. Wynik porównywania powinien być zgodny z założonymi efektami manipulacji.

(6) Analiza procesu rozwiązywania testu - gdy test zawiera zadania do rozwiązania lub polecenia do wykonania to obserwacja kolejności wykonywanych czynności, elementów zadania sprawiających najwięcej trudności, elementów pomijanych, popełnianych błędów dostarcza informacji o mierzonym konstrukcje

Normy czyli nadawanie znaczenia wynikom testowym

Możemy wyróżnić trzy koncepcje normy: normę definiowaną przez kryterium teoretyczne, kryterium kulturowe i kryterium statystyczne.

�� Zgodnie z kryterium teoretycznym norma wyznaczona jest przez jakąś teorię (koncepcję) psychologiczną. Zasadniczym znaczeniem terminu norma jest pewien wzór (model) wynikający z przyjętej teorii, pozostałe zaś znaczenia mieszczą się w tych ramach.

�� Według kryterium kulturowego normę określają przepisy i wzory kulturowe. Bez względu na treść tych wzorów istotą normy jest zgodność z takim przepisem.

�� Natomiast według kryterium statystycznego normą jest to, co jest opisywane jako „zachowanie większości” czy jako „zachowanie średnie lub przeciętne”

Normy czyli nadawanie znaczenia wynikom testowym

Normą - w sensie psychometrycznym - jest standard ilościowy, wyznaczony przez średnią, medianę lub inną miarę tendencji centralnej obliczoną dla grupy przedstawicieli danego typu (gatunku).

Normą jest typowe zachowanie (typowy wynik w teście) otrzymany dla określonej grupy osób.

W psychometrii przyjmujemy statystyczne rozumienie normy. Norma nie oznacza standardu „dobrego” wykonania testu; norma opisuje poziom typowego wykonania testu przez osoby należące do określonej grupy.

Rodzaje norm

ze względu na sposób definiowania grupy odniesienia

�� normy ogólnokrajowe

�� normy lokalne

ze względu na sposób ich konstrukcji

�� typu standardowego

�� typu rangowego

�� typu równoważnikowego

�� normy wymagań

Czynniki zniekształcające wyniki testowe

Na wyniki testowe wpływają nie tylko zmienne treściowe -

określone rodzaje zdolności czy cech osobowości.

Wyniki testowe mogą też być zniekształcane przez określone

czynniki pozatreściowe.

Strategie (style) odpowiadania na pozycje kwestionariusza

Lub

Jest to obserwowana skłonność osób badanych do udzielania

odpowiedzi niezależnie od treści pozycji testowych.

Jest to trwała dyspozycja do reagowania w określony sposób

w różnych obszarach treściowych.

Strategie (style) odpowiadania na pozycje kwestionariusza

ZASADY OGÓLNE

�� Strategie są stałe i trwałe

�� Strategie odpowiadania powodują, że wyniki testowe są bardziej

wieloznaczne

�� Strategie odpowiadania są silniejsze w sytuacjach

niejednoznacznych i nieustrukturowanych

�� Testy trudne wyzwalają strategie odpowiadania

Strategie (style) odpowiadania na pozycje kwestionariusza

Tendencja do potakiwania (Cronbach, 1946)

Skłonność osób badanych do uznawania, że charakteryzują je różne twierdzenia danego kwestionariusza, niezależnie od tego jaka jest ich treść. Jest to stała dyspozycja do odpowiadania ”prawda", "zgadzam się", "tak".

Strategie (style) odpowiadania na pozycje kwestionariusza

Strategia semantyczna (Cronbach, 1946)

Każda osoba badana może inaczej interpretować kategorie odpowiedzi typu "czasami", "nie lubię" czy "trochę się zgadzam". Tworzące się w ten sposób stałe błędy mogą się kumulować i obciążać wyniki.

Strategie (style) odpowiadania na pozycje kwestionariusza

Tendencja do unikania konkretnej odpowiedzi

(Cronbach, 1946)

Niektóre osoby badane, częściej niż inne kategorie, wybierają kategorię neutralną ("nie wiem", "?"). Tendencja ta może okazać się stałym sposobem odpowiadania. Prawdopodobnie zjawisko to oznacza nieumiejętność podjęcia decyzji w sytuacji testowania.

Strategie (style) odpowiadania na pozycje kwestionariusza

Tendencja do odpowiedzi dewiacyjnych (Berg, 1967)

Tendencja do udzielania odpowiedzi wyjątkowych lub niezwykłych.

Kontrolowanie stylów odpowiadania

�� wyrównanie liczby pozycji diagnostycznych na "tak" i "nie", (tendencja do zgadzania się i zaprzeczania)

�� eliminowanie odpowiedzi pośrednich (centralny styl odpowiadania)

�� stosowanie skal kontrolnych: zliczanie odpowiedzi centralnych, niezdecydowanych; skali konsekwencji (nieuważności); porównanie proporcji odpowiedzi, np. potakujących czy negujących w skalach treściowych

�� Strategie (style) odpowiadania na pozycje kwestionariusza

Zmienna aprobaty społecznej (Edwards, 1957; Crowne i

Marlow, 1964)

Skłonność osób badanych do przypisywania sobie w samoopisach takich stwierdzeń, które są społecznie pożądane, a odrzucanie tych, które są społecznie niepożądane. Nie jest to świadome oszukiwanie, ale skłonność do pokazywania się od jak najlepszej strony.

Kontrolowanie zmiennej aprobaty społecznej

Na etapie konstrukcji kwestionariusza:

�� Pozycje neutralne

�� Pozycje subtelne pod względem trafności fasadowej

�� Specjalne formułowanie językowe pozycji

�� Wprowadzanie odpowiedniej instrukcji

�� Analiza korelacji pozycji ze skalami mierzącymi aprobatę społeczną

Na etapie stosowania kwestionariusza:

�� Wprowadzanie odpowiedniej instrukcji, tzw. instrukcja

"szczerości"

�� Skala kontrolna aprobaty społecznej (odrzucanie respondentów o wysokich wynikach lub korygowanie wyników skal treściowych przez doliczanie tzw. poprawek korekcyjnych

Tendencja do dysymulowania i symulowania a aprobata społeczna

Tendencja do dysymulowania

�� Jest to świadoma lub nieświadoma tendencja osoby badanej do przedstawiania się w nieprawdziwie korzystnym świetle

�� Dysymulacja najczęściej wiązana jest ze zmienną aprobaty społecznej

Tendencja do symulowania

�� Jest to świadome lub nieświadome udzielanie odpowiedzi, bezpodstawnie przedstawiających osobę badaną w niekorzystnym świetle, np. wskazujących na istnienie określonych zaburzeń zachowania czy niepożądanych cech osobowości

�� Kontrolowanie tendencji do symulacji umożliwiają specjalne skale kontrolne

Strategie konstrukcji testów

�� Strategia teoretyczna

W strategii teoretycznej konieczna jest analiza definicji badanego konstruktu oraz definicji cech, bowiem określają one zakresy oraz specyfikę zachowań będących ich opisem

�� Strategia empiryczna (instrumentalna)

W strategii zewnętrznej konieczna jest analiza definicji danego kryterium oraz wyodrębnienie i klasyfikacja podstawowych wskaźników związanych z kryterium

Konstruowanie testu według strategii empirycznej

(instrumentalnej)

Normy rangowe.

CENTYL - to punkt na skali, poniżej którego leży określony odsetek rozkładu.

Skala centylowa pozwala na ocenę wyniku danej osoby w stosunku do wyników innych osób należących do określonych populacji.

Jest to jednak nie skala normalna ale prostokątna - rozkład prostokątny - rozkład równoprawodopodobny, czyli rozkład, w którym wszystkie wartości zmiennej pojawiają się z tym samym prawdopodobieństwem.

Wzór na CENTYL (C)

Normy centylowe są normami typu RANGOWEGO (PORZĄDKOWEGO).

Oznacza to, że normy tego typu dobrze odzwierciedlają uporządkowanie osób badanych w grupie normalizacyjnej, nie odzwierciedlają natomiast względnych różnic między tymi osobami.

Normy typu równoważnikowego:

Równoważniki wieku to liczby wskazujące na kolejny rok i miesiąc życia badanych osób, odpowiadające średniej arytmetycznej lub medianie wykonania testu na danym etapie rozwoju

Równoważniki klasy to liczby wskazujące na rok i miesiąc nauczania w roku szkolnym, odpowiadające średniej arytmetycznej lub medianie wykonania testu na danym etapie rozwoju.

Interpretacja wyników zorientowana na kryterium (standard wykonania) to taki sposób oceny wyniku testowego, w którym nacisk kładzie się na konkretny zakres wiedzy czy umiejętności.

Dostarcza ona informacji o tym, co osoby badane potrafią zrobić, w odróżnieniu od interpretacji zorientowanej na normy, która mówi o tym, jak osoby badane są oceniane NA TLE innych osób do nich podobnych (należących do tej samej grupy normalizacyjnej).

---