Źródła błędów w badaniu

testowym i

kwestionariuszowym

Źródła zakłóceń

w pomiarze psychologicznym

• osoba badana
• układ odniesienia
• stronniczość testu

Osoba badana jako źródło

zakłóceń

w pomiarze cech osobowości

• testowanie jako środek komunikacji

– perspektywa selekcji (motywacja

dodatnia lub ujemna)

– perspektywa kliniczna (np.

przypisywanie sobie cech negatywnych)

– perspektywa eksperymentalna

• odpowiadanie przypadkowe
• zmienne sugerujące hipotezę badawczą

Wykrywanie odpowiadania

przypadkowego

• porównanie odpowiedzi na dwa

zbiory twierdzeń (identycznych albo
logicznych opozycji) (Buechley i Ball,
1952)

• analiza losowości statystycznej (Ross

i Haertzen, 1978, 1979)

– FIC (fixed individualizes chance)

Zmienne sugerujące hipotezę

badawczą

• demand characteristics (Orne, 1969)

– ogół czynników pozwalających

poprawnie domyślić się hipotezy
badacza

Układ odniesienia jako źródło

zakłóceń

• stopień adekwatności układu

odniesienia stanowiącego podstawę
normalizacji

• interpretacji podlega nie wynik surowy,

lecz miejsce tego wyniku w układzie
odniesienia (w próbie normalizacyjnej)

• problem reprezentatywności
• problem specyficzności układu

odniesienia

Stronniczość testu

• W statystyce: Stronniczość (obciążenie) (bias):

systematyczne niedoszacowywanie lub

przeszacowywanie parametru populacyjnego

na podstawie danych z próby

• W psychometrii: Stronniczość to

systematyczne niedoszacowywanie lub

przeszacowywanie osób z określonych

podgrup z populacji

– Może dotyczyć testów wydolności (najczęściej), lecz

także kwestionariuszy osobowości

• stronniczość generuje błąd systematyczny, a

nie losowy

Przyczyny stronniczości

• stosowanie itemów (zadań testowych,

pojęć, terminów, zwyczajów

kulturowych) specyficznych dla

określonej podkultury (zwykle

dominującej)

• inne zachowanie badającego wobec

osób z różnych podpopulacji

• różnice w poziomie treningu w

procedurach testowych między

podpopulacjami

Badanie stronniczości

• wykrywanie systematycznych różnic

dla pewnych podpopulacji

• problem: testy stronnicze czy

rzeczywiste różnice?

– np. dyskusja dotycząca IQ: stronnicze

testy czy rzeczywiste różnice między
podpolucjami?

• Herrnstein i Murray (1994): „The bell

curve” (Krzywa dzwonowa)

– > IQ Afroamerykanów jest niższe od

Amerykanów rasy białej o 15 punktów
IQ, to jest, o jedno odchylenie
standardowe

• proces sądowy w stanie Kalifornia (USA, lata

1977-1978, sędzia federalny Peckham):
testy inteligencji można stosować wobec
dzieci białych, wobec czarnych nie, gdyż u
tych ostatnich kwalifikują zbyt wiele dzieci
do klas reedukacyjnych (przeznaczonych dla
dzieci z lekkim upośledzeniem umysłowym)

• 1992: proces wytoczony przez czarnych

rodziców, żądających poddania ich dzieci
testom. Sędzia Peckham pozwolił, jednak
pod warunkiem, że wyniki testów nie
zostaną wykorzystane w celu umieszczenia
dziecka w klasie reedukacyjnej

Testy inteligencji

• Zarzut: testy inteligencji składają się z

zadań o niskiej wartości "ekologicznej"

• O wartości zadań testowych nie

rozstrzyga ich pozorna (lub jej brak)
wartość ekologiczna, tylko rzetelności i
trafność

• Korelacja między IQ a statusem

socjoekonomicznym (SAS) wynosi
ok. r=0,5

• Zarzut: "testy inteligencji były opracowane

przez Amerykanów rasy białej, klasy
średniej, dla Amerykanów rasy białej, klasy
średniej

• Afroamerykanie uzyskują dobre wyniki w

testach słownych (potencjalnie najbardziej
obciążonych kulturowo), ale gorsze w
testach wymagających abstrakcyjnego
myślenia

• Zarzut: różnice między rasami

wynikają z różnic środowiskowych
(korzystniejsze środowisko w
wypadku dzieci białych niż czarnych)

• Do pewnego stopnia jest to prawdą,

jednak kontrolowanie czynnika
środowiskowego zmniejsza różnicę
między białymi a Afroamerykanami
tylko nieznacznie

• Zarzut: testy inteligencji naruszają

zasadę równości wszystkich ludzi

• Testy inteligencji przypominają tylko

fakt oczywisty, że ludzie różnią się
między sobą inteligencją (podobnie
jak różnią się np. wzrostem)

Testy nieobciążone

kulturowo?

• testy wolne od uwarunkowań kulturowych

(culture-free tests, culture-fair tests), testy o

ograniczonym uwarunkowaniu kulturowym

(culture-reduced tests) (Cattell, 1971)

• bazują na materiale neutralnym kulturowo

(abstrakcyjnym znaczeniowo) lub na

materiale wspólnym wszystkim kulturom

– Test Matryc Progresywnych
– Test Labiryntów
– Rysunek Rodziny
– Rysunek Postaci Ludzkiej

Adaptacja kulturowa testu

• Tłumaczenie

– transkrypcja – maksymalizacja wierności

tłumaczenia i formy

– translacja – dopuszcza lokalne odpowiedniki,

np. geograficzne

– trawestacja – modyfikacja językowa

prowadząca do zadowalających właściwości
psychometrycznych

– parafraza – opracowanie nowego testu

opartego na koncepcji teoretycznej wzoru
oryginalnego

Kryteria równoważności

kwestionariuszy (Drwal, 1995)

• Równoważność fasadowa
• Równoważność psychometryczna
• Równoważność funkcjonalna
• Wierność tłumaczenia
• Wierność rekonstrukcji

Równoważność fasadowa

• forma graficzna testu (pytania,

arkusz odpowiedzi)

• liczba i kolejność pytań
• format pytań
• format odpowiedzi
• obliczanie wyników

Równoważność

psychometryczna

• równość średnich wyników (skali i

poszczególnych pytań)

• równość wariancji (skali i poszczególnych

pytań)

• korelacja między (ewentualnymi) wersjami
• korelacja testu z innymi testami i kryteriami
• interkorelacja pytań (skal) i ich struktura

czynnikowa

• moc dyskryminacyjna pytań
• rzetelność

Równoważność funkcjonalna

• trafność
• przydatność
• podatność na zakłócenia (ta

równoważność nie zawsze jest
pożądana)

Wierność tłumaczenia

• treść pytań
• stopień potrzeby aprobaty społecznej
• podobieństwo leksykalne pytań
• stopień trudności słów i zdań

Wierność rekonstrukcji

• podobieństwo etapów konstrukcji

testu

• podobieństwo procedur sprawdzania

rzetelności i trafności

• podobieństwo prób normalizacyjnych
• podobieństwo procedury badań nad

testem

• rodzaj norm

Proces tłumaczenia

• znaczenie tłumaczenia odwrotnego

(back translation)

1. tłumaczenie na język docelowy
2. tłumaczenie na język pierwotny przez

niezależnych tłumaczy

3. porównanie obu wersji przez osoby dotąd

niezangażowane w proces tłumaczenia

4. analiza rozbieżności i ewentualne

powtarzanie całego procesu