Psychometria 2009

Wykład 3

Konstruowanie

kwestionariusza

psychologicznego

Etapy główne

1. Definicja
2. Teoria
3. Konstrukcja testu
4. Sprawdzanie testu
5. Poprawianie
6. Sprawdzanie
7. Poprawianie…
8. Sprawdzanie…
9. Sprawdzanie wersji końcowej

Definicja

• Test będzie mierzył „wyobraźnię”
• Ale co właściwie? siłę wyobraźni?

spontaniczną skłonność do
pogrążania się w wyobrażeniach?
wyobrażeniowy styl poznawczy?
jeszcze jakiś inny aspekt wyobraźni?

Teoria

• Zdecydowana większość dobrych

testów wychodzi od jakiejś teorii

• Są jednak znane wyjątki, np. test

MMPI

Konstruowanie kwestionariusza

na przykładzie FCZ-KT

• Formalna Charakterystyka Zachowania

– Kwestionariusz Temperamentu
(Strelau i Zawadzki, 1993)

• Punkt wyjścia – Regulacyjna Teoria

Temperamentu (RTT)

• Cechy temperamentu definiowane jako

formalne aspekty zachowania

• Formalne aspekty zachowania = aspekt

energetyczny i charakterystyka czasowa

Aspekt energetyczny – dwa

podstawowe wymiary

• Reaktywność: intensywność reakcji

na bodźce

• Aktywność: ilość i zakres

podejmowanych działań

Etapy konstruowania FCZ-KT

Etap 1

• Wyodrębnienie oraz analiza

teoretyczna energetycznych i
czasowych charakterystyk
zachowania

Charakterystyki

energetyczne

• Wrażliwość sensoryczna:

– Wrażliwość sensoryczna

• Reaktywność emocjonalna

– Wrażliwość emocjonalna

– Odporność emocjonalna

• Wytrzymałość

– Odporność na zmęczenie

– Odporność na dysktraktory

• Aktywność

– Aktywność będąca bezpośednim źródłem

stymulacji

– Aktywność będąca pośrednim źródłem stymulacji

Charakterystyki czasowe

• Żwawość

– Szybkość
– Tempo
– Ruchliwość

• Perseweratywność

– Powtarzanie
– Utrzymywanie

Etap 2

1. Generowanie itemów

– 15 studentów, 5 psychologów

2. Formułowanie itemów

Wygenerowano około 600 itemów.

Etap 3

• Wstępna ocena językowa itemów

– 18 studentów, jeden językoznawca

Etap 4

• Ocena trafności treściowej

– sortowanie itemów do skal – 12

ekspertów

– ocenianie itemów w skalach – 9

ekspertów

– sortowanie itemów do podskal – 2

ekspertów

Pozostało 392 itemów.

Etap 5

• Analizy itemmetryczne (ocena formalnych

właściwości itemów) – 334 respondentów.

– Obejmuje ocenę (na skalach 4-stopniowych)

(Angleitner, 1986)

• zrozumiałości itemów
• niejasności
• abstrakcyjności
• obciążenia aprobatą społeczną
• dostępności w osobistym doświadczeniu

• Badanie preferencji formatu odpowiedzi

(334 respondentów)

Etap 6

• Analiza zrównoważenia skal pod

względem klucza odpowiedzi

• Przygotowanie tytułu, instrukcji,

losowanie kolejności pozycji,
opracowanie „designu”

381 itemów

Etap 7

• Badania empiryczne

– próba konstrukcyjna (1012 osób)
– próba testowa (1011 osób)

Etap 8

• Analizy psychometryczne

– oparte na klasycznej teorii testów
– analizy czynnikowe

Pozostało 120 itemów.

Etap 9

• Weryfikacja psychometryczna

końcowej wersji FCZ-KT

– w sumie ponad 1700 osób badanych

Etap 10

• Badanie stabilności czasowej

pomiaru (341 osób)

Adaptacja kwestionariuszy i

testów obcojęzycznych

• Główny problem – nie tyle inny język,

co inna kultura

Testy nieobciążone

kulturowo?

• testy wolne od uwarunkowań kulturowych

(culture-free tests, culture-fair tests), testy o

ograniczonym uwarunkowaniu kulturowym

(culture-reduced tests) (Cattell, 1971)

• bazują na materiale neutralnym kulturowo

(abstrakcyjnym znaczeniowo) lub na

materiale wspólnym wszystkim kulturom

– Test Matryc Progresywnych
– Test Labiryntów
– Rysunek Rodziny
– Rysunek Postaci Ludzkiej

Rodzaje tłumaczeń

• Tłumaczenie

– transkrypcja – maksymalizacja wierności

tłumaczenia i formy

– translacja – dopuszcza lokalne odpowiedniki,

np. geograficzne

– trawestacja – modyfikacja językowa

prowadząca do zadowalających właściwości
psychometrycznych

– parafraza – opracowanie nowego testu

opartego na koncepcji teoretycznej wzoru
oryginalnego

Kryteria równoważności

kwestionariuszy (Drwal, 1995)

• Równoważność fasadowa
• Równoważność psychometryczna
• Równoważność funkcjonalna
• Wierność tłumaczenia
• Wierność rekonstrukcji

Równoważność fasadowa

• forma graficzna testu (pytania,

arkusz odpowiedzi)

• liczba i kolejność pytań
• format odpowiedzi na pytania
• format odpowiedzi
• obliczanie wyników

Równoważność

psychometryczna

• równość średnich wyników (skali i

poszczególnych pytań)

• równość wariancji (skali i poszczególnych pytań)
• korelacja między (ewentualnymi) wersjami
• korelacja testu z innymi testami i

kryteriami

• interkorelacja pytań (skal) i ich struktura

czynnikowa

• moc dyskryminacyjna pytań
• rzetelność

Równoważność funkcjonalna

• trafność
• przydatność
• podatność na zakłócenia

Wierność tłumaczenia

• treść pytań
• stopień potrzeby aprobaty społecznej
• podobieństwo leksykalne pytań
• stopień trudności słów i zdań

Wierność rekonstrukcji

• podobieństwo etapów konstrukcji

testu

• podobieństwo procedur sprawdzania

rzetelności i trafności

• podobieństwo prób normalizacyjnych
• podobieństwo procedury badań nad

testem

• rodzaj norm

Tłumaczenie odwrotne

(backtranslation)

• znaczenie tłumaczenia odwrotnego

(back translation)

1. tłumaczenie na język docelowy
2. tłumaczenie na język pierwotny przez

niezależnych tłumaczy

3. porównanie obu wersji przez osoby dotąd

nieangażowane w proces tłumaczenia

4. analiza rozbieżności i ewentualne

powtarzanie całego procesu