2012-01-11
Strategie konstruowania testów
Strategia teoretyczna
Strategia empiryczna
STRATEGIA TEORETYCZNA
Strategia teoretyczna
" Celem strategii teoretycznej jest pomiar cech
(własciwości, konstruktów) postulowanych
przez danÄ… teoriÄ™ psychologicznÄ…
 czyli planowanym przedmiotem pomiaru sÄ…
cechy postulowane przez określoną teorię
psychologicznÄ…
" Punktem wyjścia jest więc określona
koncepcja teoretyczna i określone hipotezy
dotyczÄ…ce struktury mierzonego konstruktu
1
2012-01-11
Strategia teoretyczna
" Podstawą podejścia teoretycznego jest dobrze
określona teoria
" Kluczowym aspektem procedury jest
określenie (zdefiniowanie) wskaz
ników cech
będących planowanym przedmiotem pomiaru
" Plan budowy narzędzia zostaje szczegółowo
wyznaczony już na początku prac
konstrukcyjnych (zob. dalej)
" Klucz odpowiedzi jest teoretycznie
uzasadniony
GA
ÓWNE ETAPY KONSTRUKCJI
TESTU WG STRATEGII TEORETYCZNEJ
5
ETAPY 1 i 2
1. Określenie celu postępowania i teoretyczne
zdefiniowanie przedmiotu pomiaru
(zmiennej)
2. Wyróżnienie obszarów treściowych
( wymiary ) i form manifestacji ( przejawy ,
 wskaz
niki ) zmiennej teoretycznej
 operacjonalizacja zmiennej
  bateria wskaz
ników (indeks)
6
2
2012-01-11
ETAP 3
3. Określenie kryteriów i zasad posługiwania się
narzędziem, m.in. ustalenie:
 badanie indywidualne czy zbiorowe?
 prowadzenie badania przez badajÄ…cego czy
samodzielne posługiwanie się narzędziem przez
badanego?
" kwestie instrukcji i ochrony danych
 badanie  bezpośrednie czy  pośrednie (np.
wywiad środowiskowy, analiza wytworów, analiza
dokumentów itp.)?
7
ETAP 4
4. Określenie  formatu itemów
 np. opisy sytuacji i możliwe zachowania w nich,
itemy dotyczące zachowań, czy itemy dotyczące
cech i/lub dyspozycji?
 twierdzenia czy pytania?
 liczba i treść kategorii odpowiedzi
" parzyste  nieparzyste
" liczby  określenia słowne
" krańce skali
8
ETAPY 5 i 6
5. Wygenerowanie puli itemów
 wykorzystywanie istniejących narzędzi
 eksperci
 pytania otwarte w badaniach pilotażowych
 własne pomysły
6. Analiza treściowa i językowa
 np. technika Delphi
9
3
2012-01-11
Technika Delphi - przykład
" Kryteria wyboru ekspertów " Kryteria akceptacji
(np. 40) (przykładowe)
 kompetencje merytoryczne  min. 80% ocen 4 lub 5
 inne (np. językowe)  zbieżność ocen (wsp. kappa
Cohena e" 0,50)
" 1  runda
 brak istotnych różnic w
 ocena itemów w skali 0  5
ocenianiu przez podgrupy
 własne propozycje
ekspertów (dokładny test
" 2  runda (i ew. kolejne) Manna-Whitneya)
 lista średnich ocen, ew. re-  brak powtarzających się
ewaluacja itemów
 lista nowych propozycji 
ocena
ETAPY 7 i 8
7. Opracowanie klucza odpowiedzi, instrukcji,
budowy i formy kwestionariusza
(standaryzacja  w jednym ze znaczeń tego
terminu)
8. Zebranie danych  określenie zbiorowości
generalnej, dobór próby, badanie pilotażowe
 wielkość próby walidacyjnej = liczba itemów ×
(min.) 5 do 10 osób, lecz nie mniej niż 200 o.b.
11
ETAP 9 (?)
9.  Normalizacja pierwotna (in. standaryzacja
w drugim znaczeniu)  transformacja
wyników surowych na skale standardowe
 np. teny, steny, staniny, tetrony itp. (lub
przynajmniej  centyle)
 bÄ…dz
stwierdzenie i uzasadnienie, iż wyniki surowe
spełniają kryteria przedziałowego poziomu
pomiaru i mają rozkład normalny
12
4
2012-01-11
ETAP 10
10. Analiza itemów
 moc dyskryminacyjna (np. D, rbi, t )
 wskaz
nik  trudności
 wskaz
niki rzetelności i trafności poszczególnych
itemów
 analiza efektów prostych
13
ETAPY 11 - 13
11. Estymacja rzetelności narzędzia
 estymacja wiarogodności
 estymacja konsystencji
 estymacja stabilności
 (estymacja konsensyjności?)
12. Badanie trafności narzędzia
 uwzględnienie różnorodnych danych walidacyjnych
(m.in. CFA)
13. Normalizacja  ostateczna ( renormalizacja )
14
STRATEGIA EMPIRYCZNA
5
2012-01-11
Strategia empiryczna
" Deklarowanym celem strategii empirycznej
jest pomiar  zmiennych pozwalajÄ…cych na
diagnozę lub prognozę określonego realnego
kryterium  zazwyczaj pozapsychologicznego
 np. choroby, powodzenia szkolnego, sukcesu
zawodowego, itp.
" Faktycznym celem jest określenie wskaz
ników
najlepiej diagnozujÄ…cych (czy prognozujÄ…cych)
dane kryterium
Strategia empiryczna
" Owe  zmienne często trudno zdefiniować
teoretycznie (np. brakuje modeli
teoretycznych, sÄ… one niewystarczajÄ…ce lub
zbyt pracochłonne do operacjonalizacji)
" Punktem wyjścia dla konstrukcji testu jest tu
zazwyczaj wiedza dotycząca zachowania osób
wyodrębnionych ze względu na jakieś
kryterium
Strategia empiryczna
" W strategii empirycznej teoria jest
zastępowana przez wiedzę na temat kryterium
 założenie: istnieje realne kryterium umożliwiające
identyfikacjÄ™ badanych wskaz
ników i można to
kryterium wskazać
" Konsekwencją posługiwania się strategią
empiryczną jest mnożenie konstruktów
o co najmniej niejasnym statusie
psychologicznym (naukowym)
6
2012-01-11
Strategia empiryczna
" Bardziej wyrafinowanym wariantem strategii
empirycznej jest strategia czynnikowa
 posługiwanie się EFA: arbitralność założeń
formalnych
Konstruowanie testu wg strategii empirycznej
Sformułowanie puli pozycji testowych
(nie muszą wywodzić się z jednej spójnej teorii)
òð
Dobranie dwóch grup osób
(grupy kryterialnej  osób posiadających cechę
i grupy kontrolnej  osób nie posiadających cechy)
òð
Określenie, jakie pozycje testowe różnicują te
dwie grupy
Porównanie
STRATEGIA TEORETYCZNA
A STRATEGIA EMPIRYCZNA
7
2012-01-11
Strategia teoretyczna vs. empiryczna
Strategia teoretyczna (racjonalna, dedukcyjna)
" w strategii teoretycznej konieczna jest analiza
definicji badanego konstruktu, bowiem określa ona
zakres oraz specyfikę zachowań będących opisem
tego konstruktu
Strategia empiryczna (instrumentalna,
zewnętrzna)
" w strategii zewnętrznej konieczna jest analiza
definicji danego kryterium oraz wyodrębnienie
i klasyfikacja podstawowych wskaz
ników związanych
z wybranym kryterium
Strategia teoretyczna vs. empiryczna
Istotą różnicy pomiędzy obiema strategiami jest
nie to, skąd się biorą itemy, lecz sposób
określanie tego, co jest odpowiedzią
diagnostycznÄ…
" w strategii teoretycznej punktem (układem)
odniesienia jest TEORIA (predyktor)
" w strategii empirycznej punktem (układem)
odniesienia jest KRYTERIUM ZEWN
TRZNE
(zazwyczaj  ateoretyczne )
8