Ćwiczenia z psychometrii

Ćwiczenia z psychometrii

Zajęcia 10. Zasady tworzenia i doboru

pozycji testowych dla różnego rodzaju

testów

Ewa Witkowska

Ewa Witkowska

ewa.m.witkowska

ewa.m.witkowska

@wp.pl

@wp.pl

Pozycja testowa

Pozycja testowa



sformalizowany wskaźnik danej cechy

sformalizowany wskaźnik danej cechy

psychologicznej, a więc zdanie (twierdzenie lub

psychologicznej, a więc zdanie (twierdzenie lub

pytanie) opisujące określone zachowanie (lub

pytanie) opisujące określone zachowanie (lub

zdanie wyzwalające określone zachowanie) oraz

zdanie wyzwalające określone zachowanie) oraz

skala rejestrująca to zachowanie (zawierająca

skala rejestrująca to zachowanie (zawierająca

określone opcje odpowiedzi o danym formacie

określone opcje odpowiedzi o danym formacie

oraz reguła przekształcania odpowiedzi

oraz reguła przekształcania odpowiedzi

w wynik liczbowy).

w wynik liczbowy).

Zadanie „na rozgrzewkę”



W czteroosobowych zespołach proszę

W czteroosobowych zespołach proszę

wybrać sobie dowolny aspekt

wybrać sobie dowolny aspekt

inteligencji psychometrycznej i

inteligencji psychometrycznej i

opracować 5 przykładowych pozycji

opracować 5 przykładowych pozycji

testowych go mierzących.

testowych go mierzących.

Procedura odpowiadania i forma

Procedura odpowiadania i forma

pozycji kwestionariuszowych

pozycji kwestionariuszowych



Możliwe procedury odpowiadania

Możliwe procedury odpowiadania

•

Wybieranie dowolnej liczby pozycji

Wybieranie dowolnej liczby pozycji

•

Wybór ograniczony (wymuszony)

Wybór ograniczony (wymuszony)



Dwu- lub wielokategorialny

Dwu- lub wielokategorialny



Formaty odpowiedzi

Formaty odpowiedzi

•

precyzja vs. trudność (wiek, wykształcenie)

precyzja vs. trudność (wiek, wykształcenie)

•

słabość logiczna opcji pośrednich (różne

słabość logiczna opcji pośrednich (różne

znaczenia dla o.b.)

znaczenia dla o.b.)





u-kształtność rozkładu

u-kształtność rozkładu

wyników

wyników

•

Kształt rozkładu - formaty rozszerzone prowadzą

Kształt rozkładu - formaty rozszerzone prowadzą

do „lepszych” (b. normalnych) rozkładów

do „lepszych” (b. normalnych) rozkładów

Forma pozycji kwestionariuszowych

Forma pozycji kwestionariuszowych



Zrozumiałość pozycji

Zrozumiałość pozycji

•

Długość, złożoność gramatyczna

Długość, złożoność gramatyczna

•

Wykazano, że pozycje bardziej skomplikowane językowo

Wykazano, że pozycje bardziej skomplikowane językowo

mają słabsze charakterystyki psychometryczne

mają słabsze charakterystyki psychometryczne



Przykład: w FCZ- KT długość pozycji koreluje ujemnie z

Przykład: w FCZ- KT długość pozycji koreluje ujemnie z

mocą dyskryminacyjną (r=-0,23)

mocą dyskryminacyjną (r=-0,23)



Złożoność gramatyczna

Złożoność gramatyczna

•

Z jej wzrostem wydłuża się czas odpowiedzi i zwiększa

Z jej wzrostem wydłuża się czas odpowiedzi i zwiększa

liczba błędów

liczba błędów

•

Problem negacji i podwójnej negacji

Problem negacji i podwójnej negacji



Dostępność użytych pojęć

Dostępność użytych pojęć

•

Język naukowy

Język naukowy

•

Skomplikowane konstrukcje gramatyczne (np. ojciec

Skomplikowane konstrukcje gramatyczne (np. ojciec

brata)

brata)

Forma pozycji

Forma pozycji

kwestionariuszowych

kwestionariuszowych



Jednoznaczność pozycji

Jednoznaczność pozycji

•

niejasność niekorzystna acz nieunikniona

niejasność niekorzystna acz nieunikniona



Ogólność pozycji

Ogólność pozycji

•

Ma zasadnicze znaczenie dla odnoszenia

Ma zasadnicze znaczenie dla odnoszenia

pozycji do własnego doświadczenia

pozycji do własnego doświadczenia

•

Pozycje ogólne zwiększają zmienność

Pozycje ogólne zwiększają zmienność

interindywidualną i intraindywidualną w

interindywidualną i intraindywidualną w

odnoszeniu treści pozycji do własnego

odnoszeniu treści pozycji do własnego

doświadczenia

doświadczenia



Dostępność zachowań w osobistym

Dostępność zachowań w osobistym

doświadczeniu

doświadczeniu

Trudność pozycji

Trudność pozycji

Trudność pozycji

Trudność pozycji

–

stosunek liczby osób, które udzieliły

prawidłowej

(zgodnej z kluczem i diagnostycznej)

odpowiedzi na pytanie, do ogółem przebadanej

liczby osób

–

zazwyczaj wyrażany jako odsetek osób, które

znały prawidłową odpowiedź na pytanie

–

przyjmuje „paradoksalne” wartości – wysoka

wartość wskazuje na łatwe pytania

–

stosowany zazwyczaj w przypadku testów

wiedzy

–

najlepiej różnicującymi pytaniami są pytania o

przeciętnym stopniu trudności – pozwalają na

dokonanie największej liczby porównań

między osobami w próbie

Trudność pozycji - przykład

Pytanie

A

B

C

D

#1

0

3

24*

3

#2

12*

13

3

2

#3

5

5*

17

3

#1

24/30=0,8

#2

12/30=0,4

#3

5/30= 0,17

Moc dyskryminacyjna

Moc dyskryminacyjna

pozycji

pozycji



cel stosowania testów: uzyskanie informacji o

cel stosowania testów: uzyskanie informacji o

różnicach indywidualnych w zakresie mierzonego

różnicach indywidualnych w zakresie mierzonego

konstruktu lub kryterium zewnętrznego, które

konstruktu lub kryterium zewnętrznego, które

chcemy przewidywać na podstawie wyników

chcemy przewidywać na podstawie wyników



test powinien składać się z pozycji

test powinien składać się z pozycji

umożliwiających dokonywanie różnicowania

umożliwiających dokonywanie różnicowania

między osobami uzyskującymi niskie i wysokie

między osobami uzyskującymi niskie i wysokie

wyniki

wyniki



idealny test: osoby z niskim wynikiem rzadziej

idealny test: osoby z niskim wynikiem rzadziej

odpowiadają diagnostycznie na daną pozycję

odpowiadają diagnostycznie na daną pozycję

testową, zaś osoby z wysokim wynikiem – częściej

testową, zaś osoby z wysokim wynikiem – częściej

(przykład: wytrzymałość w FCZ –

(przykład: wytrzymałość w FCZ –

Potrafię

Potrafię

pracować w hałasie

pracować w hałasie

)

)

Mocy dyskryminacyjna pozycji

Mocy dyskryminacyjna pozycji



zazwyczaj w czasie konstruowania testu

zazwyczaj w czasie konstruowania testu

nie dysponujemy żadną inną miarą

nie dysponujemy żadną inną miarą

mierzonego konstruktu poza samym

mierzonego konstruktu poza samym

wynikiem w teście, wynik ten właśnie

wynikiem w teście, wynik ten właśnie

najczęściej traktujemy jako definicję

najczęściej traktujemy jako definicję

operacyjną pozycji osoby na określonym

operacyjną pozycji osoby na określonym

kontinuum

kontinuum





takie rozumowanie jest

takie rozumowanie jest

podstawą opracowania różnych

podstawą opracowania różnych

wskaźników dobroci pozycji testowych,

wskaźników dobroci pozycji testowych,

nazywanych

nazywanych

współczynnikami mocy

współczynnikami mocy

dyskryminacyjnej

dyskryminacyjnej

Współczynniki mocy

Współczynniki mocy

dyskryminacyjnej

dyskryminacyjnej



współczynnik mocy dyskryminacyjnej –

współczynnik mocy dyskryminacyjnej –

stopień, w jakim dana pozycja testowa różnicuje

stopień, w jakim dana pozycja testowa różnicuje

badaną populację w zakresie zachowania, które

badaną populację w zakresie zachowania, które

dany test ma mierzyć. Wartość tego

dany test ma mierzyć. Wartość tego

współczynnika jest interpretowana następująco:

współczynnika jest interpretowana następująco:

•

pozycja testowa o dodatniej mocy

pozycja testowa o dodatniej mocy

dyskryminacyjnej –

dyskryminacyjnej –

częściej rozwiązywana przez osoby

częściej rozwiązywana przez osoby

badane o wysokich wynikach ogólnych, a więc różnicuje

badane o wysokich wynikach ogólnych, a więc różnicuje

te osoby w zgodzie z innymi pozycjami testu i tym samy

te osoby w zgodzie z innymi pozycjami testu i tym samy

zwiększa wariancję wynik ów testowania

zwiększa wariancję wynik ów testowania

•

pozycja testowa o ujemnej mocy dyskryminacyjnej

pozycja testowa o ujemnej mocy dyskryminacyjnej

–

–

częściej rozwiązywana przez osoby badane o niskich

częściej rozwiązywana przez osoby badane o niskich

ogólnych wynikach w teście, a więc różnicuje te osoby

ogólnych wynikach w teście, a więc różnicuje te osoby

przeciwnie niż inne pozycje testu i tym samym

przeciwnie niż inne pozycje testu i tym samym

zmniejsza wariancję testowania

zmniejsza wariancję testowania

Współczynniki mocy

Współczynniki mocy

dyskryminacyjnej

dyskryminacyjnej



do ostatecznej wersji testu powinny oczywiście

do ostatecznej wersji testu powinny oczywiście

wejść te pozycje, które zwiększają wariancję

wejść te pozycje, które zwiększają wariancję

testowania, a więc o dodatniej, wysokiej mocy

testowania, a więc o dodatniej, wysokiej mocy

dyskryminacyjnej

dyskryminacyjnej



istnieje kilkadziesiąt współczynników mocy

istnieje kilkadziesiąt współczynników mocy

dyskryminacyjnej – wyodrębnia się 3 ich

dyskryminacyjnej – wyodrębnia się 3 ich

kategorie:

kategorie:

•

proste współczynniki dyskryminacyjne

proste współczynniki dyskryminacyjne

•

współczynniki oparte na analizie korelacji między

współczynniki oparte na analizie korelacji między

wynikiem danej pozycji a ogólnym wynikiem w teście

wynikiem danej pozycji a ogólnym wynikiem w teście

•

współczynniki oparte na analizie różnic między tzw.

współczynniki oparte na analizie różnic między tzw.

skrajnymi grupami

skrajnymi grupami



anegdotka:

anegdotka:

jak Krzyżacy odróżniali chłopców od

jak Krzyżacy odróżniali chłopców od

mężczyzn

mężczyzn

Miary mocy

dyskryminacyjnej

Współczynnik korelacji dwuseryjnej
Współczynnik korelacji punktowo-
dwuseryjnej
Współczynnik korelacji punktowo-
czteropolowej
Skorygowany współczynnik
korelacji pozycja-skala

Współczynnik korelacji

dwuseryjnej

(M

p

- M

q

)

---------------

S

r

bis

= -----------------------

(p q)

--------

y

Współczynnik korelacji

dwuseryjnej

gdzie M

p

- to średnia wyników w skali tych

osób, które odpowiedziały na daną pozycję
zgodnie z kluczem, M

q

- to średnia wyników

w skali tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem, S -
odchylenie standardowe wyników w całym
teście, p - to proporcja tych osób, które
odpowiedziały na daną pozycję zgodnie z
kluczem, q - to proporcja tych osób, które
odpowiedziały na daną pozycję niezgodnie
z kluczem, zaś y - to rzędna rozkładu
normalnego odpowiadająca proporcji p.

Współczynnik korelacji

-punktowo dwuseryjnej

(M

p

- M

q

)

----------------

S

r

p-bis

= -------------------

 (p q)

Współczynnik korelacji

punktowo-dwuseryjnej

gdzie M

p

- to średnia wyników w skali tych

osób, które odpowiedziały na daną pozycję
zgodnie z kluczem, M

q

- to średnia wyników

w skali tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem, S -
odchylenie standardowe wyników w całym
teście, p - to proporcja tych osób, które
odpowiedziały na daną pozycję zgodnie z
kluczem, q - to proporcja tych osób, które
odpowiedziały na daną pozycję niezgodnie
z kluczem.

Współczynnik korelacji

punktowo-czteropolowej

(phi)

f

g

- f

d

phi = ------------
 (p q)

fg - proporcja osób w górnej połowie próby, które
odpowiedziały na daną pozycję zgodnie z kluczem

fd - proporcja osób w dolnej połowie próby, które
odpowiedziały na daną pozycję zgodnie z kluczem

Współczynnik korelacji

punktowo-czteropolowej

gdzie f

g

- to proporcja osób w górnej

połowie próby, które odpowiedziały
na daną pozycję zgodnie z kluczem, f

d

- to proporcja osób w dolnej połowie
próby, które odpowiedziały na daną
pozycję zgodnie z kluczem, p - to
proporcja osób w całej próbie, które
odpowiedziały na daną pozycję
zgodnie z kluczem, q - to proporcja
tych osób, które odpowiedziały na
daną pozycję niezgodnie z kluczem.

Moc dyskryminacyjna pozycji -

przykład

Student

Wynik

ogólny (%)

Pytanie

1

2

3

Jan

90

1

0

1

Krzysztof

90

1

0

1

Joanna

80

0

0

1

Wojtek

80

1

0

1

Jacek

70

1

0

1

Sonia

60

1

0

0

Julia

60

1

0

1

Agata

50

1

1

0

Matylda

50

1

1

0

Mateusz

40

0

1

0

Moc dyskryminacyjna i trudność

pozycji – „krok po kroku”

1.

Po uszeregowaniu wyników studentów od najwyższego do

najniższego, policz ilu studentów z wysokimi i ilu z niskimi

wynikami właściwie rozwiązało zadanie. Dla zad. #1 było to

po 4 studentów z obu grup.

2.

Policz współczynnik trudności dzieląc liczbę osób, które

rozwiązały zadanie prawidłowo przez liczbę wszystkich

badanych. Dla zad. #1 jest to 8/10=0,8

3.

Określ współczynnik mocy dyskryminacyjnej odejmując

liczbę studentów z niskimi wynikami, którzy rozwiązali

zadanie prawidłowo od liczby studentów z wysokimi

wynikami, którzy rozwiązali zadanie prawidłowo. Następnie,

podziel przez liczbę studentów studentów w każdej grupie

(tutaj 5). Dla zad #1 oznacza to odjęcie 4 od 4 i podzielenie

przez 5, co daje współczynnik mocy dyskryminacyjnej

równy 0.

Moc dyskryminacyjna pozycji -

przykład

Pytanie

Liczba

poprawnych

odpowiedzi

(górna

połowa)

Liczba

poprawnych

odpowiedzi

(dolna

połowa)

Trudność

Moc

dyskryminacyjna

#1

4

4

0,80

0

#2

0

3

0,30

-0,6

#3

5

1

0,60

0,8

Czynniki zniekształcające wyniki

testowe

1.

Zgadywanie

2.

Tendencja do udzielania odpowiedzi społecznie

aprobowanych albo społecznie nie

aprobowanych

•

tendencja do dysymulowania (aprobata społeczna)

•

tendencja do symulowania

3.

Style odpowiadania

• tendencja do lateralizacji (style graficzne)
• tendencja do zgadzania się lub zaprzeczania
• tendencja do udzielania odpowiedzi

ekstremalnych albo centralnych przy

wielokategorialnych formatach odpowiedzi

(np. wybieranie znaków zapytania lub

wyłącznie kategorii krańcowych)

Czynniki zniekształcające wyniki

testowe



tendencja do udzielania odpowiedzi losowych

(zgadywania)



tendencja do udzielania odpowiedzi

niekonsekwentnych



tendencja do udzielania odpowiedzi

niezdecydowanych (opuszczenia)



tendencja do udzielania odpowiedzi impulsywnych



tendencja do udzielania odpowiedzi produktywnych



tendencja do udzielania odpowiedzi pozornie

oryginalnych (odwrotność aprobaty)



tendencja do udzielania odpowiedzi

konwencjonalnych

Dysymulacja

Dysymulacja



Dysymulacja - świadoma lub
nieświadoma tendencja osoby
badanej do przedstawiania się w
nieprawdziwie korzystnym świetle.

Tendencja do dysymulowania

a aprobata społeczna

Dysymulacja najczęściej wiązana jest
ze zmienną aprobaty społecznej,
która jest rozumiana jako tendencja
osoby badanej do kierowania się
społecznym wartościowaniem
zachowania przy odpowiadaniu i
prowadzi do zaprzeczania posiadania
cech społecznie niepożądanych oraz
przypisywania sobie cech społecznie
pożądanych.

Aprobata społeczna

Aprobata społeczna jako styl
odpowiadania (czy inaczej postawa
wobec badania) to tendencja
jednostki do kierowania się przy
odpowiadaniu nie tyle faktycznym
zachowaniem, czy treścią pytania,
ale społeczną oceną, jaką pociąga za
sobą dana odpowiedź.

Tendencja do dysymulowania

i aprobata społeczna c.d.

Aprobata jako

cecha

to tendencja

podmiotu do takiego modulowania

zachowania (każdego - testowego,

jak i realnego, pozatestowego), by

było ono zgodne ze społecznym

wartościowaniem - normami

społecznymi, akceptacją otoczenia.

Metody kontroli

(eliminowania) wpływu

aprobaty

Na etapie konstrukcji kwestionariusza:
1). Pozycje neutralne
2). Pozycje subtelne pod względem trafności
fasadowej
3). Specjalne formułowanie językowe pozycji
4). Analiza podatności pozycji przez
manipulowanie instrukcją
5). Analizy itemmetryczne,
6). Korelacje pozycji ze skalami mierzącymi
aprobatę społeczną

Metody kontroli

(eliminowania) wpływu

aprobaty

5). Analiza podatności pozycji przez
manipulowanie instrukcją,
6). Analizy itemmetryczne,
7). Korelacje pozycji ze skalami
mierzącymi aprobatę społeczną;

Metody kontroli

(eliminowania) wpływu

aprobaty

Na etapie stosowania

kwestionariusza:

8). Instrukcja "szczerości",
9). Zmiana procedury badania -
komputeryzacja testu,

Metody kontroli

(eliminowania) wpływu

aprobaty

10). Skala kontrolna aprobaty
społecznej, na podstawie której
odrzuca się respondentów o
wysokich wynikach lub koryguje
wyniki skal treściowych przez
doliczanie tzw. poprawek
korekcyjnych,
11). Wprowadzenie do diagnozy
psychologicznej szacowania cech.

Tendencja do symulowania -

definicja

Tendencja do

symulowania

-

świadome lub nieświadome
udzielanie odpowiedzi,

bezpodstawnie

przedstawiających

osobę badaną w

niekorzystnym

świetle

, np. wskazujących na

istnienie określonych zaburzeń
zachowania czy niepożądanych cech
osobowości.

Tendencja do symulowania

(c.d.)

Tendencja do symulowania jest
zarówno

postawą

wobec badania,

(styl odpowiadania, np."super-
szczerość"), jak trwałym syndromem

cech

osobowości, związanym z

tendencjami agrawacyjnymi,
obniżoną samooceną,
ekscentrycznością i zaburzeniami
psychicznymi. Kontrolowanie
tendencji do symulacji umożliwiają
specjalne skale kontrolne.

Styl odpowiadania - definicja

Styl odpowiadania

- tendencja osoby

badanej do wybierania określonej
opcji odpowiedzi, niezależnie od
treści pytania.

Kontrolowanie stylów

odpowiadania:

a). wyrównanie liczby pozycji
diagnostycznych na "tak" i "nie",
(tendencja do zgadzania się i
zaprzeczania)

b). eliminowanie odpowiedzi
pośrednich (centralny styl
odpowiadania) lub stosowanie skal
kontrolnych, bazujące na zliczaniu
odpowiedzi centralnych,
niezdecydowanych).

Kontrolowanie stylów

odpowiadania:

c). stosowanie skal kontrolnych, np.
skali konsekwencji (nieuważność) lub
konstruowanie skal statystycznych
do kontroli stylu (bazujących na
porównaniu proporcji odpowiedzi, np.
potakujących czy negujących w
skalach treściowych).

Zgadywanie - definicja

Zgadywanie

jest specyficznym

czynnikiem zniekształcającym wyniki
testów zdolności, związanym z
udzielaniem odpowiedzi losowych,
gdy badani nie znają właściwych
odpowiedzi

(„jak nie wiem, to będę

strzelał”)

.

Kontrolowanie zgadywania

a). poprzez instrukcję testową:
wyrównywanie tendencji do
zgadywania (zachęcanie do
zgadywania) lub eliminowanie
zgadywania (informacja o stosowaniu
korekty wyników);

Poprawka na zgadywanie

Poprawka na zgadywanie

Poprawka na zgadywanie

Poprawka na zgadywanie

P

P

B

m

K

 

 1



W przypadku testów wiedzy możliwa jest
korekta wyniku otrzymanego poprzez
zastosowanie tzw. poprawki na zgadywanie,
obliczanej według wzoru:

gdzie: P

k

- wynik po korekcie, P - wynik

surowy (otrzymany), B - liczba błędnych
odpowiedzi, m - liczba opcji odpowiedzi w
zadaniach.

Poprawka na zgadywanie

Poprawka na zgadywanie

(2)

(2)

Poprawka na zgadywanie

Poprawka na zgadywanie

(2)

(2)



stosowanie poprawki na zgadywanie uzasadnione jest

stosowanie poprawki na zgadywanie uzasadnione jest

tylko

tylko

w testach z ograniczeniem czasowym

w testach z ograniczeniem czasowym



w przypadku testów, gdzie osoby badane mogą

w przypadku testów, gdzie osoby badane mogą

„rozwiązywać” wszystkie zadania stosowanie

„rozwiązywać” wszystkie zadania stosowanie

poprawki na zgadywanie jest nieuzasadnione

poprawki na zgadywanie jest nieuzasadnione



warunkiem stosowania poprawki na zgadywanie jest

warunkiem stosowania poprawki na zgadywanie jest

taka postać wszystkich zadań, iż wszystkie opcje

taka postać wszystkich zadań, iż wszystkie opcje

odpowiedzi są równie atrakcyjne

odpowiedzi są równie atrakcyjne



stosowanie poprawki na zgadywanie ma sens

stosowanie poprawki na zgadywanie ma sens

szczególnie w przypadku testów składających się z

szczególnie w przypadku testów składających się z

zadań o małej liczbie opcji odpowiedzi (n<4)

zadań o małej liczbie opcji odpowiedzi (n<4)



poprawkę na zgadywanie szczególnie warto stosować

poprawkę na zgadywanie szczególnie warto stosować

w przypadku trudnych testów, gdyż nasilają one

w przypadku trudnych testów, gdyż nasilają one

tendencję do zgadywania

tendencję do zgadywania