Analiza pozycji

testowych

Trudność pozycji

Trudność pozycji

–

stosunek liczby osób, które udzieliły

prawidłowej (zgodnej z kluczem i

diagnostycznej) odpowiedzi na pytanie,

do ogółem przebadanej liczby osób

–

zazwyczaj wyrażany jako odsetek osób,

które znały prawidłową odpowiedź na

pytanie

%

100

N

n

p

i



Trudność pozycji

Trudność pozycji

–

przyjmuje „paradoksalne” wartości –

wysoka wartość wskazuje na łatwe

pytania

–

stosowany zazwyczaj w przypadku

testów wiedzy

–

najlepiej różnicującymi pytaniami są

pytania o przeciętnym stopniu trudności –

pozwalają na dokonanie największej

liczby porównań między osobami w

próbie

Trudność pozycji

testowej

W

a

ri

a

n

c

ja

p

o

zy

c

ji

te

s

to

w

e

j

Problem zgadywania

odpowiedzi

Badani zgadują poprawne
odpowiedzi jeśli ich nie znają
Czy można to uwzględnić przy
obliczaniu wyniku?
Założenie: wszystkie odpowiedzi
są jednakowo prawdopodobne
Liczba odgadniętych odpowiedzi
zależy od liczby udzielonych
błędnie odpowiedzi

Problem zgadywania

odpowiedzi

1



m

F

gdzie:
F – liczba błędnych odpowiedzi
m – liczba możliwych alternatyw
odpowiedzi

Liczba odgadniętych
odpowiedzi=

Problem zgadywania

odpowiedzi

1







m

F

x

R

gdzie:
R – liczba prawidłowo rozwiązanych
zadań poprawiona ze względu na
zgadywanie
x - liczba poprawnych odpowiedzi
F – liczba błędnych odpowiedzi
m – liczba możliwych alternatyw
odpowiedzi

Problem zgadywania

odpowiedzi

1







m

F

f

R

gdzie:
R – liczba osób znająca prawidłowe
rozwiązanie zadania poprawiona ze
względu na zgadywanie
f - liczba osób, które podały poprawną
odpowiedź
F – liczba osób, które podały błędną
odpowiedź
m – liczba możliwych alternatyw
odpowiedzi

Moc dyskryminacyjna

Moc dyskryminacyjna

–

informuje w jakim stopniu pytanie/zadania

różnicuje daną populację, ze względu na

mierzoną cechę

Grupa osób o
najwyższych wynikach
ogólnych danego testu

Grupa osób o
najniższych wynikach
ogólnych danego testu

p

u

p

l

Moc dyskryminacyjna

Moc dyskryminacyjna

–

informuje w jakim stopniu pytanie/zadania

różnicuje daną populację, ze względu na

mierzoną cechę

Grupa osób o
najwyższych wynikach
ogólnych danego testu

Grupa osób o
najniższych wynikach
ogólnych danego testu

p

u

p

l

Moc dyskryminacyjna

Moc dyskryminacyjna

–

informuje w jakim stopniu pytanie/zadania

różnicuje daną populację, ze względu na

mierzoną cechę

Grupa osób o
najwyższych wynikach
ogólnych danego testu

Grupa osób o
najniższych wynikach
ogólnych danego testu

p

u

p

l

l

u

p

p

D





Moc dyskryminacyjna

Moc dyskryminacyjna

–

w rozumieniu operacyjnym – korelacja

między pozycją a skalą; obliczanie takich

korelacji wymaga spełnienia specyficznych

założeń – jedna z korelowanych zmiennych

jest mierzona na skali nominalnej, druga na

przedziałowej

–

wartość ujemna wskazuje na to, że badacz

pomylił się ustalając klucz – można to

traktować jako dyskwalifikację pozycji mimo

znaczącej wartości bezwzględnej m.d.

–

przyjmuje się, że moc dyskryminacyjna musi

mieć

wartość > 0,20, aby pozycja była włączana

do skali

(około 5% wspólnej wariancji ze skalą)

–

wartości mocy dyskryminacyjnych

maksymalizują się dla pytań o przeciętnej

trudności

Metody obliczania mocy

dyskryminacyjnych (1)

Metody obliczania mocy

dyskryminacyjnych (1)



współczynnik korelacji biseryjnej

(dwuseryjnej)

–

rozkład wyników cechy mierzonej przez daną

pozycję winien być zmienną ciągłą o

normalnym rozkładzie

–

rozkład wyników ogólnych w teście winien

także być rozkładem normalnym



współczynnik korelacji punktowo-

dwuseryjnej

–

rozkład wyników cechy mierzonej przez daną

pozycję jest dwukategorialny – zmienna jest

dyskretna

–

wyniki ogólne w teście mają rozkład normalny

(jak wyżej)



współczynnik korelacji punktowo-

czteropolowej

–

nie można przyjąć założeń wymienionych

wyżej

–

zarówno wynik pozycji, jak i wynik ogólny

traktowane

są jako zmienne dychotomiczne

Metody obliczania mocy

dyskryminacyjnych (2)

Metody obliczania mocy

dyskryminacyjnych (2)



pakiety statystyczne obliczają

skorygowane korelacje pozycja-skala

(corrected item-total correlation)

–

korekta polega na wyłączeniu z sumy

wyniku ogólnego pytania, dla którego

obliczana jest moc dyskryminacyjna

–

obliczane w taki sposób wartości mocy

dyskryminacyjnej są bardziej surowe

(niższe)

Inne miary dobroci pozycji

Inne miary dobroci pozycji



Czasem miarą dobroci pozycji jest jej

korelacja z zewnętrznym kryterium



konsekwencją takiego podejścia (i

zastosowanej strategii analizy

danych) jest tworzenie skal mniej

homogenicznych, mniej rzetelnych,

jednak bardziej trafnych kryterialnie i

treściowo



w zależności od przyjętych założeń

dotyczących kryterium stosuje się:

–

model wielokrotnej regresji liniowej

–

analizę dyskryminacyjną

item

1
2
3
4
5
6
7
8
9

10

Trudnoś

ć

0.8095

0.1429

0.0714

0.381

0.6667

0.2857

0.5238

0.619

0.2857

0.6905

Wariancja

0.15793

0.12546

0.06796

0.24157

0.22762

0.20903

0.25553

0.24157

0.20903

0.21893

Moc

dyskryminacyjn

a

0.2937

0.1917

-0.1532

0.0636

0.3738

0.1877

0.4142

0.3880

0.1241

0.2684

Rzetelność

po

usunięciu

itemu

0.6353

0.6408

0.6529

0.6474

0.6287

0.6401

0.6252

0.6274

0.6437

0.6353