2009-10-25

Wiarygodność testów

psychologicznych

• „Instrument pomiarowy, używany w określonym momencie czasu i w

określonym celu powinien mierzyć tę cechę którą postanowiliśmy zmierzyć”

• „Instrument pomiarowy ( powinien tę cechę mierzyć rzetelnie tzn. tak, aby powtórzenie pomiaru w tych samych warunkach dało ten sam rezultat”

(Magnusson, 1981)

Modele psychometryczne testów

• Model klasyczny Gulliksena (1950)

• Modele nieklasyczne – uniwersalizacji (Lord i Novick, 1968); wyniku

generycznego (Cronbach, Rajaratnam, Nanda, Gleser, 1972)

• Model odpowiedzi na pozycje testowe (Item Response Theory) (Lord, 1980) Model wyniku prawdziwego

• Źródło nierzetelności pomiaru – wrażliwość instrumentu na czynniki mające

niesystematyczny i zmienny wpływ w każdym momencie czasowym dokonywanego pomiaru

• Liczbowa miara rzetelności – współczynnik korelacji dla zgodności pomiarów powtórzonych w tych samych warunkach (współczynnik rzetelności)

• Testy równoległe – równoważne narzędzia pomiaru

1

2009-10-25

Wynik prawdziwy a wynik

otrzymany

X = T+ E

X – wynik otrzymany

T - wynik prawdziwy

E – składnik błędu

Wynik prawdziwy – „wynik

otrzymany w idealnych

warunkach lub za pomocą

idealnego narzędzia

pomiarowego”; „średni wynik

danej osoby uzyskany w

nieskończenie wielu

niezależnych badaniach tym

samym testem”

Założenia:

1)

M = 0

E

2)

r

= 0

TE

3)

r

= 0

E1E2

Statystyczna definicja rzetelności Rzetelność – stosunek

wariancji prawdziwej do

wariancji całkowitej

2

s

r = 1

e

tt

−

2

sX

Zadanie 1. Jaka będzie rzetelność gdy stosunek wariancji błędu do

wariancji całkowitej wynosi 0.22?

Rzetelność a długość testu

• Rzetelność pomiaru

testowego jest funkcją

zadań składających

się na test

• Im dłuższy test tym

wyższe są jego

wskaźniki rzetelności

2

2009-10-25

„Proroczy” wzór Spearmana -

Browna

• Stosowany przy

obliczaniu wpływu

dowolnego

przedłużania testu na

jego rzetelność

nrtt

rtt =

n

1 + ( n − 1 r

) tt

Zadanie 2. Jaka będzie

rzetelność testu o

rzetelności pierwotnej

r =0.82 po dwukrotnym

tt

przedłużeniu?

Standardowy błąd pomiaru

• Określanie pozycji osoby

na kontinuum danej

zmiennej – zastosowanie

praktyczne

• Odchylenie standardowe

rozkładu błędów, które

popełniamy uznając

SEM = st

−

1 rtt

wynik osiągnięty przez

daną osobę w

nieskończonej liczbie

testów równoległych za

jej wynik prawdziwy

Przedziałowa estymacja wyniku

prawdziwego

• Przedział ufności symetryczny wokół wyniku otrzymanego

∈<

−

+

>

X

X

zα SEM ; X

zα SEM

∞

t

/ 2

t

/ 2

3

2009-10-25

Przedział ufności dla wyniku

otrzymanego

Zadanie 3. Dziecko osiągnęło II równy 120 w skali Wechslera . W jakich granicach możemy oczekiwać prawdziwego wyniku tego dziecka, jeśli rzetelność testu wynosi 0.97 a odchylenie standardowe równe jest 15?

Estymowany wynik prawdziwy

• Estymacja

przeprowadzana z

wykorzystaniem

modelu regresji

liniowej

X ' =

1

∞

X + r ( X − X ) = r X + ( − r ) X

t

tt

t

t

tt

t

tt

t

Standardowy błąd estymacji

• Odchylenie

standardowe rozkładu

różnic między

estymowaną

wartością wyniku

SEE =

r SEM

tt

prawdziwego i jego

wartością rzeczywistą

4

2009-10-25

Przedział ufności symetryczny wokół

estymowanego wyniku prawdziwego

_

'

X

=

∞

r X + 1

( − r ) X

tt

t

tt

t

_

_

∈<

+

−

−

+

−

+

>

X

r X

1

(

r ) X

zα SEE; r X

1

(

r ) X t

zα SEE

∞

tt

t

tt

t

/ 2

tt

t

tt

/ 2

Standardowy błąd różnicy

• Odchylenie standardowe wszystkich możliwych różnic między dwoma wynikami 2

2

SEM

=

−

SEM + SEM

X Y

X

Y

Standardowy błąd różnicy

• Różnice między wynikami dwóch testów wyrażonych na dwóch różnych skalach 2

SEM

=

−

S 1

( − r )

2

+ S 1

( − r )

X Y

X

xx

Y

yy

Zadanie 4. Osoba badana w teście zdolności społecznych uzyskała 18

punktów (rzetelność 0.62; odchylenie standardowe 2,2), a w teście zdolności werbalnych 24 punkty (rzetelność 0.81; odchylenie standardowe 2,5). Czy różnica pomiędzy wynikami tych dwóch testów jest rzetelna?

5

2009-10-25

Standardowy błąd różnicy

• Różnice między wynikami dwóch testów wyrażonych na tej samej skali

SEM

=

2

−

S

− r − r

X Y

X

xx

yy

Zadanie 5. Osoba A otrzymała w teście I, którego wyniki przekształcono w skalę T (M=50; SD=10), wynik równy 46 punktów.

Ta sama osoba w teście II otrzymała 39 punktów. Rzetelność testu I wynosi 0.95, natomiast testu II 0.91. Określ czy różnica pomiędzy wynikami testów jest rzetelna.

Standardowy błąd różnicy

• Różnice między wynikami tego samego testu SEM

=

−

S

2 1

( − r )

X Y

X

tt

Zadanie 6. W skali inteligencji Wechslera (M=100; SD=15), której rzetelność wynosi 0.97, osoba A uzyskała II równy 130, natomiast osoba B II równy 98. Sprawdź, czy różnica między osobami A i B

jest rzetelna.

6