BOGDAN ZAWADZKI

PODSTAWY POMIARU

PSYCHOMETRYCZNEG

O

Program wykładu

Wykład 1. Test jako narzędzie

diagnozy psychologicznej –
podstawowe pojęcia.

Wykład 2. Rodzaje testów

psychologicznych.

Wykład 3. Diagnoza psychologiczna

za pomocą testów – aspekt
psychologiczny, metodologiczny,
psychometryczny i etyczny.

Program wykładu

Wykład 4. Pomiar różnicowy w

psychologii – podstawowe założenia.

Wykład 5-6. Rzetelność pomiaru testem

– podstawy teorii rzetelności testów
psychologicznych w ujęciu klasycznej
teorii testów i metody szacowania.

Wykład 7-8. Trafność pomiaru testem:

pojęcie trafności pomiaru i rodzaje
trafności.

Program wykładu

Wykład 9-10. Podstawowe

problemy konstruowania testów:
strategie konstruowania testów i
procedura konstrukcji testów.

Wykład 11. Czynniki

zniekształcające wyniki testowe.

Wykład 12. Podstawowe problemy

kulturowej adaptacji testów.

Program wykładu

Wykład 13. Normalizacja wyników

testu.

Wykład 14. Interpretacja wyników

testowych.

Wykład 15. Użyteczność

standardwych metod diagnostycznych
w praktyce psychologicznej – wyniki
metaanaliz dotyczące wybranych
metod oraz podsumowanie wykładów.

Literatura wprowadzająca

 Ciechanowicz, A., Jaworowska, A. i Szustrowa,

T. (1996). Testy Prawo Praktyka. Warszawa:
Pracownia Testów Psychologicznych PTP.

 Zawadzki, B. i Hornowska, E. (2008).

Psychometria. Konstrukcja i adaptacja testów
psychologicznych. W: J. Strelau i D. Doliński
Brzeziński (red.), Psychologia. Podręcznik
akademicki (s. 847-893). Gdańsk: Gdańskie
Wydawnictwo Psychologiczne.

Literatura obowiązkowa

Hornowska, E. (2001). Testy

psychologiczne. Teoria i praktyka.
Warszawa: Wydawnictwo Naukowe Scholar.

Hornowska, E., Paluchowski, W. J. (2004).

Kulturowa adaptacja testów
psychologicznych. W: J. Brzeziński (red.),
Metodologia badań psychologicznych.
Wybór tekstów (s. 151-191). Warszawa:
Wydawnictwo Naukowe PWN.

Literatura uzupełniająca

 Anastasi, A i Urbina, S. (1999). Testy

psychologiczne. Warszawa: Pracownia Testów
Psychologicznych PTP.

 Brzeziński, J. (2005)(red.). Trafność i rzetelność

testów psychologicznych. Wybór tekstów.
Gdańsk: Gdańskie Wydawnictwo
Psychologiczne.

 Magnusson, D. (1981). Wprowadzenie do teorii

testów. Warszawa: PWN (rozdz. 5-11,14-16).

Literatura uzupełniająca

 Murphy, K. R. i Davidshofer, C. O. (2005).

Psychological testing. Principles and applications
(VI International edition). Upper Saddle River,
N.J.: Prentice-Hall, Inc.

 Zawadzki, B. (2002). Temperament - geny i

środowisko. Porównania wewnątrz – i
międzypopulacyjne. Gdańsk: GWP (rozdz. 3).

 Zawadzki, B. (2006). Kwestionariusze

osobowości: strategie i procedura konstruowania.
Warszawa: Wydawnictwo Naukowe Scholar.

Wykład 1

DIAGNOZA PSYCHOLOGICZNA

ZA POMOCĄ TESTÓW

STANDARDOWYCH:

PODSTAWOWE POJĘCIA

Metody badawcze w

psychologii

Metody eksperymentalne

Metody diagnostyczne

Podstawowy schemat

badawczy dla wszystkich

metod

B – R

B - (bodziec = zmienna/zmienne

niezależne)

R (reakcja = zmienna zależna)

Schemat badawczy metod

eksperymentalnych

 Zmienna niezależna główna różni się

dla poszczególnych osób (grup

badawczych).

 Inne zmienne niezależne są

identyczne dla wszystkich osób

badanych (lub rozkładają się losowo).

Schemat badawczy metod

eksperymentalnych

Wniosek: zmiany (lub różnice)

w zmiennej zależnej

(zachowaniu) zależą od

głównej zmiennej niezależnej.

Schemat badawczy metod

eksperymentalnych

Metody eksperymentalne

pozwalają na ocenę wpływu

czynników zewnętrznych

(„środowiskowych”) na

zachowanie.

Schemat badawczy metod

diagnostycznych

 Zmienna niezależna główna jest

identyczna dla poszczególnych osób

badanych.

 Inne zmienne niezależne są

identyczne dla wszystkich osób

badanych (lub rozkładają się losowo).

Schemat badawczy metod

diagnostycznych

Wniosek: różnice

międzyosobnicze w zachowaniu

nie zależą od zmiennej

niezależnej, ale od czynników

wewnętrznych („latentnych”

cech).

Schemat badawczy metod

diagnostycznych

Metody diagnostyczne pozwalają

zatem na ocenę wpływu

czynników wewnętrznych

(„osobowościowych”) na

zachowanie.

Metody diagnozy

psychologicznej

Kryteria podziału (interpretacja

zachowania i stopień formalizacji
procedury):

Zachowanie jako próbka (testy

standaryzowane)

Zachowanie jako znak (testy

projekcyjne)

Metody niesformalizowane (swobodne)

Do czego służą testy?

Testy są metodami, służącymi do

zbierania informacji o człowieku,
potrzebnej do diagnozy psychologicznej.
Diagnoza psychologiczna jest procesem
aktywnego poszukiwania danych
potrzebnych do podjęcia decyzji o
działaniach, zmierzających do zmiany
aktualnego stanu (położenia)
psychospołecznego ludzi (w efekcie
terapii, porady, itp.).

Co mierzą testy?

Testy służą do rejestracji faktów

psychologicznych z życia człowieka,
tj. informacji o jego zachowaniu:
przeszłym lub obecnym, typowym
(najczęstszym - cechy) lub chwilowym
(stany). Testy są metodami
rejestrującymi różnice w zachowaniu
ludzi oraz stałość czasową i
sytuacyjną zachowania danego
człowieka.

Testy są metodami badania

zachowania

Testy nie pozwalają na bezpośredni

pomiar cech (czy stanów) - badają
jedynie zachowanie. Cechy (stany)
są psychologicznymi
interpretacjami istnienia różnic
indywidualnych w wynikach testu
(wyjaśnieniami w terminach
„latentnych” cech lub stanów,
które wpływają na wyniki testowe
oraz warunkują istnienie różnic
międzyosobniczych w wynikach
testu).

Co to jest test?

Standardy dla testów stosowanych w

psychologii i pedagogice (APA, 2007, s.
24):

„Testem jest narzędzie lub

procedura służące ocenie. Ich istotą
zaś – otrzymanie w określonych
warunkach próbki zachowania osób
badanych, a następnie dokonanie
ich oceny zgodnie z
wystandaryzowanymi regułami”.

Poprzednia definicja w

Standardach APA

Test to

procedura diagnozowania

.

Może on być zbiorem zadań lub pytań,
które - w standardowych warunkach
(tj. stałych, jednakowych dla
wszystkich) - mają wywoływać -
określone rodzaje zachowań i
dostarczać wyników o pożądanych
własnościach psychometrycznych, tj.
posiadających wysoką rzetelność i
wysoką trafność.

Elementy składowe testu

(zgodnie ze schematem: B-R)

1). test psychologiczny zawiera próbki

zadań - czyli określone standardowe
bodźce; test psychologiczny jednak to
przede wszystkim specyficzna forma
interakcji między osobą badającą a
osobą badaną, która to interakcja
zachodzi w określonych warunkach
czasowych, fizycznych i
psychologicznych (procedura, a nie
tylko sam materiał).

Elementy składowe testu

(zgodnie ze schematem: B-R)

2). test psychologiczny zawiera skalę

lub skale standardowe, rejestrujące
wywołane przez bodźce reakcje;
przedmiotem rejestracji w teście jest
zachowanie, które:

a). jest deskrypcją cechy,
b). którego aspekt spełnia kryteria:

typowości, specyfiki dla występującego
bodźca oraz reprezentacji ilościowej, a
nie jakościowej.

Elementy składowe testu

3). test psychologiczny dostarcza

reguł dochodzenia do wyniku oraz
jego oceny, w dwóch aspektach:

a). indywidualnym - informuje o

nasileniu danej cechy u danej
jednostki;

b). pomiarowym - umożliwia

oszacowanie parametrów "dobroci"
pomiaru testem.

Jakie wymogi muszą spełniać

testy?

Testy muszą być tak skonstruowane,

aby ich zastosowanie do pomiaru
cech człowieka, charakteryzowało się
odpowiednio wysoką

rzetelnością

,

trafnością

,

obiektywnością

,

standaryzacją

i

znormalizowaniem

-

test zatem musi spełniać te
wymagania, by mógł być stosowany, i
żeby mógł być nazwany testem.

Kryterium standaryzacji

Standaryzacja oznacza, że

procedura

badania testem

musi być tak

szczegółowo opracowana, aby
stosowanie go było za każdym razem
identyczne - niezależnie od osoby
badającej i osoby badanej; standaryzacja
ma na celu zminimalizowanie wpływu
czynników ubocznych lub zakłócających
(wewnętrznych i zewnętrznych) na
wyniki testowe.

Kryterium obiektywności

Obiektywność oznacza, że

procedura interpretacji

wyników

badania testem musi być tak
szczegółowo opracowana, aby
interpretacja była za każdym razem
identyczna - niezależnie od osoby
badającej; obiektywność ma na celu
zminimalizowanie wpływu osoby
badającej na wyniki testowe.

Kryterium normalizacji

Normalizacja oznacza konieczność

opracowania procedury przekształcania
wyników liczbowych w wyniki
różnicowe, umożliwiające ocenę wyniku
danej osoby na tle reprezentatywnej
populacji; normalizacja ma na celu
zminimalizowanie błędi związanego z
oceną faktycznego nasilenia cechy u
osoby badanej, a więc błędnej diagnozy
psychologicznej.

Kryterium rzetelności

Rzetelność oznacza konieczność

takiego opracowania testu (materiału
testowego i procedury badania), aby
maksymalizował on dokładność
pomiaru cechy badanej przez test;
rzetelność ma dwa aspekty -
stabilność pomiaru (powtarzalność
wyników badania) oraz konsystencję
(precyzję pomiaru).

Kryterium trafności

Trafność oznacza wymóg takiego

opracowania testu (materiału
testowego i procedury badania), aby
maksymalizował on stopień, w jakim
test mierzy daną cechę; trafność ma
dwa aspekty - dotyczy tego, co test
mierzy i jak dobrze to mierzy oraz
dotyczy tego, co możemy
przewidywać na podstawie wyników
testowych.

Wykład 2

RODZAJE TESTÓW

PSYCHOLOGICZNYCH

Jakie są rodzaje testów?

Pod względem specyfiki zbierania

informacji rozróżniamy następujące
testy standaryzowane:

Rodzaje testów

1). Test, w którym jednostka wykonuje

specyficzne zadanie - test ten
wymaga maksymalnego wykonania
(testy inteligencji, zdolności,
wiadomości, sprawności
psychomotorycznej). Testy
maksymalnego wykonania mogą być
testami mocy, testami szybkości lub
testami z ograniczeniem czasowym.

Rodzaje testów

2). Test, w którym jednostka sama

opisuje swoje zachowanie - test
rejestruje samopis typowego
zachowania (inwentarze, ankiety,
arkusze biograficzne).

Rodzaje testów

3). Test, w którym jednostka jest

obserwowana w specyficznej sytuacji
lub ogólniej - w wielu określonych
sytuacjach - test rejestruje dane
obserwacyjne typowego zachowania
lub wykonania zadania w naturalnych
warunkach (próbki pracy zawodowej,
arkusze obserwacyjne, arkusze ocen,
arkusze szacowania cech).

Formalna klasyfikacja testów

 Testy jedno-skalowe – interpretacja w

terminach intensywności cechy
(diagnoza ilościowa) albo interpretacja
typologiczna (diagnoza jakościowa).

 Testy wielo-skalowe – interpretacja

profilu testowego (model cech
równorzędnych lub model
hierarchiczny), który może być
wykorzystany w diagnozie typologicznej
lub intraindywidualnej (różnicowej).

Rycina 1. Wyniki testowe,

pozwalające na diagnozę

intensywności cechy.

Wynik przeciętny – przeciętna intensywność

cechy

Wynik niski – mała intensywność cechy

Wynik wysoki – duża intensywność cechy

Rycina 2. Wyniki testu jedno-

skalowego do diagnozy

typologicznej.

Wyniki testu zbliżone do grupy „górnej”

Wyniki testu zbliżone do grupy „dolnej”

Ryc. 3. Wyniki testu wielo-skalowego,

służące do diagnozy profilowej (cechy

równorzędne).

Rycina 4. Wyniki testu wielo-

skalowego (model hierarchiczny).

Poszukiwanie Doznań

Poszukiwanie grozy i przygód

Poszukiwanie przeżyć

Wrażliwość na nudę

Rozhamowanie

Intraindywidualna diagnoza

różnicowa

Nie tylko porównania

międzyosobnicze, ale także
wewnątrzosobnicze, np. werbalny i
niewerbalny IQ (diagnoza
ilościowa).

Historia testów (oraz

psychometrii)

 3000 lat p.n.e – testowanie w

chińskiej służbie cywilnej;

 1850-1900 – badania służb cywilnej

w USA;

 1900-1920 – rozwój testów zdolności

umysłowych (teoria
psychometryczna);

 1920-1940 – rozwój inwentarzy

osobowości (analiza czynnikowa);

Historia testów (oraz

psychometrii)

 1940-1960 – rozwój narzędzi do diagnozy

zainteresowań zawodowych oraz
psychopatologii;

 1960-1980 – rozwój narzędzi do diagnozy

neuropsychologicznej (item response
theory – „teoria odpowiadania na pozycje
testowe);

 Od 1980 – rozwój metody „adaptacyjnego

testowania komputerowego”
(computerized adaptative testing).

Historia najbardziej

popularnych testów



1905: Binet i Simon – pierwsza skala
inteligencji;



1906: Heymans i Wiersma – pierwsze
kwestionariuszowe badanie osobowości
(metoda szacowania);



1917: Woodworth – pierwszy inwentarz
osobowości (psychopatologia);



1927-1934: Strong/Kuder – pierwsze
narzędzia do badania zainteresowań
zawodowych;

Historia najbardziej

popularnych testów

 1939: Wechsler – Wechsler-Bellevue

Intelligence Scale (1997 - WAIS-III);

 1943: Hathaway i McKinley –

Minnesota Multiphasic Personality

Inventory (1989 - MMPI 2);

 1949: Cattell – 16 PF (Personality

Factors);

 1950 - 1990 – inwentarze Eysencka;
 1990 – 2000 – inwentarze do badania

Wieliej Piątki (Costa i McCrae).

Informacja o testach

 Standards for Educational and

Psychological Testing (1985 and

1999);

 Mental Measurements Yearbook

and Test Critiques;

Czasopisma presentujące

testy (oraz kwestie

psychometryczne)

 Psychometrika
 Educational and Psychological

Measurement

 Applied Psychological Measurement
 Journal of Educational

Measurement

 Journal of Educational Psychology
 Journal of Applied Psychology
 Personnel Psychology
 Journal of Consulting and Clinical

Psychology.

Jakie są zastosowania

testów?

Testy są stosowane w badaniach

naukowych i praktycznych:

a). przydatności zawodowej, która

wiąże się z:

- doborem zawodowym,
- poradnictwem zawodowym;
b). diagnostyce klinicznej;
c). diagnostyce zdolności specjalnych.

Zalety i wady testów

Testy „reprezentują najbardziej

wartościową i sprawiedliwą

technologię, umożliwiającą

podejmowanie wielu ważnych

decyzji o ludziach”, ale

jednocześnie „testowanie

psychologiczne jest bardzo

kontrowersyjne” (Murphy i

Davidshofer, 1989, s. 2).

Etyczne (kontroweryjne)

aspekty testowania

 Wpływ testowania na społeczeństwo

(różnice realne czy pozorne?,

efektywność czy równość?,

pomaganie czy ranienie ludzi?);

 Naruszenie prywatności (informacja o

życiu prywatnym, problem poufności

oraz udostępniania wyników testu);

 Sprawiedliwe użycie testu (równa

dostępność materiału testowego –

kwestie kulturowe, badanie osób

niepełnosprawnych).

Wykład 3

PSYCHOLOGICZNY,

METODOLOGICZNY,

PSYCHOMETRYCZNY I ETYCZNY

ASPEKT DIAGNOZY

PSYCHOLOGICZNEJ ZA POMOCA

METOD TESTOWYCH

Aspekty diagnostyki

testowej

Diagnostyka psychologiczna,

realizowana za pomocą testów
standaryzowanych, obejmuje:
aspekt

psychologiczny

,

metodologiczny

,

psychometryczny

oraz

etyczny

pomiaru.

Aspekt

psychologiczny

diagnozy

Związany jest z treścią psychologiczną

pomiaru i odnosi się on zatem do:

a). problemu badawczego wyznaczonego

przez cel diagnozy;

b). koncepcji (czy wiedzy)

psychologicznej, precyzującej, jakie cechy
psychologiczne są mierzone testem;

c). interpretacji i wniosków

psychologicznych formułowanych na
podstawie pomiaru testowego.

Aspekt

metodologiczny

diagnozy

Dotyczy formalnych reguł stosowania

testu: procedury badania, obliczania
wyników i transformacji na wyniki
standaryzowane oraz interpretacji
uzyskanych danych, a więc odnosi się
do procesu dochodzenia do diagnozy
psychologicznej. Aspekt
metodologiczny wiąże się z
wymaganiami standaryzacji,
obiektywności i normalizacji testu.

Aspekt

etyczny

diagnozy

Odnosi się do konsekwencji

życiowych i społecznych dla osoby
badanej, wynikających z pomiaru
testem. Problemy te obejmują:

a). stronniczość, która prowadzi do

dyskryminowania (lub
faworyzowania) określonych osób
lub grup społecznych, np. w postaci
seksizmu, rasizmu, itp.

Aspekt

etyczny

diagnozy

b). naruszenie wolności osobistej

(ujawnienie tajemnicy pomiaru testowego
osobom postronnym, niewłaściwy sposób
komunikowania wyników samej osobie
badanej, brak dobrowolności udziału w
badaniach lub brak możliwości rezygnacji
z badań w ich trakcie).

c). "etykietowanie" (stygmatyzowanie),

wynikające z ahumanistycznego celu
badania.

Aspekt

psychometryczny

diagnozy

1). konieczność uwzględniania we

wnioskowaniu wskaźników
psychometrycznych,
charakteryzujących dokładność czy
pewność diagnozy;

2). stosowania określonych procedur

matematycznych do oceny jakości i
poprawności pomiaru testowego,
wynikających z modeli
psychometrycznych i teorii pomiaru.

Wykład 4

SPECYFIKA POMIARU

RÓŻNICOWEGO W

PSYCHOLOGII - TESTY JAKO

NARZĘDZIA DO BADANIA

SPECYFIKI JEDNOSTKI

Cel pomiaru różnicowego w

psychologii

Celem pomiaru psychologicznego

jest różnicowanie ludzi - określenie
ich specyfiki na tle innych osób
(populacji odniesienia). Cel ten
może być realizowany na dwa
sposoby: podejście

idiograficzne

i

nomotetyczne

.

Podejście idiograficzne i

nomotetyczne

Celem podejścia

idiograficznego

jest

uchwycenie specyfiki jednostki porzez
wyodrębnienie cech,
charakterystycznych tylko dla niej i
wskutek tego wyróżniających ją z
populacji.

Celem podejścia

nomotetycznego

jest

określenie specyfiki jednostki poprzez
wskazanie charakterystycznego dla niej
nasilenia cech, wspólnych dla populacji.

Pomiar w psychologii -

definicja

Pomiar - proces

przyporządkowywania obiektom

określonych liczb w taki sposób,

aby specyficzne cechy tych

obiektów były odzwierciedlone

przez własności liczb

.

Pomiar (w psychologii) - proces

przyporządkowania liczb (tzn.

wyników testowych) osobom

badanym w taki sposób, aby

mierzone testem własności

psychologiczne tych osób były

odzwierciedlone przez własności

liczb

.

Pojęcie cechy

Cecha – zmienna osobowa, która

wykazuje międzyosobniczą
zmienność i wewnątrzosobniczą
stałość (czasową i sytuacyjną oraz
koherencję (spójność) wskaźników.
Nomotetyczna cecha jest zatem
zmienną ilościową - możliwy pomiar
na skali przedziałowej.

Rozkład normalny a pomiar

w psychologii

Cechy psychologiczne mają rozkład

normalny w populacji – jest zatem
oczywiste, że testy przeznaczone do
pomiaru tych cech powinny dostarczać
wyników o rozkładzie normalnym. Na
podstawie tego założenia „krzywa
normalna” jest traktowana jako model
rozkładu wyników testu (wartości ciągłe
i równe różnice pomiędzy wszystkimi
wartościami wyników testu).

Standardy porównań dla

pomiaru cech różnicowych

Dla różnicowych cech ilościowych

standardem (punktem odniesienia)
jest

średnia

rozkładu normalnego, a

zmienność definiowana jest poprzez

odchylenie standardowe

(lub

wariancję

) tego rozkładu (wynik

sumaryczny wyników pozycji jest dla
danej osoby jest informacją o
nasileniu jej cechy – cechy badanej
przez test).

Rycina 1. Rozkład normalny

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Średnia arytmetyczna

wyników testu

 X

i

M

o

= --------

N

Wariancja wyników testu

 (X

i

- M

o

)

2

S

o2

= -----------------

N

Odchylenie standardowe

wyników testu

 (X

i

- M

o

)

2

S

o

= 

-------------------

N

Charakterystyka rozkładu

normalnego

Wyniki standaryzowane
M

o

=0,00 oraz SD

o

=1,00, przy

czym M

o

=M

e

=M

mod

Rozkład symetryczny, wykazujący

odpowiednie zagęszczenie
wyników wokół średniej
(skośność - miara asymetrii oraz
kurtoza - miara zagęszczenia)

Charakterystyka rozkładu

normalnego

Znana jest częstość poszczególnych

wyników:

M

o

+ 1,00 - ok. 68% wyników

M

o

+ 2,00 - ok. 95% wyników

z = + 1,44 (15% wyników

dwustronnie)

z = + 1,96 (5% wyników dwustronnie)
z = + 2,58 (1% wyników dwustronnie)

Wniosek

Krzywa normalna jest używana jako

model rozkładu cech ilościowych w

populacji oraz jako statystyczny

model rozkładu wyników

testowych. Model „normalny”

wymaga „silnej” skali pomiarowej

(wg klasyfikacji Stevensa):

przedziałowej lub ilorazowej (nie

nominalnej czy porządkowej). W

psychologii tylko pomiar

interwałowy jest osiągalny, ale

skala ta wystarcza - testy oferują

zatem pomiar na tej skali).

Jak można osiągnąć wyniki

ilościowe w teście?

Zasadnicze pytanie to: jak test

musi być skonstruowany, aby

dostarczał wyników ilościowych

(informujących o intensywności

mierzonej cechy)?

Cel ten może zostać osiągnięty

jedynie poprzez wprowadzenie

wielu zadań do testu (test jest

zatem narzędziem obejmującym

wiele pozycji, a wynik testowy jest

uzyskany z wielu zadań).

Test jako narzędzie

obejmujące szereg pozycji

(zadań)

Argumenty:



pomiar ilościowy (różnicowanie osób
badanych)



minimalizacja błędu (czynnika losowego)



diagnoza jako efekt koincyndencji
zachowań



ogólność psychologiczna wyniku
testowego (a elementarność i
konkretność pozycji)

Rycina 2. Rozkład wyników

testu z jedną pozycją

0

0,25

0,5

0,75

1

0

1

Rycina 3. Rozkład wyników

testu z dwoma pozycjami

0

0,25

0,5

0,75

1

0

1

2

Rycina 4. Rozkład wyników

testu z dziesięcioma

pozycjami

0

0,25

0,5

0,75

0

1

2

3

4

5

6

7

8

9

10

Rycina 5. Rozkład normalny

wyników testu (wiele

pozycji)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Pomiar ilościowy

Rozkład wyników testu, podobnie

jak każdej pozycji, jest „normalny”

(dwumianowy lub dychotomiczny

rozkład normalny), ale większość

pozycji dostarcza danych

mierzonych na skali nominalnej –

poprzez zsumowanie wyników

pozycji wynik ogólny testu

odpowiada pomiarowi na skali

przedziałowej (z wieloma

kategoriami wyników, odmiennymi

dla różnych osób badanych).

Błąd pomiaru

Prawidłowa odpowiedź na każdą z

pozycji może być odgadnięta lub

uzyskana losowo - z tego względu

pomiar cechy za pomocą jednej

pozycji jest obciążony dużym

błędem (przypadkowości). Mało

prawdopodobne jest natomiast

otrzymanie wysokiego wyniku testu

wyłącznie na drodze zgadywania

(prawdopodobieństwo warunkowe

wielu losowych sukcesów w

przypadku testu z 10 zadaniami

wynosi tylko 0.00098).

Współwystępowanie

zachowań

Cecha jest własnością, która

uzewnętrznia się w różnych

zachowaniach, przy czym

współwystępowanie tych zachowań

jest specyficzne wyłącznie dla danej

cechy. Każda z form zachowania

może być charakterystyczna dla

wielu cech, ale ich kombinacja jest

specyficzna tylko dla danej cechy.

Współwystępowanie

zachowań

Diagnoza, że dana osoba posiada

daną cechę jest trafna jedynie, gdy

wykazuje ona wszystkie

zachowania, charakterystyczne dla

tej cechy.

Informacja uzyskana za pomocą

jednej pozycji jest diagnostycznie

niepewna, ale wynik ogólny (z wielu

pozycji, badających różne formy

zachowania) jednoznacznie

wskazuje na określoną cechę

(badaną przez test).

Ogólna „natura” cechy

Cecha jest własnością ogólną, która

uzewnętrznia się w różnych

zachowaniach i sytuacjach. Każda z

form zachowania informuje o

specyficznym aspekcie cechy,

wszystkie razem zaś o cesze jako

własności ogólnej. Każda z pozycji

bada zatem specyficzną formę

zachowania, zaś wynik ogólny w

teście – ogólną tendencję

(niespecyficzną dla określonej

sytuacji lub formy zachowania).

Wynik testu a wyniki pozycji

Test musi zatem zawierać wiele

pozycji, a wynik testu powinien być
kombinacją wyników wszystkich
pozycji (zazwyczaj jest definiowany
jako suma ważonych lub nieważonych
wyników poszczególnych pozycji). W
efekcie wszystkie własności testu jako
całości zależą wprost od wyników
poszczególnych pozycji (oraz ich
interkorelacji).

Średnia testu a średnia

pozycji

Wynik testu jako suma wyników

poszczególnych pozycji (wyniki zero-
jedynkowe: rozwiązane dobrze vs błędnie)

Średnia wyników pozycji:

M

i

= p

Średnia wyników testu:

M

o

=  M

i

Tabela 1. Test z losowymi odpowiedziami (6 pozycji, 14 ob.).

Tabela 2. Dane z badania skalą E z EPQ-R(24) (6 pozycji, 14 o.b.).

Przykład: Średnia testu jako

suma średnich pozycji

Średnia testu z odpowiedziami

losowymi:

M=3,21
Suma średnich pozycji:
0,50+0,50+0,43+0,57+0,64+0,57 =

3,21

Średnia testu psychologicznego:
M=3,00
Suma średnich pozycji:
0,57+0,86+0,43+0,21+0,21+0,71=3,

00

Wniosek

W każdym wypadku średnia

wyników testu jest równa sumie

średnich pozycji. Nowa pozycja

dodana do testu prowadzi do

wzrostu średniej wyników testu

(bez względu na korelację tej

pozycji z innymi pozycjami). W

przypadku pozycji o ekstremalnej

trudności (rozwiązanej przez

wszystkie o.b. – pozycja „łatwa” lub

nie rozwiązanej przez żadną z o.b. –

pozycja „trudna”) średnia testu

również wzrośnie (o wartość

średniej równej 1 albo 0).

Wariancja testu a wariancja

pozycji

Wynik testu jako suma wyników pozycji

(wyniki zero-jedynkowe)

Wariancja pozycji:

S

i2

= p q

Wariancja wyników testu:

S

o2

=  S

i2

+ 2  r

ij

S

i

S

j

Wariancja testu a wariancja

pozycji

Wzór na wariancję wyników testu jako

sumy wyników pozycji jest
rozwinięciem dwumianu Newtona:

(a+b)

2

= a

2

+ b

2

+ 2ab

Liczba wyrażeń kowariancyjnych:

k = [j (j - 1)] / 2

Współczynnik korelacji r-

Pearsona

Korelacja jest miarą współzmienności

(związku dwóch zmiennych)

 (X

i

- M

i

) (X

j

- M

j

)

r = ----------------------------

N S

i

S

j

Przykład: Wariancja testu

jako suma wariancji pozycji

Wariancja testu z odpowiedziami

losowymi:

S

o

2

=1,45

Suma wariancji pozycji:
0,25+0,25+0,24+0,24+0,23+0,24 =

1,45

Wariancja testu psychologicznego:
S

o

2

=2,29

Suma wariancji pozycji:
0,17+0,12+0,24+0,24+0,17+0,20 =

1,14  2,29

Przykład: Wariancja testu

jako suma wariancji pozycji

Przeciętna interkorelacja pozycji w

teście losowym jest równa zero, z

zatem kowariancja jest także równa

zero.

Przeciętna interkorelacja pozycji w

teście psychologicznym jest równa

0,21 (przeciętne S

o

=0,43), a zatem

podwojona kowariancja =

2*15*0,21*0,43*0,43= 1,16

Wariancja ogólna = 1,14+1,16 =

2,30  2,29

Test losowy jest przypadkiem

szczególnym testu z zerową

kowariancją.

Wniosek

W każdym wypadku wariancja testu

jest równa sumie wariancji pozycji

oraz ich podwojonych kowariancji.

Nowa pozycja dodana do testu

zwiększa wariancję całkowitą tylko

wtedy, gdy wariancja pozycji nie

jest równa zero (nie ma sensu

dodawania pozycji o zerowej

wariancji, bowiem wydłuża to test,

zaś różnice między wynikami

testowymi pozostają takie same).

Wniosek

Nowa pozycja dodana do testu

zwiększa znacznie wariację

całkowitą, jeśli interkorelacje nowej

pozycji z innymi pozycjami są

dodatnie, ponieważ generuje to

duże dodatnie kowariancje.

Dodanie pozycji z zerowymi

korelacjami zwiększa tylko trochę

wariancję całkowitą (bo generuje

zerowe kowariancje). Dodanie zaś

pozycji o ujemnych korelacjach z

innymi pozycjami obniża wariancję

całkowitą (ujemne kowariancje).

Wniosek

Tylko pozycje z niezerowymi

wariancjami oraz wysokimi

pozytywnymi korelacjami powinny

być dodawane do testu – znacznie

zwiększają one wariancję całkowitą

(uzyskanie dużego zróżnicowania

wyników testu jest celem pomiaru

różnicowego). Dodatnie korelacje

oznaczają także, że pozycje mierzą

tę samą cechę - generują one

realną, a nie losową zmienność.

Rozkład normalny wyników

testu

Charakterystyka testu jako całości

zależy od charakterystyki pozycji -
wady pozycji (lub ich niewłaściwa
kompozycja) decydują o wadach
rozkładu wyników oraz zaburzeniu
relacji między wynikami testu a
nasileniem cechy.

Rycina 6. Rozkład normalny

wyników testu

(mezokurtyczny)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 7. Rozkład

leptokurtyczny

(symetryczny, zbyt duża

kurtoza)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 8. Rozkład

platokurtyczny

(symetryczny, zbyt mała

kurtoza)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 9. Rozkład

dwumodalny

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 10. Rozkład

lewoskośny (ujemnie

asymetryczny)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 11. Rozkład

prawoskośny (dodatnio

asymetryczny)

0

0,25

0,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 12. Relacja test a cecha w

rozkładach: normalnym oraz lewo- i

prawoskośnym

-3,5

-2,5

-1,5

-0,5

0,5

1,5

2,5

3,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Rycina 13. Relacja test a cecha w

rozkładzie normalnym oraz

rozkładach o wadliwej kurtozie

-3,5

-2,5

-1,5

-0,5

0,5

1,5

2,5

3,5

-3 -2,5 -2 -1,5 -1 -0,5 0

0,5

1

1,5

2

2,5

3

Własności pozycji

doskonałego testu

Test doskonały powinien zawierać

pozycje o identycznych
własnościach statystycznych
(średnich, wariancjach oraz
korelacjach z innymi pozycjami). W
takim wypadku wszystkie pozycje
byłyby diagnostycznie równoważne
(wnosiłyby tę samą wariancję do
wyników testu), a rozkład wyników
testu byłby normalny (skala
pomiarowa: ciągła i prostoliniowa).

Jak uzyskać rozkład

normalny?

Rozkład normalny wyników testu:

kompozycja pozycji o przeciętnej
trudności i przeciętnych dodatnich
interkorelacjach albo o zróżnicowanej
trudności (równomiernie wg
kontinuum trudności) i przeciętnych
interkorelacjach - inne rozkłady można
uzyskać dobierając pozycje pod
względem jednego z obu parametrów.

Wskaźnik trudności pozycji

 Dychotomiczna punktacja (0 – 1

punkt):

Trudność = M

i

= p

 Skala Likerta (od zera to kilku

puntów):

Trudność = M

i

/ maksymalny

możliwy wynik w danej

skali

(w celu obliczenia wskaźnika

trudności pozycji (czy nawet testu)

niezbędne jest zakotwiczenie

wyniku minimalnego w wartości

„zerowej”).

Relacja między różnymi

wskaźnikami pozycji

 Relacja między średnią pozycji

(trudnością) a wariancją pozycji

jest krzywoliniowa (w formie

odwróconego „U”) – wariancja jest

większa w przypadku pozycji o

przeciętnej trudności.

 Relacja między średnią (trudnością)

a korelacją pozycji z innymi

pozycjami jest także krzywoliniowa

(odwrócone „U”) - korelacja jest

większa dla pozycji o przeciętnej

trudności.

Jak uzyskać inne rozkłady

wyników testu?

Założenie - manipulowanie

interkorelacjami albo wskaźnikami
trudności:

1. wszystkie pozycje o identycznej

przeciętnej trudności oraz
manipulowanie interkorelacjami
(stały wzrost oraz początkowo
obniżenie do zerowych, później
ujemne);

2. wszystkie pozycje o identycznych

stałych interkorelacjach oraz
manipulowanie wskaźnikami
trudności.

Jak uzyskać inne rozkłady?

Założenie: wszystkie pozycje

identyczna przeciętna trudność
oraz zmiana interkorelacji - stały
wzrost oraz początkowo obniżenie
do zerowych, później ujemne albo
dobór pozycji o zróżnicowanej
średniej a stałych interkorelacjach.

Rycina 12a. Zmiana kształtu

rozkładu - wzrost interkorelacji

12 pozycji testu

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 12b. Rozkład

platokurtyczny

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 12c. Rozkład

dwumodalny

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 12d. Rozkład „U”-

kształny

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 12e. Rozkład dychotomiczny

(dwumianowy) - efekt końcowy i

krańcowy

0

0,25

0,5

0,75

1

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 13a. Zmiana kształtu

rozkładu - ujemne interkorelacje

pozycji

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 13b. Rozkład

leptokurtyczny

0

0,25

0,5

0

1

2

3

4

5

6

7

8

9

10 11 12

Rycina 13c. Rozkład

jednomianowy (efekt końcowy i

krańcowy)

0

0,25

0,5

0,75

1

0

1

2

3

4

5

6

7

8

9

10 11 12

Kompozycja pozycji w innych

rozkładach niż normalny (ad.

1)

Pozycje o identycznej trudności (a

zróżnicowanych interkorelacjach):

 Rozkład leptokurtyczny – zerowe

lub ujemne interkorelacje między

pozycjami.

 Rozkład platokurtyczny – zbyt

wysokie dodatnie korelacje między

pozycjami.

Kompozycja pozycji w innych

rozkładach niż normalny (ad.

2)

Pozycje o różnej trudności (a

identycznych pozytywnych

interkorelacjach):

 Rozkłady skośne –

nadreprezentacja pozycji „łatwych”

lub „trudnych”.

 Rozkład leptokurtyczny – „łatwe”

oraz „trudne” pozycje (brak pozycji

o przeciętnej trudności).

 Rozkład platokurtyczny -

nadreprezentacja pozycji o

przeciętnej trudności.

Wniosek

Kurtoza

(zagęszczenie wyników

wokół średniej) zależy zatem

zarówno od interkorelacji, jak i

trudności pozycji, zaś

skośność

głównie od trudności pozycji.

Niewłaściwa kombinacja pozycji

powoduje zatem uzyskanie

rozkładu o własnościach

odbiegających od charakterystyki

rozkładu normalnego.

Wniosek końcowy

Test powinien zawierać wiele

pozycji, zaś własności pozycji
wyznaczają podstawowe
charakterystyki rozkładu wyników
testu (kształt rozkładu wyników).
Rozkład wyników testu powinien
być normalny, bowiem tylko taki
test pozwala na przyjęcie założenia
o liniowej relacji między wynikami
testu a „latentną”cechą.

Wykład 5

RZETELNOŚĆ POMIARU TESTEM -

PODSTAWOWE POJĘCIA

Pojęcie rzetelności pomiaru

Rzetelność

oznacza dokładność

(precyzję) pomiaru cechy badanej
przez test; rzetelność ma dwa
aspekty - stabilność pomiaru
(powtarzalność wyników badania)
oraz konsystencję (precyzję
pomiaru).

Błąd pomiaru

Pojęcie rzetelności jest

bezpośrednio powiązane z pojęciem
błędu pomiaru – nie istnieje pomiar
bez błędu (zarówno w badaniach
naukowych, jak i w praktyce czy
ocenach prywatnych. Im większy
jest błąd, tym mniejsza jest
rzetelność pomiaru danym
narzędziem.

Konsekwencje błędu pomiaru

Błąd obniża precyzję pomiaru – w

miejsce wyniku prawdziwego osoba
badana uzyskuje wynik
zniekształcony przez błąd – w
konsekwencji osobowość czy
inteligencja osoby badanej nie
może być precyzyjnie oceniona.

Źródła błędu pomiaru w

badaniach testowych

 Ogólne charakterystyki osoby

badnaej (techniki wypełniania testu
lub zdolność rozumienia instrukcji)

 Specyficzne charakterystyki osoby

badanej dotyczące testu jako
całości (umiejętności specyficzne
dla danego testu czy szczególnej
formy pozycji lub stylów
odpowiadania oraz pozycji
testowych (odmienne oswojenie się
z

Źródła błędu pomiaru w

badaniach testowych

różnymi pozycjami, znajomość

specyficznego zachowania lub
sytuacji).

 Ogólne czynniki osoby badanej o

incydentalnym charakterze
(zdrowie, zmęczenie, motywacja,
napięcie emocjonalne, warunki
zewnętrzne – światło, hałas,
temperatura, itp.).

Źródła błędu pomiaru w

badaniach testowych

 Specyficzne czynniki osoby badanej

związane z badaniem testowym
(specjalne triki w radzeniu sobie z
zadaniami, rozumienie
specyficznych zadań, poziom
wyćwiczenia specyficznych
umiejętności) oraz z pozycjami
testowymi (fluktuacje pamięci i
uwagi).

Źródła błędu pomiaru w

badaniach testowych

 Czynniki związane z badaniem

testowym (systematyczne lub
incydentalne): warunki testowania
(brak dystraktorów, jasność
instrukcji, łatwość dostosowania się
do limitu czasu, itp.), interakcja
płci, osobowości osoby badanej i
badającej, itp., zniekształcenia w
ocenie zachowania oraz czynniki
czysto losowe (zgadywanie).

Błąd jako czynnik losowy

Błąd jest efektem wpływu wielu

niekontrolowanych i
nieprzewidywalnych czynników
(wewnętrznych i zewnętrznych) na
zachowanie, które powodują, że
reakcje osoby badanej stają się
nieprzewidywalne i niespójne z
innymi formami zachowania.
Kombinacja tych czynników jest tak
zawikłana, że przyjmuje się, iż błąd
ma charakter losowy (błąd jest
losowy).

Teorie rzetelności pomiaru

Dwa modele psychometryczne

opisują błąd pomiaru i rzetelność
pomiaru:

Klasyczna Teoria Testów

(Gulliksen, 1950 oraz Lord i Novick,
1968) oraz

Teoria odpowiadania na

pozycje Testowe

. Nowoczesną

formą KTT jest

Teoria Wyników

Generycznych.

Podstawowe założenia

Klasycznej Teorii Testów

Wynik testowy jest efektem dwóch

czynników:

 Czynników, które wpływają na

konsystencję zachowania – cechy
psychologicznej;

 Czynników, które wpływają na

niespójność zachowania – zmienne
te wyznaczają reakcje osoby
badanej, ale nie mają nic
wspólnego z badaną cechą.

Podstawowe pojęcia

Klasycznej Teorii Testów

W odniesieniu do wyniku testowego:
 Obserwowany (otrzymany) wynik

testu;

 Wynik prawdziwy;
 Błąd pomiaru.
W odniesieniu do wariancji wyników

testu:

 Wariancja wyników otrzymanych;
 Wariancja wyników prawdziwych;
 Wariancja błędu.

Twierdzenie 1

X

o

= X

p

+ X

b

(Wynik testu obejmuje wynik

prawdziwy i błąd pomiaru)

Aksjomaty

Aksjomat 1:

M

b

= 0

(Średnia błędów pomiaru jest równa zero).

Aksjomat 2:

R

pb

= 0

(Wynik prawdziwy i błąd są nieskorelowane).

Aksjomat 3:

R

bb

= 0

(Błędy różnych pomiarów są nieskorelowane).

Twierdzenie 2

M

o

= M

p

+ M

b

= M

p

(Średnia wyników otrzymanych jest

równa średniej wyników prawdziwych

testu; średnia wyników otrzymanych nie

jest zniekształcona przez błąd).

Twierdzenie 3

S

o2

= S

p2

+ S

b2

(Wariancja wyników otrzymanych jest równa

sumie wariancji wyników prawdziwych oraz

wariancji błędu; nie ma kowariancji

pomiędzy wynikami prawdziwymi oraz

błędem; wariancja wyników otrzymanych

jest zniekształcona przez błąd).

Twierdzenie 4

S

p2

S

b2

R

tt

= -----

lub

R

tt

= 1-

------

S

o2

S

o2

(Rzetelność pomiaru testem)

Interpretacja współczynnika

rzetelności

Współczynnik rzetelności jest

proporcją wariancji wyników
prawdziwych do wariancji wyników
otrzymanych lub proporcją
wariancji błędu do wariancji
wyników otrzymanych,
odejmowanej od jedności.
Współczynnik rzetelności wskazuje
jaka część wariancji wyników
otrzymanych wynika z błędu lub
zmienności wyników testu
(niespójności odpowiedzi
testowych).

Twierdzenie 5

S

bp

= S

o

 (1 -

R

tt

)

(Standardowy błąd pomiaru

wyników otrzymanych)

Interpretacja standardowego

błędu wyników otrzymanych

Standardowy błąd pomiaru wyników

otrzymanych to odchylenie

standardowe rozkładu wyników badania

danej osoby nieskończenie wiele razy

lub badania danej osoby nieskończoną

liczbą testów równoległych (granice w

jakich może lokować się faktyczny

wynik osoby badanej). Średnia tego

rozkładu stanowi wynik prawdziwy, a

odchylenie standardowe – standardowy

błąd pomiaru.

Interpretacja standardowego

błędu wyników otrzymanych

Wielokrotne badanie jednej osoby

nie jest możliwe (ze względu na
motywację oraz pamięć) – z tego
względu rozkład błędów pomiaru u
wszystkich osób badanych jest
brany pod uwagę (nie ma istotnej
różnicy pomiędzy efektami
losowymi w grupie wielu osób
badanych jednorazowo oraz
wielokrotnym badaniem jednej
osoby – ten sam model czynników
losowych).

Interpretacja standardowego

błędu wyników otrzymanych

Standardowy błąd pomiaru

wskazuje zakres wyników, w
obrębie którego lokuje się wynik
prawdziwy osoby badanej (z
określonym
prawdopodobieństwem) i jest
identyczny dla wszystkich osób
badanych (niezależnie od wyniku
otrzymanego).

Interpretacja standardowego

błędu wyników otrzymanych

Standardowy błąd pomiaru jest

stosowany do wyznaczania

przedziału ufności

dla wyniku

prawdziwego z określoną
pewnością (0,99, 0,95 czy 0,85 – S

em

musi być pomnożony przez wartość
„z” rozkładu normalnego, czyli =
2,58, 1,96 lub 1,44).

Testy równoległe - pojęcie

Testy równoległe:

M

1

= M

2

, S

12

= S

22

(mierzą tę samą cechę z taką samą dokładnością).

Testy równoważne:

M

1

= M

2

(mierzą tę samą cechę, ale nie tak samo dokładnie).

Testy quasi-równoważne:

M

1

= M

2

+ c

(mierzą tę samą cechę wraz z dodatkowym

czynnikiem).

Zastosowania koncepcji

testów równoległych

 Koncepcja testów równoległych lub

pomiarów równoległych jest
stosowana w większości metod
oceny rzetelności pomiaru testem
(równoległość jest warunkiem
niezbędnym).

 Koncepcja testów równoległych

była punktem wyjścia dla teorii
wyników generycznych (teoria
uniwersalizacji).

Teoria uniwersalizacji

Teoria uniwersalizacji (wyników

generycznych) wykorzystała
koncepcję testów równoległych (np.
test egzaminacyjny na prawo jazdy),
co pozwoliło zrezygnować z
nietestowalnych założeń i twierdzeń
na rzecz obserwowalnych zależności
(błędy mogą być skorelowane i może
to być empirycznie stwierdzone).

Wykład 6

SZACOWANIE RZETELNOŚCI

POMIARU TESTEM: METODY I

WSKAŹNIKI

Metody szacowania

rzetelności pomiaru testem

Zgodność wewnętrzna

Stabilność czasowa

Metoda testów równoległych

Zgodność wewnętrzna

Metoda metoda zgodności połówkowej

(założenie równoległości połówek testu)

Metoda zgodności wewnętrznej przy

podziale testu na wiele części
(założenie równoległości wszystkich
części testu)

Metoda zgodności wewnętrznej

wykorzystująca analizę wariancji

Metoda zgodności

połówkowej - wzór Rulona

S

r2

R

tt

= 1 - ------

S

t2

gdzie S

t2

to wariancja wyników całego

testu, a S

r2

to wariancja różnicy

wyników obu połówek testowych

Metoda zgodności

połówkowej - wzór Guttmana

(S

a2

+ S

b2

)

R

tt

= 2 [ 1 - --------------- ]

S

t2

gdzie S

t2

to wariancja wyników całego

testu, a S

a2

i S

b2

to wariancje połówek

testowych

Metoda zgodności połówkowej -

wzór „proroczy” Spearmana -

Browna

N R

tt

R

tt

n = ---------------------

1 + [ (N - 1) R

tt

]

gdzie R

tt

n - to rzetelność testu po

przedłużeniu, N - wielkość (krotność)
przedłużenia, a R

tt

- rzetelność testu

przed przedłużeniem (w miejsce
współczynnika rzetelności można
wstawiać współczynnik korelacji między
połówkami testowymi)

Metoda zgodności wielu

części testu - wzór Kudera-

Richardson

N (S

t2

-  S

i2

)

KR-20: R

tt

= -------

---------------
N - 1

S

t2

gdzie N - liczba części testu, S

t2

- to

wariancja wyników całego testu, a 

S

i2

to suma wariancji części testu

Metoda zgodności wielu

części testu - wzór alfa

Cronbacha

N  S

i2

 = --------

(1 -

-------)

N - 1 S

t2

gdzie N - liczba pozycji testu, S

t2

- to

wariancja wyników całego testu, a  S

i2

to suma wariancji pozycji testu

Metoda zgodności wielu

części testu - analiza

wariancji

Wiele podejść - najprostsza metoda

Hoyta

wariancja między osobami - war. błędu

R

tt

=

-----------------------------------------------------
-
wariancja między osobami

Tabela 3. Test z losowymi odpowiedziami.

Pozycja/

osoba

1

2

3

4

5

6

Suma

1-6

Suma

1-3

Suma

4-6

Kwad-

rat

różnic

1

0

0

0

0

0

0

0

0

0

0

2

0

0

0

0

1

0

1

0

1

1

3

1

0

1

0

1

0

3

2

1

1

4

0

1

0

1

0

1

3

1

2

1

5

0

1

0

1

0

1

3

1

2

1

6

1

1

0

0

0

1

3

2

1

1

7

1

0

1

1

1

0

4

2

2

0

8

0

0

1

1

1

1

4

1

3

4

9

1

1

1

0

1

0

4

3

1

4

10

1

1

0

0

1

1

4

2

2

0

11

0

1

1

1

0

1

4

2

2

0

12

1

0

0

1

1

1

4

1

3

4

13

0

0

1

1

1

1

4

1

3

4

14

1

1

0

1

1

0

4

2

2

0

M

0,50

0,50

0,43

0,57

0,64

0,57

3,21

1,43

1,79 -0,36

SD

0,50

0,50

0,49

0,49

0,48

0,49

1,21

0,82

0,86

1,37

SD

2

0,25

0,25

0,24

0,24

0,23

0,24

1,45

0,67

0,74

1,17

Tabela 4. Dane z badania skalą E z EPQ-R(24).

Pozycja/

osoba

1

2

3

4

5

6

Suma

1-6

Suma

1-3

Suma

4-6

Kwadr

at

różnic

1

0

0

0

0

0

0

0

0

0

0

2

0

1

0

0

0

0

1

1

0

1

3

0

1

0

0

0

1

2

1

1

0

4

0

1

0

0

0

1

2

1

1

0

5

0

1

0

0

0

1

2

1

1

0

6

0

1

0

1

0

1

3

1

2

1

7

0

1

0

1

0

1

3

1

2

1

8

0

1

1

1

0

0

3

2

1

1

9

1

0

0

1

1

0

3

1

2

1

10

0

1

1

1

0

1

4

2

2

0

11

0

1

1

1

0

1

4

2

2

0

12

0

1

1

1

0

1

4

2

2

0

13

1

1

1

0

1

1

5

3

2

1

14

1

1

1

1

1

1

6

3

3

0

M

0,21

0,86

0,43

0,57

0,21

0,71

3,00

1,50

1,50

0,00

SD

0,41

0,35

0,49

0,49

0,41

0,45

1,51

0,82

0,82

0,65

SD

2

0,17

0,12

0,24

0,24

0,17

0,20

2,29

0,68

0,68

0,43

Podstawowe statystyki

połówek testowych

Test losowy:
Średnia korelacji pozycji r

1-6

= 0,00

Średnie odchylenie standardowe SD

1-

6

= 0,49

Korelacja połówek r

12

= 0,03

Test psychologiczny:
Średnia korelacji pozycji r

1-6

= 0,21

Średnie odchylenie standardowe SD

1-

6

= 0,43

Korelacja połówek r

12

= 0,68

Podstawowe statystyki

połówek testowych

Test losowy:
M

1

= 1,43 i M

2

= 1,79 – połówki nie są

równoległe (średnia różnic nie jest

równa zero, co wskazuje na

istnienie systematycznej wariancji

między połówkami – w miejsce

wariancji średnia kwadratu różnic

powinna być użyta).

Test psychologiczny:
M

1

= 1,50 i M

2

= 1,50 – połówki są

równoległe (nie ma znaczenia jaka

statystyka będzie użyta).

Rzetelność połówkowa testu

losowego

Rulona R

tt

= 1 - (1,17/1,45)= 0,19

(wariancja)

Rulona R

tt

= 1 - (1,50/1,45) = -0,03 

0,00 (kwadrat różnic)

Guttmana R

tt

= 2*[1-

(0,67+0,74)/1,45] = 0,06

Kudera-Richardson KR-20 =

(2/1)*[(1,45-1,41)/1,45 = 0,06

Spearmana-Browna R

ttn

= (2*0,03)/

(1+0,03)=0,06

Rzetelność testu losowego

– poziom pozycji (oraz

S

bp

)

Alfa Cronbacha:
 = (6/5)*[1-(1,45/1,45)]=0,00
Spearmana-Browna:
R

ttn

= (6*0,00)/[1+5*0,00)=0,00

Standardowy błąd pomiaru
S

bp

= S

o

*(1 - R

tt

)= 1,25*(1- 0,00) =

1,25, co oznacza, że S

bp

= S

o

.

Rzetelność połówkowa testu

psychologicznego

Rulona R

tt

= 1 - (0,43/2,29) = 0,81

(wariancja)

Rulona R

tt

= 1 - (0,43/2,29) = 0,81

(kwadrat różnic)

Guttmana R

tt

= 2*[1-

(0,68+0,68)/2,29] = 0,81

Kudera-Richardson KR-20 =

(2/1)*[(2,29-1,36)/ 2,29 = 0,81

Spearmana-Browna R

ttn

= (2*0,68)/

(1+0,68)=0,81

Rzetelność testu

psychologicznego - pozycje

Alfa Cronbacha:
 = (6/5)*[1-(1,14/2,29)]=0,60
Spearmana-Browna:
R

ttn

= (6*0,21)/[1+5*0,21)=0,61

Obserwacja

Ocena rzetelności metodami

połówek testowych prowadziła do
osiągnięcia współczynnika
rzetelności rzędu 0,81, zaś ocena
rzetelności metodą zgodności
pozycji tylko współczynnika rzędu
0,60 (zwłaszcza wzór Spearmana-
Browna dał odmienne wyniki).
Powstaje pytanie - dlaczego?
Wydaje się, że połówki testowe nie
były w pełni reprezentatywne dla
całego testu.

Podział

Pozycje w każdej

połówce

M

1

M

2

S

1

2

S

2

2

r

R

ttn

S-B

Gutma

nna

R

tt

1

1-2-3 vs 4-5-6

1,50

1,50

0,68

0,68

0,68

0,81

0,81

2

1-2-4 vs 3-5-6

1,64

1,36

0,52

0,80

0,75

0,86

0,85

3

1-2-5 vs 3-4-6

1,29

1,71

0,63

1,06

0,36

0,53

0,52

4

1-2-6 vs 3-4-5

1,79

1,21

0,60

1,03

0,42

0,59

0,58

5

1-3-4 vs 2-5-6

1,21

1,79

1,03

0,60

0,42

0,59

0,58

6

1-3-5 vs 2-4-6

0,86

2,14

1,12

0,84

0,17

0,29

0,29

7

1-3-6 vs 2-4-5

1,36

1,64

0,80

0,52

0,75

0,86

0,85

8

1-4-5 vs 2-3-6

1,00

2,00

1,00

1,00

0,14

0,25

0,25

9

1-4-6 vs 2-3-5

1,50

1,50

0,68

0,68

0,68

0,81

0,81

10

1-5-6 vs 2-3-4

1,14

1,86

0,84

0,98

0,26

0,41

0,41

Tabela 5. Wszystkie możliwe podziały połówkowe skali E z EPQ-R(24).

Wnioski

 Tylko podziały nr 1 oraz 9

prowadziły do uzyskania
równoległych połówek testu, co
oznacza, że wybrany podział
prowadził do „zyskiwania na
przypadku”.

 Średnia współczynnika Guttmanna

była równa 0,60 – tę samą wartość
dała alfa Cronbacha (alfa jest
równa średniej wszystkich
podziałów testu na połowy lub ich
większej części).

Standardowy błąd pomiaru

testu psychologicznego

Standardowy błąd pomiaru:
S

bp

= 1,51*(1-0,60) = 0,96

Półprzedział ufności:
S

bp95%

= 1,96*S

bp

= 1,88, z zatem

przedział ufności jest równy S

o

+

1,88 (wynik prawdziwy osoby
badanej mieści się w przedziale ->
wynik otrzymany + ok. 2 punkty, z
pewnością 95%).

Stabilność czasowa

Stabilność

bezwzględna

(powtórny

pomiar tym samym testem)

Stabilność

względna

(powtórny

pomiar wersją równoległą testu)

Forma oboczna -

test-retest

(pomiar tym samym testem raz po
razie)

Założenia metod z

powtarzanym pomiarem

Podstawowe założenie – oba

pomiary są równoległe.

Wskaźnikiem rzetelności jest

zwykły współczynnik korelacji

Pearsona lub współczynnik Scotta-

Wertheimera.

W przypadku pomiarów quasi-

równoważnych (systematyczne

zmiany nasilenia mierzonej cechy)

tylko zwykła korelacja Pearsona

może być użyta.

Współczynnik korelacji

wewnątrzklasowej wg Scotta-

Wertheimera

 (X

1

- X

2

)

2

R

tt

= 1 - -----------------

2 N S

2(X1,X2)

gdzie X

1

oraz + X

2

to wyniki

pierwszego i drugiego badania, N -
liczba osób badanych, a S

2(X1,X2)

- to

wariancja wyników w obu badaniach)

Tabela 6. Stabilność czasowa skal PTS: bezwzględna

(po 2 tygodniach i 6 miesiącach oraz względna (po 2 tygodniach).

Współczynnik rzetelności

Siła

Procesu

Pobudzenia

Siła

Procesu

Hamowania

Ruchliwość

Procesów

Nerwowych

Alfa Cronbacha (19

pozycji)

0,83

0,73

0,81

Stabilność bezwzględna

(2 tygodnie)

0,76*

0,60*

0,78*

Stabilność bezwzględna

(6 miesięcy)

0,62*

0,53*

0,68*

Stabilność względna

(2 tygodnie)

0,63*

0,58*

0,58*

Metoda testów równoległych

Metoda testów równoległych wymaga

dwóch odrębnych testów - jest metodą
uogólnioną, łącząca zgodność
wewnętrzną oraz test-retest. W
metodzie tej wykorzystujemy
współczynnik korelacji Pearsona -
rzetelność pomiaru jest równa
współczynnikowi korelacji obu testów
równoległych (wielkości kowariancji
obu testów)

.

Czynniki wpływające na

rzetelność pomiaru

 Zakres (zmienność) wyników w

badanej próbie – współczynniki są
niższe w przypadku, gdy zmienność
w próbie jest mniejsza (lub osoby
badane mają zbliżone nasilenie
cechy). Należy pamiętać, że
współczynnik rzetelności oznacza
rzetelność różnic
interindywidualnych lub rzetelność
zróżnicowania osób badanych.

Czynniki wpływające na

rzetelność pomiaru

 Charakterystyka testu –

współczynniki są wyższe gdy test
zawiera dużo pozycji (z uwagi na
dużą liczbę kowariancji) oraz gdy
korelacje między pozycjami są
wysokie (z uwagi na to, że duża
proporcja wariancji całkowitej
wynika z kowariancji). Należy
pamiętać, że kowariancje są
traktowane jako źródło wariancji
prawdziwej.

Czynniki wpływające na

rzetelność pomiaru

 Metoda oszacowania rzetelności

pomiaru – współczynniki zgodności
wewnętrznej dają wyższe
oszacowanie rzetelności niż
współczynniki stabilności (z uwagi
na większą liczbę źródeł błędu).
Należy pamiętać, że testy o wyższej
zgodności wewnętrznej zwykle
wykazują też wyższą stabilność
czasową (poza testami badającymi
stany psychologiczne).

Kryteria akceptacji

rzetelności pomiaru testem

Zgodność wewnętrzna:
 Testy przeznaczone do diagnozy

indywidualnej - wartość minimalna

0,80, wartość optymalna – ponad

0,90.

 Testy przeznaczone do badań

naukowych - wartość minimalna

0,70, wartość optymalna – ponad

0,80

 Absolutna wartość minimalna

współczynnika rzetelności wynosi

0,50 (połowa wariancji wynika z

błędu).

Kryteria akceptacji

rzetelności pomiaru testem

Stabilność czasowa:
 Wartość minimalna = 0,50 (tylko

połowa zmienności wynika ze

zgodności wyników obu pomiarów).

Testy równoległe:
 Wartość minimalna = 0,50 (tylko

połowa zmienności wynika ze

zgodności wyników obu testów).

Rodzaj testu a wybór metody

szacowania rzetelności

 Testy zdolności – metody

połówkowe (z uwagi na różną
trudność pozycji, które nie są
równoległe).

 Inwentarze osobowości – alfa

Cronbacha lub KR-20 (zgodność
wewnętrzna na poziomie pozycji).

 Testy szybkości – metoda test-

retest lub metoda testów
równoległych.

Praktyczne wykorzystanie

oszacowania rzetelności

pomiaru

Na podstawie współczynnika rzetelności

pomiaru wyznaczany jest

standardowy

błąd pomiaru wyników otrzymanych

(symetryczny wokół wyniku otrzymanego
i asymetryczny dla wyniku prawdziwego)
albo

standardowy błąd estymacji wyniku

prawdziwego

(asymetryczny wokół

wyniku otrzymanego i symetryczny wokół
wyniku prawdziwego oraz o różnej
asymetrii dla poszczególnych wyników
otrzymanych)

Standardowy błąd pomiaru

wyniku otrzymanego

S

bp

= S

o

 (1 - R

tt

)

Standardowy błąd estymacji

wyniku prawdziwego

S

be

= S

bp

R

tt

a wynik prawdziwy:

X

e

= R

tt

X

o

+ (1 - R

tt

)

M

o

Wyznaczanie przedziału

ufności

W celu wyznaczenia przedziału

ufności należy wyznaczyć
półprzedział, tzn. S

bp

lub S

be

przemnożyć przez wartość 2,58
(99% pewność), 1,96 (95%
pewność) albo 1,44 (pewność 85%,
tj. 15% błąd oszacowania) oraz
dodać i odjąć od wyniku
otrzymanego lub oszacowanego
wyniku prawdziwego - granice
przedziału ufności.

Zastosowanie

standardowych błędów

pomiaru

 Błędy pomiaru służą do

wyznaczenia granic przedziału

ufności wokół wyniku otrzymanego

i przedziałowej estymacji wyniku

prawdziwego (w zakresie którego

mieści się – z określoną pewnością

wynik prawdziwy osoby badanej).

 Porównania wyniku danej osoby z

normą (średnią w grupie) czy inną

wartością (np. wynikiem

progowym).

Zastosowanie

standardowych błędów

pomiaru

 Porównania wyników dwóch osób

(różnice interindywidualne)

badanych tym samym testem (czy

różnica jest realna – wynika z cechy

czy jest spowodowana przez błąd?).

 Porównania wyników danej osoby

(różnice intraindywidualne)

badanej dwoma testami (czy

różnica jest realna – wynika z cechy

czy jest spowodowana przez błąd?).

Standardowy błąd różnicy

wyników

interindywidualnych

S

br

= S

o

 2 (1-R

tt

)

S

o

- odchylenie standardowe wyników

otrzymanych, R

tt

- współczynnik

rzetelności testu (wartość S

br

należy

przemnożyć przez określoną

wartość „z” w celu zbudowania

przedziału ufności).

Standardowy błąd różnicy

wyników

intraindywidualnych

S

br

= S

o

 2 - R

aa

- R

bb

S

o

- odchylenie standardowe wyników

otrzymanych w każdym z testów

(wyniki są wyrażone na identycznej

skali standardowej), R

aa

i R

bb

-

współczynniki rzetelności obu

testów (wartość S

br

należy

przemnożyć przez określoną

wartość „z” w celu zbudowania

przedziału ufności).