Analiza rzetelności skal

prostych i złożonych

Dr hab. inż. Jadwiga Stobiecka

Definicje trafności i rzetelności

• „Trafność jest to zintegrowany proces oceny stopnia, w jakim

dowody empiryczne i rozważania natury teoretycznej potwierdzają

adekwatność i poprawność interpretacji oraz programów działania

wyprowadzonych na podstawie wyników testowych czy innych

narzędzi pomiaru”

Pomiar jest trafny, gdy mierzymy to, co chcemy.

• rzetelność oznacza „ogólny termin związany z niezawodnością

przyrządu pomiarowego lub testu. Istotnym pojęciem jest tu

zgodność, czyli stopień, z jakim narzędzie pomiarowe lub test daje

w przybliżeniu te same rezultaty, kiedy stosowane jest ponownie w

podobnych warunkach” .

Pomiar jest rzetelny, gdy wyniki są powtarzalne,

w takich samych warunkach.

Analiza trafności i rzetelności skali

X = T + E

p

+ E

s

Błąd przypadkowy

Błąd systematyczny

Wynik prawdziwy

Wynik

obserwowany

rzetelność

trafność

E

S

Oczekiwania społeczne
Różnice kulturowe
Styl odpowiedzi
Efekt ankieterski
Czas pomiaru (sezonowość)

Systematyczny błąd pomiaru

E

P

Nastrój badanych
Wieloznaczność pytań
Sposób prezentacji pytania

Losowy błąd pomiaru

Rodzaje oceny rzetelności

• Dwukrotne badanie tym samym testem

(raz

po raz, test-retest

z odstępem czasu)

• Porównanie form równoległych testu

(raz

po raz, z

odstępem czasu)

• Porównanie części testu

(

połówek, k części)

• Analiza właściwości pozycji testowych -

zgodność wewnętrzna

(KR 20, KR 21,

α-

Cronbacha, analiza

wariancji według Winera,

Brzezińskiego lub inna)

• Analiza związku pozycji testowych z

wynikami

ogólnymi

• Zgodność sędziów kompetentnych w

ocenie

(

τ-Kendalla, W-Kendalla, analiza

wariancji lub inne metody)

Homogeniczność wewnętrzna

test

test

item 1

item 1

item 2

item 2

item 3

item 3

item 4

item 4

item 5

item 5

item 6

item 6

1.00

1.00

.89

.89

1.00

1.00

.91

.91

.92

.92

1.00

1.00

.88

.88

.93

.93

.95

.95

1.00

1.00

.84

.84

.86

.86

.92

.92

.85

.85

1.00

1.00

.88

.88

.91

.91

.95

.95

.87

.87

.85

.85

1.00

1.00

I

I

1

1

I

I

2

2

I

I

3

3

I

I

4

4

I

I

5

5

I

I

6

6

I

I

1

1

I

I

2

2

I

I

3

3

I

I

4

4

I

I

5

5

I

I

6

6

Średnia korelacja pozycja-pozycja

Średnia korelacja pozycja-pozycja

Średnia korelacja

Średnia korelacja pozycja-pozycja

pozycja-pozycja

.90

.90

Alfa - Cronbacha

S1 S2 S3 S4
S1 1,0 0,7 0,4 0,6
S2 0,7 1,0 0,6 0,8
S3 0,4 0,6 1,0 0,8
S4 0,6 0,8 0,8 1,0

Korelacje (kowariancje)
(część wariancji wspólnej z innymi zmiennymi)

Wariancje
(swoiste tylko danej zmiennej)

Wariancja wspólna Wariancja swoista

Rzetelność = ---------------------- = 1 - ------------------------- =
Wariancja całkowita

Wariancja całkowita







































 















k

i

k

i

k

i

k

k

1

1

1

cov

2

var

var

1

1



Całkowita wariancja skali S1-S4

wariancja swoista

wariancja całej skali

liczba pozycji (waga)

Ocena trafności

Rodzaje trafności

•

Teoretyczna

•

Treściowa

•

Zbieżna

•

Dyskryminacyjna

•

Predykcyjna

Rodzaje trafności

• Teoretyczna

– Zgodnośc pozycji skali z założeniami

teoretycznymi badanego pojęcia

• Treściowa

– Zgodnośc pozycji z zakresem dziedziny

semantycznej badanego pojęcia

• Zbieżna

-

Wysoka korelacja między daną skalą a inną

skalą mierzącą to samo zjawisko (cechę)

• Dyskryminacyjna

– Niska korelacja między daną skalą a

inną skalą mierzącą cechę nie związaną z badaną

• Predykcyjna

-

Wysoka korelacja między daną skalą a

zewnętrznym kryterium będącym w związku
przyczynowym skutkiem badanej cechy

Jak to

ocenić?

Wyniki analizy rzetelności

Dziękuję za uwagę

!