2011-11-23
Na tropach wyniku prawdziwego
 uzupełnienia, wyjaśnienia
i komentarze
O rzetelności, standardowych błędach
i estymacji przedziałowej raz jeszcze
Magnusson, 1981 i nast. wyd.,
rozdz. 6, zad. 8 i 9, czyli psychometryczny wariant
eksperymentu Luchinsa-Maruszewskiego
 POWTÓRKA Z ROZRYWKI
(ORAZ PSYCHOLOGII PROCESÓW POZNAWCZYCH!)
Niektóre przeszkody w rozwiązywaniu
problemów
 Problem: zadanie zredukowania rozbieżności
pomiędzy stanem początkowym
a oczekiwanym lub wymaganym stanem
koocowym, którego nie da się rutynowo rozwiązad
 Przeszkody w rozwiązywaniu problemów 
sztywnośd myślenia:
" błędne nastawienie (zob. m.in. Luchins, 1942;
Maruszewski, 1970; a także Falkowski, Maruszewski &
Nęcka, 2008)
" inne przejawy sztywności myślenia: inercja mentalna,
fiksacja funkcjonalna
1
2011-11-23
Błędne nastawienie  eksperyment
Maruszewskiego (1970)
" Zmodyfikowany wariant jednego z eksperymentów
Luchinsa
" Osoby badane  146 studentów psychologii
Błędne nastawienie  eksperyment Maruszewskiego
Pojemnośd naczyo ( dzbanów )
Zadanie Potrzebna ilośd wody
A B C
1 21 127 3 100
2 14 163 25 99
3 18 43 10 5
4 9 42 6 21
5 20 59 4 31
6 23 49 3 20
7 18 70 17 18
nr 1-7: B  A  2C
nr 6: A  C (30,1% odpowiedzi)
nr 7: A (69,9% odpowiedzi)
A co to ma do rzeczy?!
Zadanie 8 wytwarza pewne  nastawienie
z którym przystępujemy do rozwiązywania zadania 9:
2
se
rtt =�1-�
st2
A jednak jest to  nastawienie błędne...
Czyli zadanie 8 jest dystraktorem!
Zwłaszcza, jeśli zad. 9b rozwiązywad w kolejności przypadków:
(c), (b), (a)
2
2011-11-23
A więc o co chodzi w tym zadaniu??!
Krótkie przypomnienie fragmentu jednego
z poprzednich wykładów
Wyprowadzenie (4-5)
2
��T ej +� ��e Tj +� ��e ej
��T +� j j1 j1 2
j
2
rtt =�
Nst st Nst st Nst st Nst st
1 2 1 2 1 2 1 2
Me =� 0
2
st =� st =� st
1 2
��T
j
reT =� 0
rtt =�
Nst2
re e2 =� 0
1
Wyprowadzenie (4-5)
2
��T ej +� ��e Tj +� ��e ej
��T +� j j1 j1 2
j
2
rtt =�
Nst st Nst st Nst st Nst st
1 2 1 2 1 2 1 2
SEM(T)  BA

D POMIARU JEST SKORELOWANY
Z WYNIKIEM PRAWDZIWYM!
Me =� 0
2
st =� st =� st
1 2
��T
j
reT ą� 0
rtt ą�
Nst2
re e2 =� 0
1
3
2011-11-23
itd., a zatem
2
sT
rtt ą�
st2
czyli
2
se
rtt ą� 1-�
st2
więc
rtt =� ?
A zatem jeśli aksjomat reT = 0 nie jest
przyjmowany, to rzetelność testu jest
niedefiniowalna!
(przynajmniej w ten sposób...)
A zatem...
" Nieprzypadkowo ani w definicji SEM(T) , ani
w procedurze przedziałowej estymacji Tj
wykorzystującej ten rodzaj błędu
standardowego nie pojawia się współczynnik
rzetelności
" Co więcej, w KTT rzetelność jest
właściwością testu, a nie  wyniku
w teście!!
4
2011-11-23
Co więcej...
" W tym zaś przypadku dla każdego wyniku
test miałby inną  rzetelność
 pojmowaną jednak nieco inaczej niż klasycznie
(tj. jako stosunek wariancji błędu do wariancji
całkowitej)
" I (może?) dlatego dla zadania 9b
Magnusson nie podał odpowiedzi...
Co więcej...
" Prawidłowa odpowiedz
nie została też
wprowadzona do  gry komputerowej nr 3 ...
" Choć (chyba) z nieco innych powodów
  chyba", bowiem nieznane pozostają motywy
Magnussona...
 zwłaszcza, że podał dane liczbowe czyniące
zadanie 9b bądz
nierozwiązywalnym&
" wariancja błędu > wariancji całkowitej!!!
 bądz
wymagającym przyjęcia innego założenia
" se2 jako  wariancja rozkładu indywidualnych
błędów
Gdyby bowiem przyjąć&
... na mocy 2. aksjomatu Lorda i Novicka
(czyli twierdzenia o liniowej eksperymentalnej
niezależności wyniku prawdziwego od wyniku
otrzymanego)&
5
2011-11-23
..., że:
1. Wyrażenie ej odnosi się do średniej
rozkładu błędów pomiaru skorelowanych
z poszczególnymi wynikami prawdziwymi
2. Dla każdego wyniku prawdziwego istnieje
inny rozkład błędów (czyli inne odchylenie
standardowe błędu)
3. Rozkład tych odchyleń ma średnią, której
wartość zależy od liczby możliwych
wyników prawdziwych (czyli liczby itemów
w teście)
& , to bądz
:
" Rzetelność testu mogłaby być ujmowana jako
 przeciętna rzetelność (różnych rzetelności dla
różnych wyników)
2
" W równaniu
se
rtt =�1-�
st2
" wielkość se2 byłaby więc w istocie  proporcją
średniej wariancji rozkładu indywidualnych
błędów Me2 (zob. KR21)
 tj. odchyleń standardowych rozkładów błędów dla
poszczególnych wyników prawdziwych od 0 do k
MAA
A DYGRESJA&
6
2011-11-23
Wzór Kudera i Richardsona nr 21 (KR21)
 zgodność wewnętrzna (analiza statystycznych
właściwości itemów) 
jeden z estymatorów rzetelności testu
(por. następny wykład)
kM Mq
��
k
p
rtt =� ����1-�
( KR 21)
k -�1 st2 ��
Ł�ł�
19
KR21  założenia (i ich konsekwencje)
" Test mierzy jeden czynnik
" Interkorelacje itemów są równe
" Wariancje itemów są równe
" Itemy mają równą trudnośd
" Wiąże się z SEM(T)
 se2 jest wówczas  proporcją średniej wariancji
indywidualnych błędów (tzn. błędów skorelowanych
z poszczególnymi wynikami prawdziwymi)
 co skądinąd jest jednym z powodów niższej estymowanej
rzetelności testu
 drugim jest nierówna trudnośd itemów
POWRACAJ
C DO GA
ÓWNEGO
W
TKU&
7
2011-11-23
& , to bądz
:
" Rzetelność testu mogłaby być ujmowana jako
 przeciętna rzetelność (różnych rzetelności dla
różnych wyników)
" W równaniu
2
se
rtt =�1-�
st2
wielkość se2 byłaby więc w istocie  średnią
wariancją indywidualnych błędów Me2 (zob. KR21)
 tj. odchyleń standardowych rozkładów błędów dla
poszczególnych wyników prawdziwych od 0 do k
& , czyli:
2
k
ć�
��s ��
e(Tj )
����
j=�0
2 2
����
se =� Ms =�
e (T )
j
�� k ��
����
Ł�ł�
 wówczas jednak wariancja całkowita nie może wynosid 7
(jak podał Magnusson), gdyż byłaby mniejsza od tak
obliczonej wariancji błędu H" 7,37 (owo 7 musiałoby więc
byd całkowitym odchyleniem standardowym!)
& , bądz
:
k
2
se(T -� Ms
��
(� ) )�
j e(T )
j
j=�0
2 2
se =� ss =�
e(Tj )
k -�1
" wówczas 7 może byd wariancją całkowitą
(se2 H" 0,80)
" estymowany w taki sposób rtt jest o ok. 0,04 większy, niż
w poprzednim przypadku, czyli praktycznie uzyskuje się
bardzo podobny rezultat
8
2011-11-23
Na zakończenie  kilka dodatkowych
refleksji nt. KTT
" Estymacja przedziałowa w KTT  jednakowe
prawdopodobieostwo wyników w przedziale ufności
"  Błąd a  odchylenie standardowe rozkładu błędu(-ów)
w KTT
 homoscedastycznośd wariancji rozkładu odchyleo standardowych
błędu pomiaru (standardowych błędów pomiaru)  założenie
o jednorodności (stałości) wariancji składnika losowego
" jednorodna wariancja implikuje, że dyspersja (rozrzut) łącznego wpływu
zmiennych losowych nie zmienia się
2
SDSEM =� 0
 co wskazuje na dalsze implikacje zadania 9b
Standardowy błąd estymacji wyniku
prawdziwego (s� , SEE )
SEE  STANDARD ERROR OF ESTIMATION
(OF TRUE SCORE)
Definicja
SEE =� SEM rtT =� SEM rtt =�
=� SDt 1-� rtt rtt =�
2
=� SDt rtt -� rtt =�
=� SDt rtt 1-� rtt
(� )�
9
2011-11-23
Alternatywne oznaczenia
2
SEE =� SDt rtt -� rtt
0,5
se� =� st rtt -� rtt2
(� )�
Zastosowanie
ó�
Tj =� t rtt +� Mt 1-� rtt
(� )�
j
(tzw. równanie McHugh a)
ó�
Tu,l =� Tj ą� SEE �� za� 2
ó� ó�
Tj -� Mt Tj -�Tl,u
tj =� Mt +�
za� 2 =�
rtt
SEE
Skąd się wzięło  równanie
McHugh a ?
10
2011-11-23
Skąd się wzięło równanie McHugh a?
Y' =� b� x +�a�
Klasyczne równanie regresji liniowej (najmniejszych kwadratów):
Y  wynik przewidywany
x  wynik empiryczny (podstawa przewidywania)
�  standaryzowany współczynnik regresji (kąt nachylenia linii
regresji względem osi odciętych)
ą  stała regresji (punkt przecięcia linii regresji z osią rzędnych)
Skąd się wzięło równanie McHugh a?
'
Y =� b� x +�a� �� Tj' =� b�t +�a�
j
22
sT sT sT sT sT sT sT
b� =� rtT =� rtt =� =� =� =� rtt
st st st2 st stst st2
MT =� Mt
wartośd oczekiwana rozkładu skłonności będzie
równa średniemu wynikowi empirycznemu (przy
nieskooczonej liczbie pomiarów) przy założeniu,
że średni błąd pomiaru równa się 0
(bo błąd jest losowy)
Aksjomat 1: Me = 0
Skąd się wzięło równanie McHugh a?
'
Y =� b� x +�a� �� Tj' =� b�t +�a�
j
22
sT sT sT sT sT sT sT
b� =� rtT =� rtt =� =� =� =� rtt
st st st2 st stst st2
MT =� Mt
a� =� MT -� rttMt =� Mt -� rttMt =� Mt 1-� rtt
(� )�
� ą
Tj' =� t rtt +� Mt 1-� rtt
(� )�
j
11
2011-11-23
Skąd się wzięło równanie McHugh a?
'
Y =� b� x +�a� �� Tj' =� b�t +�a�
j
22
sT sT sT sT sT sT sT
b� =� rtT =� rtt =� =� =� =� rtt
st st st2 st stst st2
MT =� Mt
a� =� MT -� rttMt =� Mt -� rttMt =� Mt 1-� rtt
(� )�
tzw. równanie McHugh a 
Tj' =� t rtt +� Mt 1-� rtt  przyciągające do średniej
(� )�
j
rozkładu wyników
O pewnym bardzo rozpowszechnionym
nieporozumieniu
CZY I DLACZEGO POSA
UGIWANIE SI

SEE JEST BARDZIEJ POPRAWNE?
Popularność
Por.:
Hornowska, 2001 i nast. wyd., s. 64-65 
przykład: tj = 93; M = 100; rtt = 0,902; SEM = 4,68
t
Brzezioski, 1996 i nast. wyd., s. 465 
przykład zaczerpnięty z tekstu Chojnowskiego, 1971
12
2011-11-23
Pewien bardzo popularny cytat...
 ściśle rzecz biorąc, do estymacji przedziału *wokół
estymowanego wyniku prawdziwego+ powinniśmy
stosowad nie błąd standardowy pomiaru, lecz błąd
standardowy estymacji, wszakże nie czynimy tego, aby
uniknąd skomplikowania nie mającego wielkiego
znaczenia praktycznego, gdyż różnica liczbowa między
tymi dwoma błędami nie jest duża
Chojnowski, 1971, s. 112
Wyjaśnienie 1
 ściśle rzecz biorąc, do estymacji przedziału *wokół
estymowanego wyniku prawdziwego+ powinniśmy
stosowad nie błąd standardowy pomiaru, lecz błąd
standardowy estymacji (Chojnowski, 1971, s. 112),
gdyż 
" SEM jest odchyleniem standardowym rozkładu
różnic tj  Tj , a nie odchyleniem standardowym
rozkładu różnic Tj  Tj , o które w tym przypadku
chodzi
c.d. tego cytatu
 Przedział ufności powinien więc byd umieszczony
symetrycznie względem estymowanego wyniku
prawdziwego (...) [a nie  wyniku otrzymanego  Z.S.].
Jest tak dlatego (...), że (...) w grupie osób z wysokimi
wynikami przeważają dodatnie błędy pomiaru, u osób
zaś z niskimi wynikami  ujemne, skutkiem czego
wysokie wyniki otrzymane skupiają się powyżej
wyników prawdziwych, a niskie poniżej. ...
Chojnowski, 1971, s. 112;
13
2011-11-23
I jeszcze dalej...
 Wyznaczenie przedziału ufności symetrycznie po
obu stronach wyniku otrzymanego jest
postępowaniem nieprawidłowym, chociaż
powszechnie w praktyce stosowanym (...); oba
postępowania dają na ogół dośd zbliżone rezultaty,
zwłaszcza dla wyników niezbyt odbiegających od
średniej. (...) Różnica jest więc znikoma
*przykład: tj = 30; Mt = 24,31; rtt = 0,88; SEM = 4]
Chojnowski, 1971, s. 112;
oznaczenia  Z.S.
Wyjaśnienie 2
 Wyznaczenie przedziału ufności symetrycznie po
obu stronach wyniku otrzymanego jest
postępowaniem nieprawidłowym (Chojnowski, 1971,
s. 112), gdyż 
" Praktycznie zawsze  wariancja prawdziwa jest
mniejsza od wariancji otrzymanej (rtt < 1).
" A zatem wyniki prawdziwe są bardziej skupione
wokół średniej niż wyniki otrzymane.
" Jeśli więc tj < Mt , to p (Tj > tj ) > p (Tj < tj )
" Natomiast postępowanie zwyczajowe sugeruje
jakoby p (Tj > tj ) = p (Tj < tj )
SEM a SEE jako funkcja rzetelności testu
10,00
9,00
8,00
7,00
6,00
5,00
4,00
3,00
2,00
1,00
0,00
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
rzetelność
14
SEM/SEE (SD = 10,0)
2011-11-23
Wielkość różnicy SEM  SEE jako
funkcja rzetelności testu
7,00
6,00
5,00
4,00
3,00
2,00
1,00
0,00
0,50 0,55 0,60 0,65 0,70 0,75 0,80 0,85 0,90 0,95 1,00
rzetelność
Wielkość różnicy SEM  SEE jako
funkcja rzetelności testu (2)
10,00
9,00
8,00
7,00
6,00
5,00
4,00
3,00
2,00
1,00
0,00
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
rzetelność
Wielkość różnicy tj  Tj jako funkcja
rzetelności testu i  odległości tj od M
25
20
15
10
5
M ą 1
0
0,50 0,55 0,60 0,65 0,70 0,75 0,80 0,85 0,90 0,95 1,00
rzetelność
15
SEM/SEE (SD = 10,0)
różnica: SEM
- SEE
j
j
wartość bezwzględna różnicy t
- T '
2011-11-23
KONKLUZJA
I co z tego wynika?
" rtt < 0,70 bardziej dokładna i wiarygodna jest
estymacja punktowa Tj  i wyznaczanie przedziału
ufności z wykorzystaniem SEE
" rtt > 0,80 bardziej  ekonomiczne jest
wyznaczanie przedziału ufności  wokół tj
z wykorzystaniem SEM
" 0,80 e" rtt e" 0,70 obie metody równie zasadne...
" Ale ponadto...
" tj różni się od Mt o więcej niż jedno SD bardziej
dokładna i wiarygodna jest estymacja punktowa Tj 
i wyznaczanie przedziału ufności z wykorzystaniem
SEE
Krótko mówiąc
rtt <� 0,70 �� t �� Mt -� st ; Mt +� st �� Tj' ą� SEE �� za� 2
(� (� )� )�
)� (�
j
Mt -� st ł� t ł� Mt +� st
j
16
2011-11-23
CZY S
JESZCZE JAKIEŚ INNE
RODZAJE BA

DÓW ?!?
Inne błędy standardowe
(zob. np. Brzeziński, 1996, s. 461-464)
" Błąd pomiaru wyniku prawdziwego
SEMĄ� =� rttSEM
" Błąd prognozy
SEP =� SEM 1+� rtt
" Błąd zastąpienia
SES =� SEM 2
SEMĄ� <� SEE <� SEM <� SEP <� SES
LEKTURA DODATKOWA
17
2011-11-23
Brzezioski, 1996 i nast. wyd., rozdz. 15 (zwł. p. 3.2, 3.7)
Hornowska, 2001 i nast. wyd., s. 63-67
Kozielecki, red., 1971, s. 65-78, 109-114
Zawadzki, Hornowska, 2008, s. 868
[UWAGA!!! BA

D we wzorze na SEE w przyp. 5 na s. 868]
SEE =� rttSEM
Brzezioski, 1996 i nast. wyd., rozdz. 15 (zwł. p. 3.2, 3.7)
Hornowska, 2001 i nast. wyd., s. 63-67
Kozielecki, red., 1971, s. 65-78, 109-114
Zawadzki, Hornowska, 2008, s. 868
[UWAGA!!! BA

D we wzorze na SEE w przyp. 5 na s. 868]
SEE =� rtt SEM
18