Regresja wielokrotna: 

diagnostyka i selekcja modelu regresji 

 

Multiple Regression: 

Diagnostics and Selection of Regression Models 

 
 
 

Roman Konarski 

 

Uniwersytet Gdanski 

& 

Pracownia Badan Spolecznych 

 
 

 
 
 
 
 
 
Wersja wstepna: Prosze nie cytowac bez wczesniejszego kontaktu z autorem 
 
 
 
 
 
 
 
 

 
 
 
 
 
 
 
 
 

Lipiec 2004

 

1 

STRESZCZENIE 

Diagnostyka zalozen modelu regresji jest istotnym elementem ostroznej analizy 

statystycznej. Analiza regresji pozbawiona elementu weryfikacji oraz korekty zalozen 

teoretycznych testowanego modelu regresji moze prowadzic do nietrafnych wniosków 

badawczych. Szczególnie istotne dla testowanego modelu regresji sa problemy 

wplywowych obserwacji, wspólliniowosci oraz obecnosc bledu pomiarowego w 

zmiennych wyjasniajacych. W obecnym artykule podsumowuje najbardziej istotne 

zalozenia modelu regresji, metody weryfikacji oraz korekty braku spelnienia tych 

zalozen. W diagnostyce statystycznej szczególna role odgrywaja metody graficzne. 

Uzytecznosc oraz interpretacja róznorodnych metod graficznych jest szczególnie 

podkreslana w obecnej prezentacji zagadnien diagnostycznych. Prezentacja jest 

przeprowadzona na przykladach konkretnych analiz statystycznyc h. 

 

2 

WPROWADZENIE 

Analiza regresji jest zapewne najszerzej stosowanym modelem statystycznym, 

gdyz pozwala na szacowanie sily i formy zwiazku pomiedzy zmiennymi oraz na 

predykcje jednej zmiennej bazujac na wiedzy o wartosciach skorelowanych z nia 

innych zmiennych. Ponadto, model regresji stanowi podstawe ogólnego modelu 

linowego (general linear model, GLM) (McCullagh, Nelder, 1989) oraz modelu 

równan strukturalnych (structural equation model, SEM) (Bollen, 1989). Zrozumienie 

zalozen i ograniczen regresji ma zastosowanie w praktyce stosowania tych, 

pochodnych regresji, modeli statystycznych. Analiza zalozen modelu regresji jest 

wazna, poniewaz trafnosc wyników analizy regresji jest zalezna od stopnia spelnienia 

jej zalozen teoretycznych. 

 

Obecne podsumowanie prezentuje narzedzia diagnostyczne pozwalajace na 

weryfikacje i korekte zalozen analizy regresji. Prezentacje rozpoczne od 

przedstawienia podstawowych konceptów i zalozen regresji. Nastepnie przejde do 

takich zagadnien diagnostycznych jak problemy zaleznosci liniowej, wplywowych 

obserwacji, heterogenicznosc wariancji, nieliniowosc, oraz konsekwencji bledu 

pomiarowego. Kazdy problem diagnostyczny rozpatrze pod wzgledem detekcji, 

konsekwencji, oraz akcji korekcyjnych danego problemu. Prezentacja jest 

przeprowadzona na przykladach konkretnych analiz statystycznych. 

 

PODSTAWOWE KONCEPTY I ZALOZENIA REGRESJI 

MODEL REGRESJI 

 

Model klasycznej regresji to równanie 

 

0

1

1

2

2

i

i

i

p

ip

i

Y

X

X

X

β

β

β

β

ε

=

+

+

+ +

+

K

 

 

3 

dla obserwacji i = 1, 2, ..., n. W równaniu regresji Y

i

 jest wartoscia zmiennej 

wyjasnianej dla obserwacji i, X

ij

 (j = 1, 2, ..., p) sa wartosciami p zmiennych 

wyjasniajacych dla obserwacji i, 

i

ε  jest bledem losowym obserwacji i, a 

0

β  i 

j

β  sa 

nieznanymi parametrami modelu. Jezeli mamy jedna (p = 1) zmienna wyjasniajaca 

nasz model jest nazywany regresja prosta. Jezeli mamy wiecej niz jedna (p > 1) 

zmienna wyjasniajaca nasz model jest nazywany regresja wielokrotna. 

 

Kluczowym zalozeniem modelu regresji jest brak bledu pomiarowego w 

zmiennych  Y i X

j

. Pozostale zalozenia odnosza sie do rozkladu pozostalosci regresji 

i

ε , które typowo zapisujemy jako 

 

(

)

2

NID 0,

i

ε

σ

:

 

co oznacza, ze 

i

ε  maja rozklad normalny i niezalezny (normally and independently 

distributed, NID) ze srednia wartoscia równa zero, 

( )

0

i

E

ε

=

, oraz stala wariancje w 

calym zakresie X

i

, 

( )

2

2

i

σ ε

σ

=

. W empirycznych zastosowaniach modelu regresji 

powyzsze zalozenia nigdy nie sa dokladnie spelnione. Dlatego musza one byc 

zweryfikowane i konsekwencje braku spelnienia tych zalozen musza byc rozwazone. 

 

METODA NAJMNIEJSZYCH KWADRATÓW 

 

W analizie regresji parametry modelu 

(

)

0

 i 

j

β β  nie sa znane i musza byc 

oszacowanie w próbie danych. W tym celu, kryterium sumy najmniejszych 

kwadratów (ordinary least squares, OLS) jest stosowane do oszacowani najlepszego 

liniowego zwiazku pomiedzy zmienna wyjasniana (Y) i zmiennymi wyjasniajacymi 

X

j

. Model regresji szacowany w próbie danych jest typowo zapisany jako 

 

0

1

1

2

2

i

i

i

p

ip

i

i

i

Y

b

b X

b X

b X

e

ˆ

Y

e

= +

+

+ +

+

= +

K

 

 

4 

gdzie Y

i

 i X

ij

 sa tymi samymi wartosciami co w modelu dla populacji. Wartosci 

dopasowane 

i

ˆ

Y

 sa wartosciami przewidywanymi dla Y

i

, b

0

 jest szacunkiem stalej 

regresji 

0

β , wspólczynniki regresji b

j

 (b

1

, b

2

, ..., b

p

) sa szacunkami odpowiadajacych 

im parametrów populacji 

j

β  (

1

2

,

,

,

p

β β

β

K

), a e

i

 sa szacunkami pozostalosci regresji 

i

ε . Metoda OLS pozwala na selekcje takich wartosci b

0

 oraz b

j

, które minimalizuja 

ogólny blad 

i

i

i

ˆ

e

Y

Y

= −

 w taki sposób, ze suma kwadratu pozostalosci, RSS 

=

2

i

e

∑

(residual sum of squares), jest najmniejsza z mozliwych. Poniewaz 

2

σ  jest 

srednia wartoscia kwadratu pozostalosci 

i

ε  w populacji mozemy oczekiwac, ze 

nieobciazonym estymatorem 

2

σ  jest sredni kwadrat pozostalosci (residual mean 

square) MSE =  RSS / (n - p - 1). 

 

  Jezeli zalozenia odnosnie rozkladu pozostalosci sa spelnione to metoda OLS 

posiada wlasciwosci BLUE (best linear unbiased estimator). Estymator OLS jest 

najlepszym (dajacym najmniejsze wariancje parametrów) linowym i nieobciazonym 

estymatorem parametrów modelu regresji. Jezeli zalozenia modelu regresji nie sa 

spelnione to metoda OLS nie posiada wlasciwosci BLUE. W konsekwencji, 

szacowane parametry modelu moga byc obciazone, a ich wariancje nie sa najmniejsze 

z mozliwych. 

 

PODSTAWOWE KONCEPTY ANALIZY REGRESJI 

 

W dalszej czesci prezentacji posluze sie nastepujacym przykladem 

syntetycznym

1

. Poradnia psychologiczna pragnie okreslic efektywnosc nowego 

programu terapii rodzinnej. W tym celu, losowo wyselekcjonowano 25 par pacjentów 

z posród wszystkich par rozpoczynajacych terapie w ciagu ostatnich 10 miesiecy. 

Zmienna wyjasniana w testowanym modelu regresji jest efektywnosc terapii (ET), to 

 

5 

jest zmiana (przyrost) w deklarowanym zadowoleniu z pozycia malzenskiego 

pomiedzy poziomem  na rozpoczecie terapii i poziomem osiagnietym po okreslonym 

okresie trwania terapii. Dlugosc terapii (DT), mierzona w tygodniach, jest 

najwazniejsza zmienna wyjasniajaca. Poniewaz dlugosc pozycia malzenskiego 

(DPM), mierzona w latach, i liczba dzieci (LD) moga miec wplyw na efektywnosc 

terapii te zmienne sa równiez zawarte w testowanym modelu regresji. Dane dla 25 par 

pacjentów sa przedstawione w Tabeli 1.  

----- tutaj Tabela 1 ----- 

Wyniki analizy regresji, za pomoca pakietu statystycznego SAS (SAS 

Institute, 1999a), sa nastepujace: 

 

¶

(

) (

)

(

)

(

)

26 65

0.61

2 01

4 25

          8 75

0 26

3 30

8 20

ET

.

DT

.

DPM

.

LD

.

.

.

.

=

+

−

−

 

W powyzszym równaniu, wspólczynniki regresji 

( )

j

b  okreslaja zmiane w zmiennej 

wyjasnianej 

( )

Y

 dla zmiany o 1 jednostke w danej zmiennej wyjasniajacej 

( )

j

X

, 

utrzymujac pozostale zmienne wyjasniajace 

( )

k j

X

≠

 na stalych poziomach. Na 

przyklad, kazdy dodatkowy tydzien terapii (DT) jest zwiazany z podwyzszeniem 

zadowolenia z pozycia malzenskiego (ET) o 0.61 jednostek, utrzymujac dlugosc 

pozycia malzenskiego (DPM) oraz liczbe dzieci (LD) na stalych poziomach.  

Jedna z najwazniejszych miar efektywnosc zastosowanego modelu regresji 

jest R

2

 (R-kwadrat). R

2

 jest frakcja zmiennosci w Y, która jest wyjasniana przez 

zmiany w zmiennych X

j

. Gdy zmienne X

j

 wyjasniaja cala zmiennosc w Y, R

2

 jest +1. 

Jezeli nie ma zwiazku pomiedzy  Y i zmiennymi X

j

, R

2

 jest zero. R

2

 to takze kwadrat 

korelacji miedzy wartosciami przewidywanymi  ˆ

Y  przez nasz model regresji oraz 

 

6 

wartosciami zaobserwowanymi Y,

2

2

ˆ

YY

R

r

=

. W naszym przykladzie R

2

 = 0.35 co 

oznacza, ze DT, DPM i LD wspólnie wyjasniaja 35% zmiennosci w ET. 

Bledy standardowe (coefficient standard errors) wspólczynników regresji 

( )

j

s b  sa miara zakresu prawdopodobnych wartosci szacowanych wspólczynników w 

populacji. Na przyklad, mozemy stwierdzic z ufnoscia 95%, ze prawdziwa wartosc 

danego wspólczynnika jest w granicach ±2.0 bledu standardowego od szacowanej 

wartosci

2

. Bledy standardowe wspólczynników regresji dla naszego modelu sa podane 

w nawiasach ponizej szacowanych wartosci. Na przyklad, blad standardowy 

wspólczynnika regresji dla DT wynosi 

( )

0 26

DT

s b

.

=

. W konsekwencji, mozemy 

stwierdzic z ufnoscia 95%, ze prawdziwa wartosc tego wspólczynnika znajduje sie w 

przedziale 0.61 ± 2(.26). 

 

Statystyki testowe-t mierza statystyczna istotnosc zmiennych X

j

 w predykcji 

zmiennej Y. Jezeli dana zmienna X

j

 nie jest istotna to jej wspólczynnik regresji 

0

j

β

=

 

w badanej populacji. Wartosc statystyki testowej-t dla danego wspólczynnika to iloraz 

szacunku tego wspólczynnika i jego bledu standardowego 

( )

j

j

b s b . Wartosci 

statystyki testowej-t, w przyblizeniu, wieksze niz |2| oznaczaja, ze dana zmi enna X

j

 

jest wazna ze statystycznego punktu widzenia

3

. W naszym przykladzie, wartosci 

statystyk testowych-t dla DPM (t = -0.61) i LD (t = -0.52) sa blisko zera, i dlatego te 

zmienne prawdopodobnie nie przewiduja poziomu ET. Natomiast DT wydaje sie byc 

wazna gdyz wartosc jej statystyki testowej-t  > 2 (t = 2.37). Innymi slowy, 

zaobserwowana relacja (b

DT

 = 0.61) pomiedzy efektywnoscia psychoterapii i 

dlugoscia psychoterapii nie jest wynikiem czynników losowych. Natomiast 

zaobserwowana relacja pomiedzy efektyw noscia terapii i dlugoscia pozycia 

 

7 

malzenskiego (b

DPM

 = -2.01) oraz liczba dzieci (b

LD

 = -4.25) jest prawdopodobnie 

wynikiem czynników losowych i nie wystepuje w badanej populacji. 

 

TESTOWANIE ZALOZEN REGRESJI 

Testowanie zalozen modelu regresji polega na eksploracji cech analizowanego 

zbioru danych oraz testowanego modelu regresji. W diagnostyce statystycznej 

szczególnie wazna role spelniaja metody graficzne (Cook i Weisberg, 1994). Grafika 

statystyczna, w odróznieniu od formalnych testów statystycznych, pozwala na ocene 

stopnia spelnienia róznorodnych zalozen testowanego modelu, ujawnia strukture 

szczególnego problemu diagnostycznego, oraz sugeruje najbardziej optymalna akcje 

korekcyjna. Czesto istnieje naturalna hierarchia w uzyciu narzedzi diagnostycznych. 

Analize zalozen modelu regresji typowo zaczynamy od diagnozy i korekty 

problemów wspólzaleznosci linowej oraz wplywowych obserwacji. Zalozenia 

normalnosci oraz homogenicznosci rozkladu pozostalosci regresji rozwazamy jako 

ostatnie zagadnienia odnoszace sie do analizowanego zbioru danych. Problemy 

nieliniowosci oraz obecnosci bledu pomiarowego sa, w pewien sposób, oddzielne 

gdyz w wiekszym stopniu dotycza przyjetej formy testowanego modelu regresji niz 

charakterystyk analizowanego zbioru danych. 

 

WSPÓLLINIOWOSC 

 

Gdy zmienne wyjasniajace sa wysoko skorelowane wyniki analizy regresji 

moga byc niestabilne. Szacowany efekt danej zmiennej X

j

 moze zmienic wielkosc, a 

nawet kierunek, zaleznie od pozostalych zmiennych wyjasniajacych zawartych w 

testowanym modelu regresji. Warunek, w którym zaleznosc linowa pomiedzy 

zmiennymi wyjasniajacymi zagraza trafnosci wyników analizy regresji jest nazywany 

 

8 

wspólliniowoscia (collinearity) lub wielowspólliniowoscia (multicollinearity) aby 

podkreslic, ze ten problem moze dotyczyc wiecej niz dwóch zmiennych 

wyjasniajacych. Alternatywnie, problem zaleznosci linowej jest nazywany zlym 

uwarunkowaniem (ill conditioning) aby podkreslic, ze ten problem dotyczy 

szczególnej formy macierzy  X (Belsley, Kuh i Welsch, 1980). W literaturze 

stosowanej przyjely sie okreslenia wspólliniowosc oraz wielowspólliniowosc, które sa 

stosowane zamiennie. 

Symptomami wysokiej wspólliniowosci sa znacznie zanizone statystyki 

testowe-t dla zmiennych wyjasniajacych, które logicznie powinny posiadac relacje ze 

zmienna wyjasniana (lub dziwnie wysokie wartosci statystki-t), lub wspólczynniki 

regresji posiadajace odwrotny kierunek wspólczynnika od spodziewanego (na 

przyklad, w relacji inteligencji do wyników w szkole, jezeli wspólczynnik dla 

inteligencji bylby negatywny). Innym typowym objawem wysokiej wspólliniowosci 

jest sytuacja gdy testowany model regresji daje wysokie R

2

 jednak zadna zmienna 

wyjasniajaca nie jest statystycznie istotna. 

Typowo efekt wspólliniowosci jest wyrazany poprzez wspólczynnik VIF 

(variance inflation factor), który wskazuje o ile wariancje wspólczynników sa 

zawyzone z powodu zaleznosci liniowych w testowanym modelu. VIF dla danej 

zmiennej niezaleznej X

j

 jest zdefiniowany jako  

 

(

)

2

VIF

1 1

j

j

/

R

=

−

, 

gdzie 

2

j

R

 jest wspólczynnikiem wielokrotnej determinacji dla regresji danej zmiennej 

X

j

 na pozostale zmienne wyjasniajace zawarte w modelu

4

 (Belsley, Kuh i Welsch, 

1980, s. 93). VIF

j

 wskazuje o ile wariancja szacowanego wspólczynnika regresji 

 

9 

( )

2

j

s

b  jest podwyzszona z powodu wspólliniowosci danej zmiennej niezaleznej z 

pozostalymi zmiennymi niezaleznymi. 

Pakiety statystyczne (np. SAS, SPSS) typowo podaja wartosc VIF oraz inna 

wielkosc nazywana TOL (tolerance). TOL jest zdefiniowany jako 

1 VIF

. Fox (1991) 

rekomenduje stosowanie 

j

VIF  gdyz wielkosc ta bezposrednio wyraza o ile przedzial 

ufnosci dla danego wspólczynnika jest poszerzony, lub o ile wartosc statystyki 

testowej-t jest obnizona z powodu zaleznosci linowej. Chociaz nie ma uniwersalnie 

przyjetej krytycznej wartosci dla VIF, wartosci VIF

j

 = 4 moga byc uwazane za 

wskazujace na obecnosc problemu wspólliniowosci gdyz oznaczaja, ze dany przedzial 

ufnosci jest przynajmniej dwa razy szerszy (a dana statystyka testowa-t jest co 

najmniej o polowe mniejsza) z powodu zaleznosci linowych. 

Problem zaleznosci linowej moze byc takze wykryty poprzez wizualne 

przeegzaminowanie macierzy korelacji zmiennych wyjasniajacymi. Wysoki 

wspólczynnik korelacji, 

j

k

j

X X

r

≠

, pomiedzy zmienna X

j

 i jakakolwiek inna zmienna 

k

j

X

≠

 jest warunkiem wystarczajacym, chociaz nie koniecznym, do wystapienia 

wysokiego

5

 VIF

j

. Na przyklad, wspólczynnik korelacji 

87

j

k

j

X X

r

.

≠

=

 wyniknie w 

j

VIF

4.1

≥

 (

j

VIF

2 0

.

≥

). 

 

Nie ma prostego sposobu na korekte zaleznosci linowej. Gdy wystapi problem 

silnej wspólliniowosci pomiedzy 

1

X

 i 

2

X

 dane niosa malo informacji o 

oddzialywaniu zmiennej 

1

X

 na Y kontrolujac statystycznie (utrzymujac na stalym 

poziomie) 

2

X

. To samo mozemy powiedziec o efekcie 

2

X

 na Y. Tak jest poniewaz 

1

X

 i 

2

X

 dziela wiekszosc swoich wariancji i pozostaje mala proporcja wariancji w 

jednej zmiennej gdy ta druga jest utrzymywana na stalym poziomie. Poniewaz 

1

β

 jest 

 

10 

efektem czesciowym zmiennej 

1

X

 kontrolujac 

2

X

 oszacowanie tego parametru nie 

jest precyzyjne, gdyz opiera sie na relatywnie malej proporcji informacji zawartej w 

X

1

. 

Strategie korekty problemu wysokiej wspólliniowosci odnosza sie do trzech 

elementów zastosowania analizy regresji: danych, testowanego modelu, oraz metody 

estymacji (Fox, 1991). Najbardziej pozadana metoda korekty problemu wysokiej 

wspólliniowosci jest poprawa uwarunkowania danych poprzez rozszerzenie 

istniejacego zbioru obserwacji o nowe, w taki sposób, aby zminimalizowac istniejace 

zaleznosci liniowe pomiedzy zmiennymi wyjasniajacymi. Ta metoda, chociaz 

najbardziej pozadana ze statystycznego i teoretycznego punktu widzenia, ma 

ograniczone zastosowanie praktyczne z powodu kosztów i czasu realizacji planów 

badawczych. Ponadto, dodatkowe obserwacje nie gwarantuja poprawy 

uwarunkowania zaleznosci pomiedzy zmiennymi wyjasniajacymi, szczególnie jezeli 

manipulacja eksperymentalna tych zmiennych nie jest mozliwa. Z tych powodów 

strategia wprowadzenie dodatkowych danych prawdopodobnie nie jest metoda o 

znaczeniu praktycznym (Belsley i in., 1980; Fox, 1991).  

Chociaz wysoka wspólliniowosc to przede wszystkim problemem danych, 

jedna z najbardziej skutecznych strategii korekcyjnych tego problemu jest 

przeformulowanie testowanego modelu regresji. Przeksztalcenie modelu moze 

nastapic w dwojaki sposób. Pierwszy sposób to wyrazenie zmiennych wyjasniajacych 

bedacych w zaleznosci linowej jako kompozyt tych zmiennych. Na przyklad, jezeli w 

testowanym modelu mamy wzrost i wage jako zmienne wyjasniajace, które sa zwykle 

wysoko skorelowane, mozemy zastapic te zmienne nowa zmienna wyrazajaca 

stosunek wzrostu do wagi. Jezeli liczba zmiennych wyjasniajacych w testowanym 

modelu jest duza to mozemy posluzyc sie analiza glównych skladowych w celu 

 

11 

redukcji tych zmiennych do jednej lub kilku relatywnie niezaleznych kompozytów. 

Jezeli tak otrzymane kompozyty oryginalnych zmiennych wyjasniajacych poddaja sie 

interpretacji to moga byc one uzyte jako zmienne wyjasniajace w analizie regresji. 

Kilka wariantów tego podejscia jest znanych w literaturze pod nazwami „principal 

component regression” oraz „latent root regression” (Wetherill, Duncombe, Kenward, 

Köllerström, Paul i Vowden, 1986). 

Drugi sposób przeformulowania testowanego modelu regresji to redukcja 

oryginalnego zbioru zmiennych wyjasniajacych do mniejszego i mniej skorelowanego 

podzbioru tych zmiennych. Jest to zdecydowanie najczesciej stosowana metoda 

rozwiazywania problemy wysokiej wspólliniowosci. Musze jednak podkreslic, ze 

redukcja zmiennych wyjasniajacych wiaze sie ze zreformulowaniem a priori 

postawionej hipotezy o zwiazku pomiedzy zmienna zalezna i zmiennymi 

niezaleznymi. Idealnie, taka selekcja zmiennych wyjasniajacych powinna byc 

dokonana w swietle teorii badanego procesu psychologicznego, a nie poprzez jedna z 

dostepnych metod automatycznej selekcji modelu regresji. Automatyczne metody 

selekcji modelu to selekcja postepujaca (forward selection), eliminacja wsteczna 

(backward elimination), oraz metoda krokowa (stepwise). W selekcji postepujacej 

zaczynamy od jednej zmiennej wyjasniajacej i dodajemy zmienne do modelu, które 

na danym etapie selekcji maksymalizuja R

2

. Proces selekcji zatrzymuje sie gdy 

poprawa w R

2

 nie osiaga ustalonego minimum. Eliminacja wsteczna jest podobna z 

tym, ze proces selekcji rozpoczyna sie od pelnego modelu, zawierajacego wszystkie 

zmienne wyjasniajace, i dana zmienna jest eliminowana z modelu jezeli jej brak nie 

prowadzi do ustalonego spadku w R

2

. Metoda postepujaca i wsteczna charakteryzuja 

sie tym, ze dana zmienna wyjasniajaca nie moze znalezc sie w modelu wiecej niz raz. 

 

12 

Metoda krokowa jest kombinacja metody postepujacej i wstecznej. W metodzie 

krokowej dana zmienna wyjasniajaca moze opuscic lub wejsc do modelu wiele razy. 

Metody automatycznej selekcji modelu sa uniwersalnie krytykowane (np. 

Draper i Smith, 1981; Weisberg, 1985; Wetherill i in., 1986) poniewaz ostateczny 

podzbiór zmiennych wyjasniajacych jest zalezny od zastosowanej metody selekcji, i 

zwykle nie jest optymalny ani z teoretyczne go ani ze statystycznego punktu widzenia. 

To jest, metody automatycznej selekcji, z definicji, nie biora pod uwage czynników 

teoretycznych, ani nie musza dac maksymalnego R

2

 dla wynikajacego podzbioru 

zmiennych wyjasniajacych o danej wielkosci. Ponadto, me tody automatycznej 

selekcji w znaczny sposób przeceniaja istotnosc otrzymanych wyników poniewaz 

testowany model jest dostosowywany do losowych charakterystyk analizowanego 

zbioru danych (Weisberg, 1985). W konsekwencji, metody automatycznej selekcji 

modelu powinny byc stosowane z rozwaga oraz w swietle ograniczen tych technik. 

Ostatnia strategia korekty wysokiej wspólliniowosci to zastosowanie 

estymatora nie spelniajacego warunków BLUE. Taki estymator daje obciazone 

szacunki parametrów modelu regresji, ale z relatywnie zredukowanymi bledami 

standardowymi w porównaniu z metoda OLS (Hoerl i Kennard, 1970a, 1970b; 

Marquardt i Snee, 1975). Najszerzej stosowanym obciazonym estymatorem jest 

regresja krawedziowa (ridge regression). Regresja krawedziowa jest modyfikacja 

metody najmniejszych kwadratów, w której mala wartosc stala c = 0, nazywana 

obciazajaca konstanta, jest dodana do wariancji zmiennych wyjasniajacych.  

Gdy c = 0 estymator krawedziowy jest estymatorem OLS. Obciazenie szacowanych 

wspólczynników regresji wzrasta wraz z c, a wariancja parametrów maleje. Zawsze 

istnieje jakas wartosc c, dla której estymator krawedziowy daje mniejsze bledy 

standardowe niz estymator OLS. Jednak, trudnosc w zastosowaniu regresji 

 

13 

krawedziowej polega na tym, ze optymalna wartosc dla c nie jest znana i jest inna dla 

kazdej aplikacji modelu regresji (Neter, Kutner, Nachtsheim i Wasserman, 1996). 

Regresja krawedziowa jest mozliwa w wiekszosci popularnych pakietów 

statystycznych (np. SAS i SPSS). Draper i Smith (1981), Weisberg (1985) oraz Fox 

(1991) sugeruja szczególna rozwaga w stosowaniu tej metody estymacji. Weisberg 

(1985) podkresla, ze w sytuacji problemu wspólliniowosci regresja krawedziowa 

moze dac nam relatywnie duza redukcje bledów standardowych, jednak wartosc tej 

redukcji nie jest jasna. Jezeli szacowane 

j

β  nie sa blisko zera to korzysci 

wyplywajace z zastosowania metody krawedziowej sa nieznaczne. Jezeli szacowane 

j

β  sa blisko zera to metoda OLS daje nam malo precyzyjne (posiadajace duze bledy 

standardowe), ale nieobciazone (prawidlowe) szacunki parametrów. Z drugiej strony, 

metoda krawedziowa daje nam bardziej precyzyjne, ale obciazone szacunki 

parametrów modelu. 

Powracajac do naszego przykladu, w szacowanym modelu regresji ET na DT, 

DPM i LD, jedynie wspólczynnik regresji dla DT jest statystycznie istotny, t(21) = 

2.37, p < .001, podczas gdy wspólczynniki dla DPM, t(21) = -0.61, p > .5, oraz LD, 

t(21) = -0.52, p > .5, nie osiagnely statystycznej istotnosci. Zauwazmy jednak, ze 

zmienne DPM i LD posiadaja relatywnie wysokie wskazniki zaleznosci liniowej, 

DPM

VIF

2 5

.

=

 i 

LD

VIF

2 5

.

=

, spowodowanej wysoka korelacja (r = .91) pomiedzy 

tymi zmiennymi. 

Wysoka korelacja pomiedzy DPM i LD jest zrozumiala gdyz badane pary 

malzenskie sa we wczesnych latach (1.5 do 11 lat) malzenstwa, które sa typowym 

okresem powiekszania rodziny. Dlatego najprostsza metoda obnizenia tej korelacji 

bylo by przebadanie dodatkowych par w pózniejszych latach pozycia malzenskiego. 

Poniewaz rozszerzenie zakresu zaobserwowanych wartosci zmiennej DPM nie jest 

 

14 

mozliwe, problem wysokiej wspólliniowosci pomiedzy DPM i LD musi byc 

rozwiazany poprzez wyeliminowanie jednej z tych dwóch zmiennych wyjasniajacych. 

Idealnie taka decyzja powinna byc podyktowana czynnikami teoretycznymi. W 

naszym wypadku, pozostawimy w modelu zmienna DPM. Szacunki parametrów 

regresji dla tak zredukowanego modelu sa pokazane ponizej: 

 

¶

(

) (

)

(

)

27 00

0.59

3 57

         8 58

0 25

1 34

RZ

.

DT

.

DPM

.

.

.

=

+

−

 

Eliminacja zmiennej LD skutecznie rozwiazala problemu wspólliniowosci (VIF

DPM

 = 

1.02), i spowodowala tylko nieznaczna degradacje efektywnosci (R

2

 = 0.34) 

zredukowanego modelu regresji. Ponadto, zauwazmy, ze zmienna DPM jest 

statystycznie istotna (t = -2.67, p < .05) w zredukowanym modelu, podczas gdy byla 

ona nieistotna w pelnym modelu regresji.  

 

NIETYPOWE I WPLYWOWE OBSERWACJE 

W analizie regresji nietypowe obserwacje (outliers) posiadaja nietypowe 

wartosci zmiennej Y dla ich wartosci zmiennych  X

j

, i w konsekwencji, posiadaja duze 

wartosci pozostalosci e. Nietypowe obserwacje to takze obserwacje z relatywnie 

niskimi pozostalosciami regresji, lecz z nietypowymi wartosciami jednej lub wiecej 

zmiennych wyjasniajacych. Nietypowe obserwacje sa problematyczne dla metody 

najmniejszych kwadratów poniewaz moga w znaczny sposób wplywac na wyniki 

(szacunki parametrów) analizy regresji. Takie nietypowe obserwacje nazywamy 

wplywowymi. 

W regresji prostej, obserwacja posiadajaca nietypowa wartosc Y

i

 dla danej 

wartosci X

i

 posiada wysoka odmiennosc (discrepancy). Natomiast obserwacja 

posiadajaca typowa wartosc Y

i

 (male e

i

) i nietypowa wartosc X

i

 posiada wysoka 

dzwignie (leverage). Czesto odmienne obserwacje maja duze wartosci pozostalosci 

 

15 

regresji e, ale nie zawsze. Obserwacja posiadajaca wysoka dzwigne moze miec mala 

wartosc e

i

, poniewaz przyciaga line (plaszczyzne w regresji wielokrotnej) regresji 

i

ˆ

Y

blisko Y

i

. W konsekwencji, wplyw danej obserwacji na wspólczynniki regresji jest 

wyrazany jako funkcja odmiennosci i dzwigni tej obserwacji (Fox, 1991): 

Wplyw Obserwacji = Dzwignia 

×

 Odmiennosc. 

Diagnostyka wplywu obserwacji na wyniki analizy regresji sprowadza sie do analizy 

odmiennosci i dzwigni tych obserwacji, lub bezposredniej oceny wplywu obserwacji 

na wspólczynniki testowanego modelu regresji. 

 

Najczesciej stosowana miara dzwigni danej obserwacji i jest tak zwana 

wartosc h

i

 (hat-value) tej obserwacji. W regresji prostej, wartosc h mierzy dystans 

danej obserwacji od sredniej wartosci zmiennej X: 

 

(

)

(

)

2

2

1

i

i

i

X

X

h

n

X

X

−

= +

−

∑

. 

W regresji wielokrotnej, h

i

 mierzy dystans od punktu srednich (centroid) wszystkich 

zmiennych wyjasniajacych biorac pod uwage strukture korelacyjna tych zmiennych.  

Wartosci h

i

 mieszcza sie w przedziale 1

1

i

n

h

≤ ≤

, a ich suma jest równa liczbie 

zmiennych wyjasniajacych, 

i

h

p

=

∑

. Niektóre systemy statystyczne (np. SPSS) 

podaja odleglosc Mahalanobisa (Mahalanobis distance), m

i

, jako alternatywna miare 

dzwigni obserwacji i. Odleglosc Mahalanobisa jest otrzymana poprzez opuszc zenie 

elementu 1/n i pomnozenie pozostalosci przez (n – 1) w równaniu dla h

i

: 

 

(

)

1

1

i

i

m

h

n

n





=

−

−









. 

Belsley i in. (1980) deklaruja obserwacje jako punkty wysokiej dzwigni (high-

leverage points), których wartosci h

i

 przekraczaja dwie srednie wartosc, to jest 

2

i

h

p n

>

. Gdy zmienne wyjasniajace posiadaja rozklad wielozmiennowy normalny 

 

16 

(multivariate normal), ta wartosc krytyczna dla h

i

 pozwala na zidentyfikowanie 5% 

najbardziej ekstremalnych obserwacji. 

 

Miara odmiennosci obserwacji i w modelu regresji jest t-standaryzowana 

pozostalosc regresji (studentized residual) (Belsley i in., 1980) 

 

( )

1

i

i

i

i

e

t

MSE

h

−

=

−

, 

gdzie e

i

 i h

i

 sa wartosciami z modelu regresji szacowanego dla wszystkich n 

obserwacji. Natomiast blad standardowy regresji 

( )

i

MSE

−

 jest otrzymany poprzez 

dopasowanie modelu regresji do (n - 1) obserwacji eliminujac obserwacje i. Tak 

wystandaryzowane pozostalosci regresji maja rozklad t(n - p – 2), i okolo 5% 

obserwacji bedzie sie znajdowalo poza zakresem 

2

i

t

≤

. W konsekwencji, Fox 

(1991) sugeruje traktowanie wartosci t

i

 przekraczajace ± 2 jako wskazujace na 

obserwacje zaslugujace na nasza uwage. W literaturze statystycznej, t-

standaryzowane pozostalosci regresji sa takze nazywane „deletion residuals” 

(Atkinson, 1985), oraz „externally Studentized residuals” (Cook i Weisberg, 1982). 

 

Najbardziej bezposrednia miara wplywu obserwacji i na szacunki 

wspólczynników regresji b

j

 jest otrzymana z testowania danego modelu regresji 

dwukrotnie. Raz w pelnym komplecie n obserwacji oraz powtórnie w n – 1 

obserwacjach, gdy obserwacja i jest wyeliminowana ze zbioru danych. Belsley i in. 

(1980) definiuja taka róznice dla danego wspólczynnika regresji j jako  

 

( )

DFBETA

ij

j

j

i

b

b

−

= −

, dla kazdego i = 1, . . ., n, 

gdzie b

j(-i)

 jest szacunkiem parametru 

j

β  gdy obserwacja i jest wyeliminowana ze 

zbioru danych. Aby ulatwic interpretacje, Belsley i in. (1980) takze proponuja 

wystandaryzowana wersje jako  

 

17 

 

( )

DFBETA

DFBETAS

ij

ij

j

-i

MSE

b

=

. 

Walor wyrazania wplywu danej obserwacji w jednostkach bledu standardowego 

regresji pozwala na okreslenie (w przyblizeniu) statystycznej istotnosci tego wplywu. 

W konsekwencji Fox (1991) sugeruje stosowanie wartosci |DFBETAS

ij

| > 2 jako 

wskazujace na istotny wplyw danej obserwacji w malych i sredniej wielkosci próbach 

badawczych. Dla duzych prób, Belsley i in. (1980) proponuja stosowanie wartosci 

krytycznej skorygowanej o wielkosc próby jako

ij

DFBETAS

2

n

>

. 

Poniewaz dla danej obserwacji i mamy p + 1 wplywów (p wspólczynników 

plus stala regresji) tej obserwacji na szacunki parametrów modelu potrzebujemy 

metody na okreslenie ogólnego wplywu danej obserwacji na szacowany model 

regresji. Dwie najczesciej stosowane miary ogólnego wplywu obserwacji na 

szacowany model regresji to „odleglosc Cooka” (Cook’s distance) oraz DFFIT. Obie 

miary wyrazaja wplyw obserwacji jako iloczyn dzwigni i odmiennosci tej obserwacji. 

Cook (1977) zaproponowal miare odleglosci D obserwacji i jako  

 

(

) (

)

2

2

1

1

i

i

i

i

e

h

D

MSE p

h

=

×

+

−

, 

gdzie pierwszy element jest miara odmiennosci a drugi jest miara dzwigni danej 

obserwacji. Belsley i in. (1980) zaproponowali konceptualnie identyczny indeks 

ogólnego wplywu danej obserwacji jako 

 

DFFIT

1

i

i

i

i

h

e

h

=

−

, 

oraz jego wersje wystandaryzowana jako 

 

DFFITS

1

i

i

i

i

h

t

h

=

−

. 

 

18 

Fox (1991) zauwaza, ze z wyjatkiem pewnych rzadkich konfiguracji danych 

(

)

2

DFFITS

1

i

i

D

p

≈

+

. Dla DFFITS, Chatterjee i Hadi (1988), Belsley i in. (1980) 

oraz Fox (1991) rekomenduja stosowanie wartosci krytycznej skorygowanej o 

wielkosc próby jako 

(

) (

)

DFFITS

2

1

1

i

p

n

p

>

+

− −

, oraz odpowiedniej wartosci 

krytycznej dla odleglosci Cooka jako

(

)

4

1

i

D

n

p

>

− −

. 

 

Wplyw danej obserwacji na wyniki analizy regresji moze byc takze wyrazony 

poprzez wplyw tej obserwacji na bledy standardowe szacowanych wspólczynników 

regresji. Poniewaz przedzialy ufnosci szacowanych wspólczynników regresji sa 

bezposrednio proporcjonalne do bledów standardowych tych wspólczynników, 

Belsley i in. (1980) zaproponowali miare wplywu obserwacji i na wspólny obszar 

ufnosci wspólczynników szacowanego modelu regresji jako kwadrat stosunku 

przedzialów ufnosci dla pelnego (n) i zredukowanego (n - 1) zbioru danych  

 

(

)

1

2

1

1

COVRATIO

1

2

1

i

p

i

i

h

n

p

t

n

p

+

=

×

−





− − +





− −





. 

Wartosci COVRATIO

i

 < 1 wskazuja na obserwacje, których eliminacja zmniejszy 

bledy standardowe szacowanych wspólczynników regresji, natomiast wartosci 

COVRATIO

i

 > 1 wskazuja na obserwacje, których eliminacja zwiekszy bledy 

standardowe szacowanych wspólczynników regresji (Belsley i in., 1980). Belsley i in. 

(1980) oraz Fox (1991) sugeruja stosowanie wartosci krytycznych skorygowanych na 

wielkosc próby jako

(

)

COVRATIO

1

3

1

i

p

n

− >

+

. 

Do tej pory rozwazalismy jedynie wplyw pojedynczych obserwacji. W 

sytuacjach gdy mamy do czynienia z grupami obserwacji wywierajacymi kolektywny 

wplyw na szacunki parametrów modelu regresji niezastapione sa metody graficzne, a 

wsród nich wykres nazywany „partial-regression leverage plot” (Belsley i in., 1980) 

 

19 

lub „added-variable plot” (Cook i Weisberg, 1982) lub, po prostu, „partial-regression 

plot” (Fox, 1991). Proponuje tlumaczenie nomenklatury Foxa (1991) jako „wykres 

regresji czastkowej”.  

Wykres regresji czastkowej jest konstruowany w nastepujacy sposób. 

Zdefiniujmy 

( )

1

i

y

 jako pozostalosc z regresji zmiennej Y na wszystkie zmienne 

wyjasniajace z wyjatkiem  X

1

, X

j? 1

. To jest pozostalosc z dopasowania modelu  

 

( )

( )

( )

( )

1

1

1

1

0

2

2

i

i

p

ip

i

Y

b

b X

b X

y

=

+

+ +

+

K

. 

Podobnie, 

( )

1

i

x

 sa pozostalosciami z regresji zmiennej X

1

 na pozostale X

j? 1

: 

 

( )

( )

( )

( )

1

1

1

1

1

0

2

2

*

*

*

i

i

p

ip

i

X

b

b

X

b

X

x

=

+

+ +

+

K

. 

Wykreslajac wartosci 

( )

1

i

y

 i 

( )

1

i

x

 pozwala na egzaminowanie dzwigni i wplywu kazdej 

obserwacji na b

1

. Podobne wykresy moga byc skonstruowane dla pozostalych 

wspólczynników regresji. Fox (1991) oraz Cook i Weisberg (1994) demonstruja 

zastosowanie wykresów regresji czastkowej w diagnostyce wplywu grup obserwacji. 

Cook i Weisberg (1989) oraz McCulloch (1993) rozwijaja koncept tych wykresów do 

grafiki dynamicznej w wiecej niz dwóch wymiarach. 

 

Wszystkie dyskutowane statystyki wplywu obserwacji sa dostepne we 

wspólczesnych pakietach statystycznych ogólnego zastosowania (np. SAS, SPSS). 

Jednak szczególnie wyróznia sie system SAS (SAS Institute, 1999b), który pozwala 

egzaminowanie wplywu i dzwigni obserwacji na dynamicznych wykresach 3-

wymiarowych.  

 

Diagnostyka wplywu obserwacji dla zredukowanego modelu regresji ET na 

DT i DPM ukazuje cztery pary malzenskie posiadajace przynajmniej jedna statystyke 

wplywu przekraczajaca swoja wartosc krytyczna. Para malzenska numer 19 posiada 

DFFITS

19

 = -3.2 i COVARTIO

19

 = 4.0. Natomiast, para malzenska 18 posiada 

 

20 

DFFITS

18

 = 1.5, a pary malzenskie 15 i 23 posiadaja odpowiednio COVRATIO

15

 = 

0.6 i COVRATIO

23

 = 1.5. Dla naszych danych, zgodnie z zaleceniami Belsley i in. 

(1980) oraz Fox (1991), wartosc krytyczna dla statystyki wplywu na parametry 

modelu regresji jest DFFITS = 0.74, a wartosc krytyczna dla statystyki wplywu na 

wariancje szacowanych parametrów modelu jest COVRATIO = 1.36 dla 

zaobserwowanych wartosci COVRATIO

i

 > 1, oraz COVRATIO = 0.64 dla 

COVRATIO

i

 < 1.  

 

Wplyw kazdej obserwacji na wspólczynniki regresji jest takze pokazany na 

wykresach regresji czastkowych zaprezentowanych w Rycinie 1. W Rycinie 1 

wczesniej zidentyfikowane wplywowe obserwacje (para 15, 18, 19, i 23) sa 

oznaczone numerem obserwacji. Wykres regresji czastkowej dla DT (Rycina 1a) 

potwierdza znaczny wplyw obserwacji 19, która powoduje zanizenie czastkowego 

efektu DT na ET. Jak mozemy dalej zauwazyc z Ryciny 1a, wylaczenie obserwacji 19 

z dalszych analiz spowoduje znaczne zmniejszenie odmiennosci obserwacji 15, 18, i 

23, i w konsekwencji znaczne zmniejszenie wplywu tych obserwacji na czastkowy 

efekt zmiennej DT na ET. 

----- tutaj Rycina 1 ----- 

Wykres regresji czastkowej dla DPM (Rycina 1b) pokazuje relatywnie duzy 

wplyw obserwacji 18 na czastkowy efekt  DPM na ET. Jak mozemy dalej zauwazyc z 

Ryciny 1b, para 15 posiada relatywnie duza odmiennosc oraz relatywnie mala 

dzwignie, i, w konsekwencji, niewielki wplyw na czastkowy efekt zmiennej DPM na 

ET. Pozostale obserwacje (19 i 23) wczesniej zidentyfikowane jako potencjalnie 

wplywowe nie wydaja sie znaczaco odbiegac od glównej tendencji zawartej w 

danych. 

 

21 

Powtórne sprawdzenie danych w Tabeli 1 wskazuje na blad wprowadzania 

danych dla pary 19. Zgodnie z naszymi danymi para 19 byla w 82 tygodniu terapii 

rodzinnej (DT

19

 = 82), podczas gdy dopuszczalna dlugosc terapii, w naszym badaniu, 

wynosila 40 tygodni. W konsekwencji dane pary 19 beda wykluczone z dalszych 

analiz. Ponadto z dalszych analiz zostana wykluczone dane pary 18 z powodu duzego 

wplywu tej obserwacji na czastkowy wspólczynnik regresji zmiennej DPM. 

 

Ponowny test modelu regresji ET na DT i DPM w zredukowanym (n = 23) 

zbiorze danych dal nastepujace równanie regresji: 

 

¶

(

) (

)

(

)

17 33 1.25

4 59

       12 78

0 47

1 46

ET

.

DT

.

DPM

.

.

.

=

+

−

 

Zgodnie z sugestiami wykresów regresji czastkowych wykluczenie obserwacji 18 i 19 

z analizowanego zbioru danych wyniklo w znacznie wyzszych wspólczynnikach 

regresji dla obu zmiennych wyjasniajacych niz te otrzymane w pelnym (n = 25) 

zbiorze danych. Zwrócmy takze uwage na znaczny wzrost mocy wyjasniajacej (R

2

 = 

0.51) testowanego modelu po wykluczeniu par 18 i 19. 

Decyzja odnosnie wykluczenia nietypowych obserwacji zawsze niesie ze soba 

element niepewnosci. Chociaz problematyczne dane powinny byc wykluczone, nie 

powinnismy eliminowac takich obserwacji bez namyslu i rozwagi. Fox (1991) 

podkresla, ze jest krytyczne abysmy zawsze rozwazyli powód, dla którego niektóre 

obserwacje sa nietypowe. Nietypowe obserwacje moga motywowac modyfikacje 

testowanego modelu poprzez dodanie zmiennej wyjasniajacej. Powinnismy jednak 

unikac sytuacji, w których mala proporcja danych determinuje forme naszego modelu 

regresji. Jezeli jednak decydujemy sie na eliminacje nietypowych obserwacji to ciazy 

na nas obowiazek odnotowania tego faktu w raporcie badawczym.  

 

 

 

22 

NORMALNOSC ROZKLADU POZOSTALOSCI REGRESJI 

Metoda OLS jest relatywnie odporna na brak spelnienia zalozenia normalnosci 

rozkladu pozostalosci regresji. Jednak w przypadku malych prób lub znacznego 

pogwalcenia tego zalozenia brak normalnosci rozkladu pozostalosci moze zagrazac 

trafnosci wyników analizy regresji. Normalnosc rozkladu pozostalosci jest typowo 

egzaminowana za pomoca metod graficznych. Metody graficzne pozwalaja nam nie 

tylko na okreslenia stopnia pogwalcenia tego zalozenia, ale takze na okreslenie formy 

rozkladu pozostalosci. Takim narzedziem jest wykres normalnych centyli (normal 

quantile-quantile plot) lub w skrócie wykres normalnych Q-Q, w którym empiryczne 

centyle (quantiles) t-standaryzowanych pozostalosci regresji sa wykreslone na osi 

rzednych a teoretyczne centyle z

i

, z rozkladu 

( )

0,1

Z

N

:

, sa wykreslone na osi 

odcietych. Jezeli nasze t

i

 pochodza z rozkladu normalnego to, w granicach bledu 

próby, uszeregowane rosnaco t

i

 = z

i

, i wykres tych wartosci jest linowy. Konstrukcja i 

interpretacja wykresów Q-Q jest opisana w szczególach w Chambers, Cleveland, 

Kleiner i Tukey (1983) oraz Fox (1990). Wykresy normalnych Q-Q sa dostepne w 

standardowych pakietach statystycznych (np. SAS, SPSS).  

 

Wykres normalnych Q-Q dla zredukowanego (n = 23) zbioru danych jest 

pokazany w Rycinie 2. Diagonalna linia referencyjna na wykresie odnosi sie do 

idealnie normalnego rozkladu pozostalosci regresji. Jak mozemy zauwazyc z Ryciny 

2, poza nieznaczna sklonnoscia rozkladu pozostalosci do skosnosci do lewej strony, 

wzorzec wykresu pozostalosci wskazuje na rozklad nie odbiegajacy w znaczny 

sposób od rozkladu normalnego. 

----- tutaj Rycina 2 ----- 

 

Analiza stopnia spelnienia zalozenia normalnosci rozkladu pozostalosci jest w 

wielu aspektach trudniejsza od analizy innych zalozen modelu regresji. Jezeli próba 

 

23 

badawcza jest relatywnie mala ocena normalnosci rozkladu jest relatywnie trudna. 

Ponadto, brak spelnienia innych zalozen modelu regresji zwykle wplywa na rozklad 

pozostalosci. Na przyklad, pozostalosci moga nie posiadac normalnego rozkladu 

poniewaz niewlasciwa funkcjonalna forma modelu jest testowana, lub poniewaz 

rozklad pozostalosci nie posiada stalej wariancji. Z tego powodu, zwykle dobra 

strategia jest egzaminowanie stopnia spelnienia pozostalych zalozen modelu regresji 

przed sprawdzeniem normalnosci rozkladu pozostalosci. 

 

Efektywnym sposobem korekty braku normalnosci pozostalosci jest 

transformacja zmiennej Y, z zastosowaniem prostej transformacji z rodziny 

transformacji drabiny poteg (ladder of powers) Tukeya (1977). Taka transformacja 

polega na wyrazeniu zmiennej Y jako 

p

Y

Y

′ =

. Typowo p = -2, -1, -1/2, 1/2, 2, lub 3. 

Zauwazmy, ze p = 1 oznacza brak transformacji. Transformacja dla p = 0 byla by 

bezuzyteczna gdyz 

0

1

Y

=

. Z tego powodu transformacja dla p = 0 oznacza 

transformacje logarytmiczna 

Y

logY

′ =

. Transformacje w „góre” (p > 1) drabiny 

poteg koryguja pozytywna skosnosc rozkladu pozostalosci, transformacje w „dól” (p 

< 1) drabiny poteg koryguja negatywna skosnosc rozkladu. 

 

STALOSC WARIANCJI POZOSTALOSCI REGRESJI 

Brak stalosci rozproszenia pozostalosci regresji w calym zakresie wartosci 

zmiennych wyjasniajacych jest nazywana heteroscedastycznoscia (heteroscedasticity). 

Jezeli zalozenie homogenicznosci rozproszenia pozostalosci jest spelnione to 

mówimy, ze dane sa homoscedastyczne (homoscedastic). Heteroscedastycznosc nie 

powoduje obciazenia szacunków parametrów regresji, ale wplywa ujemnie na 

szacunki bledu standardowego regresji. W konsekwencji, heteroscedastycznosc 

 

24 

zagraza wnioskowaniu statystycznemu odnosnie szacowanych wspólczynników 

regresji oraz ujemnie obciaza szacunki R

2

 (Carroll i Ruppert, 1988). 

 

Heteroscedastycznosc moze byc zdiagnozowana za pomoca wykresu 

rozproszenia pozostalosci regresji e

i

 i wartosci przewidywanych 

i

ˆ

Y

. W przypadku 

regresji prostej, wykres pozostalosci i wartosci przewidywanych moze byc zastapiony 

wykresem  e

i

 i wartosciami zmiennej wyjasniajacej X

i

, poniewaz  ˆ

Y  jest linowa 

funkcja X.  

Wykres pozostalosci regresji i wartosci przewidywanych dla naszego modelu 

regresji ET na DT i DPM testowanego w zredukowanym (n = 23) zbiorze danych jest 

pokazany w Rycinie 3. Wzorzec rozproszenia pozostalosci regresji w Rycinie 3 nie 

ukazuje zadnej systematycznosci i odpowiada warunkowi spelnienia zalozenia 

homoscedastycznosci.  

----- tutaj Rycina 3 ----- 

Gdy zalozenie homoscedastycznosci nie jest spelnione, wykres e

i

 i 

i

X  (lub e

i

 i 

i

ˆ

Y

) pokazuje regularny wzorzec rozproszenia pozostalosci. Dwie takie sytuacje sa 

przedstawione w Rycinie 4. Jak mozemy zauwazyc w Rycinie 4a, pozostalosci 

regresji systematycznie rosna wraz z wartosciami zmiennej wyjasniajacej. Taki 

wzorzec heteroscedastycznosci jest czesto obserwowany w danych rozwojowych, gdy 

zmienna wyjasniana jest cecha podlegajac procesowi rozwoju a zmienna wyjasniajaca 

jest wiek, poniewaz rosnace zróznicowanie interindywidualne jest naturalnym 

zjawiskiem rozwojowym. Inny wzorzec heteroscedastycznosci jest przedstawiony w 

Rycinie 4b. W tym przypadku, wariancja pozostalosci regresji jest najmniejsza dla 

srednich wartosci zmiennej wyjasniajacej, i rosnie w raz z rosnacymi i malejacymi 

wartosciami zmiennej wyjasniajacej. 

----- tutaj Rycina 4 ----- 

 

25 

Gdy wzorzec heteroscedastycznosci nie jest zbyt zlozony to mozemy 

zastosowac transformacje z rodziny drabiny poteg 

(

)

p

Y

Y

′ =

 jako metode korekty 

tego problemu. Na przyklad, w sytuacji przedstawionej w Rycinie 4a powinnismy 

zastosowac transformacje z p < 1. Natomiast gdyby wariancja pozostalosci 

systematycznie malala wraz z wartosciami  ˆ

Y  to powinnismy zastosowac 

transformacje z p > 1. Typowo najbardziej skuteczna transformacje dobieramy 

metoda prób i bledów. Poniewaz transformacja zmiennej Y moze zmienic 

funkcjonalna forme regresji Y na X

j

 powinnismy zawsze sprawdzic czy linowa forma 

zwiazku jest dalej odpowiednia po dokonaniu transformacji zmiennej Y. 

Gdy linowy zwiazek pomiedzy  Y i X

j

 jest odpowiedni, ale wariancje 

pozostalosci regresji nie sa stale, alternatywa do transformacji Y jest zastosowanie 

estymatora wazonych najmniejszych kwadratów (weighted least squares, WLS). 

Estymator WLS rózni sie od estymatora OLS tym, ze pozostalosci regresji e

i

 sa 

wazone waga 

2

1

i

i

w

σ

=

 równa odwrotnosc wariancji pozostalosci regresji obserwacji 

i, w wyrazeniu dla sumy kwadratu pozostalosci, 

2

w

i i

RSS

w e

=

∑

 (Carroll i Ruppert, 

1988). Estymator WLS wymaga wiedzy o wariancji 

2

i

σ , której zwykle nie 

posiadamy. W takich przypadkach wariancje 

2

i

σ  musza byc oszacowane. Jednak 

stosowanie szacunków dla 

i

w  w znacznym stopniu komplikuje inferencje 

statystyczna w regresji. Na przyklad wielkosc wspólczynnika wielokrotnej 

determinacji R

2

 powinna byc interpretowana z ostroznoscia poniewaz nie posiada ona 

jasnej interpretacji dla estymatora WLS (Neter i in., 1996). Regresja z zastosowaniem 

estymatora WLS jest mozliwa za pomoca standardowych pakietów statystycznych 

(np. SAS, SPSS).  

 

 

26 

NIELINIOWOSC 

Niespelnienie zalozenia liniowosci funkcjonalnej formy modelu implikuje, ze 

testowany model regresji nie wyjasnia, w sposób zadawalajacy, systematycznego 

zwiazku pomiedzy  Y i dana zmienna X

j

. Na przyklad, relacja pomiedzy  Y i jedna (lub 

wiecej) zmienna X

j

 moze byc nieliniowa, lub dwie zmienne wyjasniajace mo ga nie 

miec efektu addytywnego poniewaz pozostaja w interakcji w ich efekcie na Y. W 

takich przypadkach zalozenie, ze 

( )

0

i

E

ε

=

 w calym zakresie wartosci zmiennych  X

j

 

nie bedzie spelnione. 

W regresji prostej wykres rozproszenia wartosci e

i

 i X

i

 jest niezmiernie 

uzyteczny w zobrazowaniu natury zwiazku pomiedzy tymi zmiennymi. Jednak, w 

regresji wielokrotnej podobne wykresy dla e

i

 i kazdej zmiennej X

ij

 sa nieadekwatne 

poniewaz, w tym wypadku, jestesmy zainteresowani w czastkowej relacji pomi edzy  Y 

i kazda zmienna X

j

, kontrolujac pozostale zmienne 

k

j

X

≠

. 

W Rycinie 5 przedstawiamy typowy wzorzec rozproszenia pozostalosci 

regresji gdy linowa relacja 

0

1

ˆ

Y

b

b X

= +

 jest nieadekwatna do wyjasnienia 

kwadratowego zwiazku pomiedzy  Y i X. Jak mozemy zauwazyc w Rycinie 5, 

zalozenie 

( )

0

i

E

ε

=

 jest w oczywisty sposób pogwalcone gdyz srednia wartosc 

pozostalosci jest 

0

e

<

 dla niski i wysokich wartosci X, natomiast 

0

e

>

 dla srednich 

wartosci zmiennej X. 

----- tutaj Rycina 5 ----- 

Aby w pelni zdiagnozowac odstepstwa od liniowosci zwiazku  Y na X

j

 musimy 

skupic nasza uwage na szczególnych wzorcach warunkowego rozkladu pozostalosci 

regresji i rozkladzie danej zmiennej wyjasniajacej. W regresji wielokrotnej, taka 

diagnoze umozliwiaja wykresy nazywane partial-residual plots (Larsen i McCleary, 

 

27 

1972; Atkinson, 1985), lub alternatywnie nazywane component-plus-residual plot 

(Wood, 1973; Cook i Weisberg, 1994) aby podkreslic to, ze warunkowy rozklad 

pozostalosci regresji sklada sie z komponentu linowego modelu danej zmiennej 

wyjasniajacej i pozostalosc regresji. Proponuje stosowanie tlumaczenia nomenklatury 

zaproponowanej przez Larsena i McClearygo (1972) jako „wykres pozostalosci 

czastkowej”.  

W wykresie pozostalosci czastkowych 

( )

j

i

e

 i wartosci danej zmiennej 

wyjasniajacej X

ij

, pozostalosci czastkowe dla zmiennej X

j

 sa zdefiniowane jako 

 

( )

j

i

i

j

ij

e

e

b X

= +

, 

gdzie pierwszy komponent e

i

 jest pozostaloscia z pelnego modelu regresji, a b

j

X

ij

 jest 

linowym komponentem czastkowego zwiazku pomiedzy  Y i dana zmienna X

j

. W 

przeciwienstwie do prostego wykresu e

i

 i X

ij

, wykres pozostalosci czastkowej sa 

efektywne w diagnostyce nieliniowosci poniewaz pokazuja czy dany zwiazek 

czesciowy Y na X

j

 jest monotoniczny (jedynie rosnacy lub malejacy) czy 

niemonotoniczny (np. malejacy a nastepnie rosnacy). Nielinowy zwiazek 

monotoniczny moze byc skorygowany za pomoca prostej transformacji danej 

zmiennej wyjasniajacej 

p

j

j

X

X

′ =

, natomiast nielinowy zwiazek niemonotoniczny nie 

moze byc skorygowany za pomoca prostej transformacji z rodziny transformacji 

poteg (Fox, 1991). Wykresy pozostalosci czastkowej sa dostepne w pakiecie SAS, ale 

nie sa obecnie zaimplementowane w pakiecie SPSS. 

Wykresy pozostalosci czastkowej dla regresji ET na DT i DPM testowanej w 

zredukowanym (n = 23) zbiorze par malzenskich sa przedstawione w Rycinie 6. 

Rycina 6a przedstawia czesciowy efekt dlugosci terapii na efektywnosc terapii, 

natomiast Rycina 6b przedstawia czesciowy efekt dlugosci pozycia malzenskiego na 

efektywnosc terapii. Jak mozemy zauwazyc w Rycinie 6, oba wykresy pokazuja, ze 

 

28 

linowa funkcja dla regresji czastkowych ET na DT oraz ET na DPM jest adekwatna 

do opisania relacji pomiedzy tymi zmiennymi. 

----- tutaj Rycina 6 ----- 

 

BLAD POMIAROWY W Y I X 

Klasyczny model regresji zaklada, ze zmienna Y i X

j

 sa pozbawione bledu 

pomiarowego (Draper i Smith, 1981; Weisberg, 1985; Fuller, 1987; Neter i in., 1996; 

Hausman, 2001). Chociaz blad pomiarowy jest powszechny, obecnosc bledu 

pomiarowego jest czesto niedocenianym aspektem komplikujacym wnioskowanie w 

analizie regresji (Fuller, 1991). Problem bledu pomiarowego najlepiej 

zademonstrowac na przykladzie regresji prostej. Zalózmy, ze pragniemy oszacowac 

zwiazek pomiedzy czasem spedzonym na nauce jezyka angielskiego i kompetencja 

jezykowa ucznia. Zdefiniujmy X

i

 jako prawdziwa wartosc spedzonego czasu, a 

*
i

X  

jako wartosc podana przez ucznia i. Podobnie zdefiniujmy Y

i

 jako prawdziwy poziom 

kompetencji ucznia, a 

*

i

Y  jako zaobserwowany poziom kompetencji ucznia i. W 

konsekwencji mozemy zdefiniowac blad pomiarowy w Y i X jako 

 

*

i

i

i

*

i

i

i

Y

Y

X

X

ζ

δ

=

−

=

−

 

Model regresji, który pragniemy testowac posiada standardowa forme  

 

0

1

i

i

i

Y

X

β

β

ε

=

+

+

. 

Jednak, my jedynie mozemy zaobserwowac 

*
i

X  i 

*

i

Y , i w konsekwencji testowany 

model regresji jest: 

 

(

)

(

)

(

)

0

1

0

1

0

1

1

*

*

i

i

i

i

i

*

*

i

i

i

i

i

*

i

i

i

i

Y

X

Y

X

X

ζ

β

β

δ

ε

β

β

δ

ε ζ

β

β

ε ζ β δ

− =

+

−

+

=

+

−

+ +

=

+

+

+ −

 

 

29 

Powyzsze równanie moze wygladac na typowy model regresji ze zmienna 

wyjasniajaca 

*

X  i elementem bledu 

1

ε ζ β δ

+ −

, ale nim nie jest. Zmienna niezalezna 

jest zmienna losowa skorelowana z elementem bledu 

1

ε ζ β δ

+ −

. W konsekwencji, 

standardowe zalozenia klasycznego modelu regresji nie moga byc zastosowane 

(Weisberg, 1985; Bollen, 1989; Fuller, 1991; Neter i in., 1996). 

Tak dlugo jak blad pomiarowy w Y jest losowy, nie skorelowany i 

nieobciazony, blad pomiarowy w Y jest absorbowany w pozostalosci regresji 

ε

. 

Element bledu w modelu regresji, 

ε

, odzwierciedla kompozyt duzej liczby 

czynników, które nie sa brane pod uwage w testowanym modelu. Teraz jednym z tych 

czynników jest blad pomiaru 

ζ . Poniewaz blad pomiarowy w zmiennej zaleznej 

jedynie wplywa na wielkosc pozostalosci modelu regresji 

ε ζ

+

, jedyna praktyczna 

konsekwencje bledu pomiarowego w Y to zanizone szacunki R

2

 oraz zawyzone 

szacunki bledów standardowych parametrów modelu (Neter i in., 1996; Hausman, 

2001). 

Niestety, konsekwencje obecnosci bledu pomiarowego w zmiennej 

wyjasniajacej X sa bardziej znaczace dla trafnosci szacowanego modelu regresji. W 

tym wypadku, pozostalosci regresji 

1

ε β δ

−

 sa skorelowane ze zmienna wyjasniajaca 

*

X . W regresji prostej obecnosc bledu pomiarowego w zmiennej wyjasniajacej 

powoduje niedoszacowanie wspólczynnika regresji 

1

β

. To jest estymator b

1

 jest 

negatywnie obciazony odwrotnie proporcjonalnie do poziomu rzetelnosci pomiaru 

( )

XX

ρ

 zmiennej wyjasniajacej: 

1

1

XX

b

ρ β

=

 (Bollen, 1989; Wetherill i in., 1986; 

Fuller, 1991; Hausman, 2001). W przypadku regresji wielokrotnej ocena wplywu 

bledu pomiarowego w X

j

 na szacunki parametrów modelu regresji b

j

 jest 

zdecydowanie bardziej skomplikowana. Efekt bledu pomiarowego zalezy od poziomu 

 

30 

rzetelnosci pomiaru zmiennych wyjasniajacych oraz od wzajemnych relacji pomiedzy 

tymi zmiennymi. W regresji wielokrotnej, blad pomiarowy w X

j

 moze zanizyc, 

zawyzyc lub pozostawic be zmiany szacunki wspólczynników regresji. Ponadto, 

szacunki wspólczynników dla zmiennych wolnych od bledu pomiarowego sa takze 

obciazone, poniewaz blad pomiarowy w jednej zmiennej wyjasniajacej jest 

propagowany w calym modelu regresji (Lord, 1960). 

 

Blad pomiarowy w zmiennych wyjasniajacych nie musi byc zawsze 

destruktywny dla analizy regresji. Berkson (1950) opisal bardzo wazny przypadek 

zastosowania regresji w predykcji. Jezeli zmienne przewidujace sa mierzone z bledem 

teraz i w przyszlosci, to pozadany model regresji jest dla zmiennych mierzonych z 

bledem, 

*

X . W tym wypadku, prawdziwe wartosci tych zmiennych, X, nas nie 

interesuja poniewaz w przyszlosci bedziemy jedynie znali 

*

X  a nie X. Dlatego, blad 

pomiarowy moze nie byc istotny dla problemów, w których szacowany zwiazek 

bazuje na zaobserwowanych wartosciach, a nie na nieobserwowalnych prawdziwych 

wartosciach zmiennych wyjasniajacych. 

 

Jednak w sytuacjach gdy pragniemy oszacowac sile i/lub forme zwiazku 

pomiedzy  Y i X

j

, na przyklad w weryfikacji lub konstrukcji teorii psychologicznych, 

obecnosc bledu pomiarowego znacznie komplikuje sytuacje regresji. W tradycji 

ekonometrycznej, typowym podejsciem do problemu bledu pomiarowego w X jest 

zastosowanie tak zwanej regresji ze zmiennymi instrumentalnymi (instrumental 

variables) (Fuller 1987, 1991; Angrist i Krueger, 2001; Hausman, 2001). Takie ujecie 

modelu regresji wymaga pomiaru zmiennej Z, która pozostaje w relacji z 

prawdziwymi wynikami X, 

(

)

,

0

cov Z X

≠

, i nie jest skorelowana ani z bledem 

pomiarowym 

δ

, 

(

)

,

0

cov Z

δ

=

, ani z pozostaloscia regresji 

ε

, 

(

)

,

0

cov Z

ε

=

 

(Hausman, 2001). Zmienna Z jest nazywana instrumentem, poniewaz jest uzyta 

 

31 

jedynie instrumentalnie, jako srodek do poznania prawdziwej (nieobciazonej bledem 

pomiarowym) relacji miedzy X i Y. W modelu regresji ze zmienna instrumentalna 

najpierw szacujemy wartosci przewidywane ˆ

X  z regresji X na Z, a nastepnie 

szacujemy interesujace nas parametry modelu (

0

β  i 

1

β

) z regresji Y na  ˆ

X . Taki 

dwuetapowy estymator jest nazywany dwustopniowa metoda najmniejszych 

kwadratów (two-stage least squares) (James i Singh, 1978). W wielu przypadkach 

zastosowanie zmiennych instrumentalnych moze byc pomocne w korekcie 

konsekwencji obecnosci bledu pomiarowego w X. Jednak w przypadkach tak 

zwanych „slabych instrumentów” – gdy relacja pomiedzy X i Z jest slaba oraz/lub gdy 

blad pomiarowy w X jest znaczacy – regresja ze zmiennymi instrumentalnymi moze 

dac znacznie obciazone szacunki parametrów modelu regresji (Hausman, 2001). 

Analiza regresji ze zmiennymi instrumentalnymi jest mozliwa za pomoca SAS i 

SPSS. 

Fuller (1975; 1987; 1991) zaprezentowal alternatywna strategie 

przezwyciezenia problemu bledu pomiarowego w X oparta na powtórnym pomiarze 

tej zmiennej. Zastosowanie metody test-retest pozwala na jednoczesne oszacowanie 

wariancji bledu pomiarowego w X, 

( )

var

δ

, i uzycie tej informacji w szacowaniu 

parametrów modelu regresji. Szacowanie parametrów odbywa sie za pomoca 

specjalistycznego estymatora dla tak zwanych „zlozonych prób badawczych” 

(„complex sample designs”), zaimplementowanego w pakiecie EV CARP (Schnell, 

Park i Fuller, 1988). Podejscie zaprezentowane przez Fullera (1975; 1987; 1991) 

posiada jednak powazne ograniczenia praktyczne wynikajace z zastosowanej metody 

szacowania 

( )

var

δ

. Metoda test-retest wymaga kosztownego powtórnego testowania 

przynajmniej czesci respondentów oraz okreslenia optymalnego interwalu dzielacego 

obie chwile pomiaru. Jezeli ten interwal jest zbyt krótki to pomiary moga nie byc 

 

32 

niezalezne, a szacowany poziom rzetelnosci bedzie pozytywnie obciazony (Fuller, 

1991). Przy zbyt dlugim interwale dzielacym chwile pomiaru szacowany poziom 

rzetelnosci moze byc obciazony negatywnie z powodu naturalnych i 

niesystematycznych zmian, którym ulega dana zmienna wyjasniajaca (Crocker i 

Algina, 1986). 

Obecnie najszerzej stosowana strategia przezwyciezania konsekwencji bledu 

pomiarowego jest przeksztalcenie problemu regresji w ogólny model równan 

strukturalnych SEM. SEM jest modelem statystycznym integrujacym model bledu 

pomiarowego (konfirmacyjna analize czynnikowa) z modelem strukturalnym (analiza 

sciezkowa) (Bollen, 1989). W podejsciu SEM zakladamy, ze zmienna wyjasniana 

η  

oraz zmienne wyjasniajace 

j

ξ  sa jedynie obserwowalne poprzez wskazniki tych 

zmiennych y i x. Czesc pomiarowa modelu SEM zawiera równania dla zmiennych 

obserwowalnych: 

 

y

x

y = ? ? + ?

x = ? ? + d

 

gdzie macierze 

y

?  i 

x

?  zawieraja ladunki czynnikowe, a 

?  i 

d

 sa wektorami bledu 

pomiarowego. W czesci strukturalnej, wspólczynniki regresji (

j

γ ) reprezentuja efekty 

latentnych zmiennych wyjasniajacych na latentna zmienna wyjasniana: 

 

1 1

2 2

p

p

η γ ξ γ ξ

γ ξ

ε

=

+

+ +

+

K

. 

Szacowanie parametrów zawartych w czesci pomiarowej oraz strukturalnej modelu 

SEM odbywa sie jednoczesnie za pomoca estymatora najwiekszej wiarygodnosci 

(maximum likelihood). Jezeli zalozenia modelu sa spelnione to otrzymujemy szacunki 

wspólczynników modelu regresji 

η  na 

j

ξ  nieobciazone obecnoscia bledu 

pomiarowego w zmiennych obserwowalnych y i x (Bollen, 1989). Podejscie SEM 

 

33 

wymaga, jednak, ze nasz plan badawczy przewiduje pomiar dla przynajmniej dwóch 

wskazników (indicators) kazdej zmiennej latentnej zawartej w testowanym modelu 

regresji. Zastosowanie podejscia SEM jest mozliwe za pomoca pakietu SAS, lub 

jednego z wielu dostepnych specjalistycznych pakietów SEM, z których najszerzej 

znanym jest LISREL 8 (Jöreskog, Sörbom, 1993). 

 

W wielu empirycznych aplikacjach modelu regresji rzetelnosci zmiennych 

zawartych w testowanym modelu sa znane z wlasnych badan psychometrycznych lub 

z literatury tematu. Fuller i Hidiroglou (1978) oraz Fuller (1987) demonstruja 

dwuetapowa metode uzycia zewnetrznej informacji o poziomie rzetelnosci zmiennych 

(Y i/lub X

j

) w szacowaniu parametrów modelu regresji. W pierwszym etapie 

zaobserwowana macierzy kowariancji jest skorygowana o znany poziom rzetelnosci 

zmiennych zawartych w testowanym modelu. W drugim etapie, tak skorygowana 

macierz kowariancji jest uzyta do szacowania parametrów modelu regresji. Marais i 

Wecker (1998) demonstruja zastosowanie metody Fullera i Hidirogloua (1978) w 

szacowaniu efektu olowiu na iloraz inteligencji za pomoca standardowego pakietu 

statystycznego. 

Bollen (1989) demonstruje zastosowanie metody Fullera i Hidirogloua (1978) 

w kontekscie ogólnego modelu SEM. W podejsciu SEM metoda Fullera i Hidirogloua 

(1978) polega na zrównaniu danej zmiennej obserwowalnej ze swoja zmienna 

latentna, 

j

j

X

ξ

=

, poprzez ograniczenie ladunku czynnikowego tej zmiennej do 

jednosci, 

1

j

X

λ

=

. Poniewaz proporcja wariancji w X

j

 spowodowana bledem pomiaru 

jest równa 

(

)

1

j

j

X X

ρ

−

 mozemy dalej ograniczyc wariancje bledu pomiarowego w 

testowanym modelu SEM tak aby odzwierciedlic znany poziom rzetelnosci w X

j

: 

 

( )

(

)

( )

1

j

j

j

X X

j

var

var X

δ

ρ

= −

. 

 

34 

Konceptualnie, takie sformulowanie problemu regresji pozwala na zastapienie 

arbitralnego zalozenia o rzetelnosci 

1

j

j

X X

ρ

=

, w klasycznym ujeciu regresji, innym 

arbitralnym, lecz bardziej realistycznym, zalozeniem o rzetelnosci 

1

j

j

X X

ρ

<

. Typowo 

taka analize realizujemy za pomoca specjalistycznego pakietu SEM (np. LISREL 8) 

lub ogólnego pakietu statystycznego pozwalajacego na testowanie modeli SEM (np. 

SAS). 

Konsekwencje bledu pomiarowego w Y i X

j

 na wyniki naszego modelu 

regresji sa przedstawione w Tabeli 2

6

. Model regresji ET na DT i DPM szacowany dla 

zredukowanego (n =  23) zbioru danych jest powtórnie pokazany jako Model 0 w 

Tabeli 2. W Modelu 0, zgodnie z zalozeniem klasycznego modelu regresji, przyjete 

rzetelnosci zmiennych sa równe jednosci (patrz Tabela 2). Dla porównania, Model 1 

w Tabeli 2 odnosi sie do szacunków tego samego modelu regresji, ale zakladajac 

rzetelnosc pomiaru dla naszej zmiennej wyjasnianej ET na poziomie 

0 80

ET,ET

.

ρ

=

7

. 

Porównanie szacunków dla Modelu 0 z szacunkami otrzymanymi dla Modelu 1 (patrz 

Tabela 2) potwierdza wyniki teoretyczne. Szacunki R

2

 oraz bledów standardowych 

wspólczynników regresji sa bardziej korzystne dla Modelu 1, lecz zalozenie pelnej 

rzetelnosci pomiaru dla ET w Modelu 0 nie rzutuje na szacunki parametrów naszego 

modelu regresji. Rozwazmy teraz konsekwencje bledu pomiarowego w zmiennej 

wyjasniajacej X

j

. Wyniki analizy naszego modelu regresji z zalozeniem poziomu 

rzetelnosci pomiaru 

90

DPM,DPM

.

ρ

=

 dla DPM sa przedstawione jako Model 2 w 

Tabeli 2

8

. Porównanie wyników dla Modelu 0 z wynikami dla Modelu 2 potwierdza 

rozlegly efekt bledu pomiarowego w zmiennej X

j

 dla, bez wyjatku, wszystkich 

szacowanych wartosci modelu regresji. W koncu, w ostatniej kolumnie Tabeli 2 

pokazujemy wyniki dla Modelu 3, w którym zakladamy rzetelnosc pomiaru zmiennej 

 

35 

ET na poziome 

80

ET,ET

.

ρ

=

, pelna rzetelnosc pomiaru dla DT, 

1 0

DT,DT

.

ρ

=

, oraz 

rzetelnosc pomiaru dla DPM na poziome

90

DPM,DPM

.

ρ

=

. Porównujac szacunki 

parametrów dla Modelu 3 z szacunkami dla pozostalych modeli w Tabeli 2 mozemy 

zauwazyc, ze laczne konsekwencje bledu pomiarowego w zmiennej wyjasnianej (ET) 

i zmiennej wyjasniajacej (DPM) sa zlozona funkcja indywidualnych konsekwencji 

bledu pomiarowego w tych zmiennych. 

----- tutaj Tabela 2 ----- 

 

PODSUMOWANIE I DYSKUSJA 

 

Zaprezentowane metody diagnostyczne podkreslaja potrzebe ostroznego 

rozwazenia cech analizowanego zbioru danych oraz testowanego modelu regresji. 

Analiza pozbawiona elementu sprawdzenia odpornosci testowanego modelu regresji 

moze prowadzic do nietrafnych wniosków badawczych. Diagnostyka zalozen modelu 

jest szczególnie wazna w malych próbach badawczych, gdyz odpornosc modelu 

regresji na brak spelnienia jego zalozen teoretycznych wzrasta wraz z wielkoscia 

próby badawczej. 

 

Jednak utajona pulapka diagnostyki moze byc tendencja do zbyt agresywnej a 

posteriori modyfikacji postulowanego modelu regresji, aby uchwycic losowe 

wlasciwosci analizowanego zbioru danych. Jezeli w wyniku dzialan diagnostycznych 

forma testowanego modelu ulega zmianie taki model jest, przynajmniej czesciowo, 

zdeterminowany przez analizowany zbiór danych. Najlepszym zabezpieczeniem 

przed nadmierna modyfikacja (over-fitting) testowanego modelu regresji jest 

replikacja wyników (cross-validation) analizy (Mosteller i Tukey, 1977). Replikacja 

wyników moze przyjac rózne formy. W typowym ujeciu replikacji analizowany zbiór 

danych jest losowo dzielony na dwie czesci przed jakakolwiek analiza statystyczna 

 

36 

(Snee, 1977). Pierwsza podpróba sluzy do analizy eksploracyjnej, której celem jest 

„znalezienie” optymalnego modelu regresji. Druga podpróba sluzy do konfirmacji 

(replikacji) wczesniej „znalezionego” modelu. Campbell i O’Connell (1982) oraz 

Fiske (1982) podkreslaja potrzebe replikacji wyników stosujac maksymalnie 

odmienne metody badawcze oraz instrumenty pomiaru. Wojciszke (2004) prezentuje 

koncept replikacji jak forme sekwencji badan, w której kolejne badania maja na celu 

replikacje wczesniej uzyskanych wyników oraz test wczesniej nie egzaminowanych 

hipotez badawczych. 

Czytelnicy pragnacy kontynuowac tematyke diagnostyki w regresji moga 

siegnac po takie pozycje specjalistyczne jak Fox (1991), Cook i Weisberg (1982), 

Belsley i in. (1980), Atkinson (1985), Carroll i Ruppert (1988) oraz Chatterjee i Hadi 

(1988). Prezentacja Fox’a (1991) jest najbardziej wyczerpujaca w zakresie 

poruszonych zagadnien diagnostycznych. Cook i Weisberg (1982) prezentuja metody 

diagnozy oraz korekty wplywowych obserwacji. Belsley i in. (1980) traktuja 

problemy wplywowych obserwacji oraz konsekwencje i metody korekty problemu 

wspólliniowosci. Pozycja Atkinson’a (1985) jest szczególnie wazna z powodu 

szczególowego potraktowania problemu transformacji oraz metod graficznych w 

diagnostyce. Monografia Carroll’a i Ruppert’a (1988) jest poswiecona problemowi 

heteroscedastycznosci, wplywowych obserwacji oraz alternatywnych metod estymacji 

w regresji. Pozycja Chatterjee i Hadi (1988) jest wysoce techniczna prezentacja 

zagadnien diagnostycznych oraz selekcji modelu regresji, i jest jedyna pozycja 

traktujaca problem konsekwencji bledu pomiarowego w regresji. 

 

37 

LITERATURA 

Angrist, J. D., Krueger, A. B. (2001). Instrumental variables and the search for 

identification: From supply and demand to natural experiments. Journal of 

Economic Perspectives, 15, 69-85. 

Atkinson, A. C. (1985). Plots, transformations and regression: An introduction 

to graphical methods of diagnostic regression analysis. Oxford: 

Clarendon Press. 

Belsley, D. A., Kuh, E., Welsch, R. E. (1980). Regression diagnostics: 

Identifying influential data and sources of collinearity. New York: Wiley. 

Berkson, J. (1950). “Are there two regressions?” Journal of the American 

Statistical Association, 45, 164-180. 

Bollen, K. A. (1989). Structural equations with latent variables. New York: 

Wiley. 

Bradbury, T. N., Fincham, F. D., Beach, S. R. (2000). Research on the nature 

and determinants of marital satisfaction: A decade in review. Journal of 

Marriage and the Family, 62, 964-980. 

Campbell, D. T., O’Connell, E. J. (1982). Methods as diluting trait relationships 

rather than adding systematic variance. W: D. Brinberg i L. Kidder (red.) New 

directions for methodology of social and behavioral science: Forms of 

validation in research, No. 12. San Francisco, C.A.: Jossey-Bass. 

Carroll, R. J., Ruppert, D. (1988). Transformation and weighting in regression. 

New York: Chapman and Hall. 

Chambers, J. M., Cleveland, W. S., Kleiner, B., Tukey, P. A. (1983). Graphical 

methods for data analysis. Pacific Grove, CA.: Wadsworth Publishing. 

Chatterjee, S., Hadi, A. S. (1988). Sensitivity analysis in linear regression.  

 

38 

New York: Wiley 

Cook, R. D. (1977). Deletion of influential observations in linear regression. 

Technometrics, 19, 351-361. 

Cook, R. D. Weisberg, S. (1982). Residuals and influence in regression. New  

York: Chapman and Hall. 

Cook, R. D., Weisberg, S. (1989). Regression diagnostics with dynamic 

graphics (with discussion). Technometrics, 31, 277-311. 

Cook, R. D., Weisberg, S. (1994). An introduction to regression graphics. New  

York: Chapman and Hall. 

Crocker, L., Algina, J. (1986). Introduction to classical and modern test 

theory. San Francisco, C.A.: Holt, Rinehart and Winston. 

Draper, N. R., Smith, H. (1981). Applied regression analysis, 2nd ed. New  

York: Wiley. 

Fiske, D. W. (1982). Convergent-discriminant validation in measurements and  

research strategies. W: D. Brinberg i L. Kidder (red.) New directions for 

methodology of social and behavioral science: Forms of validation in 

research, No. 12. San Francisco, C.A.: Jossey-Bass. 

Fox, J. (1990). Describing univariate distributions. W: J. Fox i J. S Long (red.) 

Modern Method of Data Analysis. Newbury Park, C.A.: Sage. 

Fox, J. (1991). Regression diagnostics. Newbury Park, C.A.: Sage. 

Fuller, W. A. (1975). Regression analysis for sample surveys. Sankhya, 37, 117- 

132. 

Fuller, W. A. (1987). Measurement error models. New York: Wiley. 

Fuller, W. A. (1991). Regression estimation in the presence of measurement 

 

39 

error. W: P. P. Biemer, R. M. Groves, L. E. Lyberg, N. A. Mathiowetz i S. 

Sudman (red.) Measurement Errors in Surveys. New York: Wiley. 

Fuller, W. A., Hidiroglou, M. A. (1978). Regression estimation after 

correcting for attenuation. Journal of the American Statistical Association, 73, 

99-105. 

Hausman, J. (2001). Mismeasured variables in econometric analysis: Problems  

from the right and problems from the left. Journal of Economic Perspectives, 

15, 57-67. 

Hoerl, A. E., Kennard, R. W. (1970a). Ridge regression: Biased estimation for  

nonorthogonal problems. Technometrics, 12, 55-67. 

Hoerl, A. E., Kennard, R. W. (1970a). Ridge regression: Applications to  

nonorthogonal problems. Technometrics, 12, 69-82. 

James, L. R., Singh, B. K. (1978). An introduction to the logic, assumptions,  

and basic analytic procedures of two-stage least squares. Psychological 

Bulletin, 85, 1104-1122. 

Jöreskog, K., Sörbom, D. (1993). LISREL 8 user’s reference guide. Chicago:  

Scientific Software International. 

Larsen, W. A., McCleary, S. A. (1972). The use of partial residual plots in 

regression analysis. Technometrics, 14, 781-790. 

Lord, F. (1960). Large-sample covariance analysis when the control variable is  

fallible. Journal of the American Statistical Association, 55, 307-321. 

Marais, M. L., Wecker, W. E. (1998). Correcting for omitted-variable and 

measurement-error bias in regression with an application to the effect of lead 

on IQ. Journal of the American Statistical Association, 93, 494-505. 

Marquardt, D.W., Snee, R. D. (1975). Ridge regression in practice. American 

 

40 

Statistician, 29, 3-19 

McCullagh, P., Nelder, J. A. (1989). Generalized linear models, 2nd ed. New 

York: Chapman and Hall. 

McCulloch, R. (1993). Fitting regression models with unknown transformations 

using dynamic graphics. The Statistician, 42, 153-160. 

Mosteller, F., Tukey, J. W. (1977). Data analysis and regression: A second 

course in statistics. Reading: MA: Addison-Wesley. 

Neter, J., Kutner, M. H., Nachtsheim, C. J., Wasserman, W. (1996). Applied 

linear statistical models, 4

th

 ed. Toronto: IRWIN. 

SAS Institute Inc. (1999a). SAS/STAT

®

 User's Guide, Version 8, Cary, NC: SAS 

Institute Inc. 

SAS Institute Inc. (1999b). SAS/INSIGHT User's Guide, Version 8, Cary, NC:  

SAS Institute Inc. 

Schnell, D., Park, H. J., Fuller, W. A. (1988). EV CARP. Ames, Iowa: Statistical 

Laboratory, Iowa State University. 

Snee, R. D. (1977). Validation of regression models. Methods and examples.  

Technometrics, 19, 415-428. 

Tukey, J. (1977). Exploratory data analysis. Reading: MA: Addison-Wesley. 

Weisberg, S. (1985). Applied linear regression, 2nd ed. New York: Wiley. 

Wetherill, G. B., Duncombe, P., Kenward, M., Köllerström, J., Paul, S. R.,   

Vowden, B. J. (1986). Regression analysis with applications. New York: 

Chapman and Hall. 

Wojciszke, B. (ma sie ukazac w 2004). Systematycznie modyfikowane 

 

41 

autoreplikacje: logika programu badan empirycznych w psychologii. W: J. 

Brzezinski (red.) Metodologia badan psychologicznych. Wybór tekstów. 

Warszawa: Wydawnictwo Naukowe PWN. 

Wood, F. S. (1973). The use of individual effects and residuals in fitting  

equations to data. Technometrics, 15, 677-695. 

 

 

 

42 

PRZYPISY DOLNE 

 

                                                 

1

 Przyklad jest tak skonstruowany, aby zademonstrowac jak najwiecej z prezentowanych zagadnien 

diagnostycznych. Chociaz prezentowany zbiór danych jest wygenerowany bez odniesienia do zadnej 
teorii lub badan odnosnie relacji malzenskich, niektóre z przyjetych relacji mozna zaobserwowac w 
literaturze tematu (np. Bradbury, Fincham i Beach, 2000). 

2

 Dokladna wartosc krytyczna z rozkladu 

( )

2

t

df

α

 zalezy od poziomu ufnosci 

(

)

1

α

−

oraz od 

wielkosci próby badawczej 

(

)

1

df

n

p

= − −

. W naszym przykladzie dokladna wartosc krytyczna 

wspólczynnika ufnosci jest t = 2.08. 

3

 Dokladna wartosc krytyczna jest t = 2.08. 

4

 Zauwazmy, ze jedynie w przypadku regresji z dwoma zmiennymi wyjasniajacymi ten wspólczynnik 

jest równy kwadratowi korelacji pomiedzy tymi zmiennymi 

1 2

2

2

j

x x

R

r

=

. 

5

 Nalezy jednak podkreslic, ze jest to jedynie warunek wystarczajacy ale nie konieczny, i dlatego brak 

relatywnie wysokich korelacji pomiedzy zmiennymi wyjasniajacymi nie oznacza braku problemu 
zaleznosci linowej w testowanym modelu regresji. 

6

 Modle 1 do 3 byly testowane za pomoca pakietu LISREL 8.53. 

7

 Przyjety poziom rzetelnosci 

80

ET,ET

.

ρ

=

 jest typowy dla pomiaru zmiennych psychologicznych.  

8

 Przyjety poziom rzetelnosci 

90

DPM,DPM

.

ρ

=

 jest arbitralny, ale moze powstac w wyniku zaokraglania 

wartosci do najblizszego roku. 

-20

0

20

40

60

Dlugosc terapii (DT)

-40

-20

0

20

40

Efektywnosc terapii (ET)

(a)

19

18

23

15

-3

0

3

6

Dlugosc pozycia malzenskiego (DPM)

-40

-20

0

20

40

Efektywnosc terapii (ET)

(b)

18

15

19

23

Rycina 1.   Wykresy regresji czesciowej dla (a) dlugosci terapii (ET) i (b) 
dlugosci pozycia malzenskiego (DPM) z regresji ET na DT i DPM

 

-3.0

-1.5

0.0

1.5

3.0

Rozklad normalny

-3.0

-1.5

0.0

1.5

3.0

t-standaryzowane pozostalosci

 

 

Rycina 2.   Wykres normalnych centyli (Q-Q) z  

regresji ET na DT i DPM

 

-20

0

20

40

60

Wartosci przewidywane

-40

-20

0

20

40

Pozostalosci regresji

 

 

Rycina 3.  Wykres pozostalosci regresji (e

i

) i wartosci 

przewidywanych (

i

ˆ

Y

) z regresji ET na DT i DPM

 

0

15

30

45

60

X

-3.0

-1.5

0.0

1.5

3.0

Pozostalosci regresji

(a)

0

15

30

45

60

X

-3.0

-1.5

0.0

1.5

3.0

Pozostalosci regresji

(b)

 

Rycina 4.   Wykresy pozostalosci regresji (e

i

) i wartosci zmiennej 

wyjasniajacej (X

i

) ukazujace brak spelnienia zalozenia heteroscedastycznosci

 

0

15

30

45

60

X

-3.0

-1.5

0.0

1.5

3.0

Pozostalosci regresji

 

 

Rycina 5.   Wykresy pozostalosci regresji (e

i

) i 

wartosci zmiennej wyjasniajacej (X

i

) ukazujace 

nieliniowa relacje pomiedzy  Y i X

 

10

20

30

40

Dlugosc terapii (DT)

0

15

30

45

60

Pozostalosci czesciowe

(a)

1

4

7

10

Dlugosc pozycia malzenskiego (DPM)

-60

-45

-30

-15

0

Pozostalosci czesciowe

(b)

Rycina 6. 

Wykresy pozostalosci czesciowej dla regresji ET na DT (panel 

a) oraz regresji ET na DPM (panel b)

 

Tabela 1 

Dane Syntetyczne dla 25 Par Malzenskich Uczestniczacych 

w Terapii Rodzinnej 

Para 

ET 

DT 

DPM 

LD 

1 

23 

29 

5.5 

2 

2 

50 

25 

4.0 

2 

3 

38 

25 

4.5 

1 

4 

6 

17 

8.0 

3 

5 

-6 

15 

7.0 

2 

6 

-2 

20 

8.0 

3 

7 

57 

24 

2.0 

0 

8 

35 

14 

2.0 

0 

9 

31 

11 

3.0 

2 

10 

14 

12 

4.0 

1 

11 

41 

29 

2.5 

1 

12 

58 

38 

3.0 

1 

13 

32 

20 

4.5 

2 

14 

19 

24 

5.0 

2 

15 

-9 

23 

4.0 

2 

16 

10 

10 

1.5 

0 

17 

13 

14 

2.0 

1 

18 

29 

19 

11.0 

4 

19 

35 

82 

8.0 

3 

20 

28 

21 

5.0 

2 

21 

38 

26 

3.0 

1 

22 

46 

18 

2.5 

1 

23 

-8 

10 

9.5 

3 

24 

4 

18 

7.0 

3 

25 

7 

25 

2.0 

1 

 

ET - efektywnosc terapii 
DT - dlugosc terapii w tygodniach 
DPM - dlugosc pozycia malzenskiego w latach 
LD - liczba dzieci 

Tabela 2 

Szacunki dla Modelu Regresji ET na DT i DMP Uwzgledniajace Rózne 
Poziomy Rzetelnosci (Bledu Pomiarowego) Zmiennych 

Parametr 

Model 0 

Model 1 

Model 2 

Model 3 

ET,ET

ρ

 

1.00 

0.80 

1.00 

0.80 

DT,DT

ρ

 

1.00 

1.00 

1.00 

1.00 

DPM,DPM

ρ

 

1.00 

 

1.00 

 

0.90 

 

0.90 

 

b

0

 

17.33 

(12.80) 

17.33 

(12.20) 

20.25 

(12.84) 

20.25 

(12.84) 

b

DT

 

1.25* 

(0.47) 

1.25* 

(0.45) 

1.21* 

(0.45) 

1.21* 

(0.45) 

b

DPM

 

-4.59* 

(1.46) 

-4.59* 

(1.40) 

-5.12* 

(1.57) 

-5.12* 

(1.57) 

R

2

 

0.51 

0.63 

0.54 

0.67 

* p < .01  

† wartosci w nawiasach to bledy standardowe 

( )

s b