MODELE ZMIENNYCH JAKOŚCIOWYCH
Modele dwumianowe (dychotomiczne) są najprostszymi i najpopularniejszymi
modelami, w których zmienna objaśniana jest zmienną jakościową. W modelach tych
zmienna objaśniana jest kwantyfikowana za pomocą zmiennej zerojedynkowej. Niech yi
oznacza i-tą realizację zmiennej zerojedynkowej Y. Zmienna yi ma rozkład Bernoulliego.
Przyjmuje wartość 1 z prawdopodobieństwem Pi oraz wartość 0 z prawdopodobieństwem1-Pi.
Wartość oczekiwana zmiennej yi wynosi:
E(yi ) =�1�� Pi +� 0��(1-� Pi ) =� Pi
W modelach dwumianowych zakłada się, że Pi jest funkcją wektora wartości zmiennych
objaśniających xi dla i-tego obiektu oraz wektora parametrów b�:
Pi =� P(yi =�1) =� F(xT�)
i
W zależności od typu funkcji F wyróżnia się różne rodzaje modeli. Do najbardziej znanych
należą:
�� liniowy model prawdopodobieństwa, którym Pi =� F(xT�) =� xT� ,
i i
1
�� model logitowy, dla którego Pi =� F(xT�) =� ,
i
1+� exp -�xT�
(� )�
i
xT�
i
ć� ��
1 t2
�� model probitowy, gdzie Pi =� F(xT�) =� exp�� -� .
i ��dt
��
2
2p�
Ł� ł�
-�Ą�
LINIOWY MODEL PRAWDOPODOBIEC
STWA (LMP)
W liniowym modelu prawdopodobieństwa:
P(yi =�1) =� Pi =� F(xT�) =� xT� , stąd P(yi =� 0) =�1-� Pi =�1-� F(xT�) =�1-� xT� ,
i i ii
czyli wartość oczekiwana dla zmiennej zerojedynkowej Y jest następująca:
E(yi ) =�1�� Pi +� 0��(1-� Pi) =� Pi =� xT�
i
Wychodząc z tożsamości yi =� E(yi ) +� yi -� E(yi ) oraz definiując e�i =� yi -� E(yi ) , otrzymuje
(� )�
się, że yi =� E(yi ) +�e�i =� xT� +�e�i , ostatecznie więc, liniowy model prawdopodobieństwa
i
można przedstawić jako:
yi =� xT� +�e�i
i
W LMP parametr b� przy zmiennej Xj interpretujemy jako wzrost prawdopodobieństwa
j
zdarzenia P(yi =�1) w wyniku wzrostu zmiennej Xj o jednostkę (przy założeniu ceteris
paribus).
W LMP
dla yi =�1 z prawdopodobieństwem Pi mamy: 1 =� xT� +�e�i , czyli e�i =�1-� xT� =�1-� Pi ,
i i
dla yi =� 0 z prawdopodobieństwem 1-Pi mamy: 0 =� xT� +�e�i , czyli e�i =� -�xT� =� -�Pi ,
i i
Var(e�i ) =� Pi (1-� Pi )2 +� (1-� Pi )(-�Pi )2 =� Pi (1-� Pi)
Wariancje składników losowych w liniowym modelu prawdopodobieństwa są różne. Do
estymacji wektora b� nie należy wykorzystywać zwykłej MNK. Można za to zastosować
uogólnioną metodą najmniejszych kwadratów, w której wektor ocen parametrów wyraża się
wzorem:
-�1
b =� XT�-�1X XT�-�1Y (&)
(� )�
gdzie:
W� - macierz kowariancji i wariancji składników losowych określona wzorem:
��P1 1-� P1 0 ... 0 ł�
(� )�
��
0 P2 1-� P2 ... 0
(� )�
��
� =� (*)
��
... ... ... ...
ę�
0 0 ... Pn 1-� Pn ś�
(� )�ś�
��
��
Na przekątnej macierzy W� znajdują się wariancje składników losowych e�i (i=1, 2, & n). Poza
przekątną znajdują się kowariancje składników losowych. Zakładając, że składniki losowe są
nieskorelowane ze sobą, otrzymuje się kowariancje równe zero.
Do wyznaczenia wektora ocen parametrów b niezbędna jest macierz W� (macierz X oraz
wektor Y są znane). Do oszacowania elementów macierzy W� niezbędne są
prawdopodobieństwa Pi. W niektórych sytuacjach Pi są znane, w pozostałych trzeba je
oszacować. Prawdopodobieństwo Pi można określić w następujący sposób1:
1. Należy oszacować parametry liniowego modelu prawdopodobieństwa:
W tym przypadku ocena wektora parametrów wyraża się wzorem:
-�1
bMNK =� XT X XTY (**)
(� )�
2. Przyjmuje się, że wektor teoretycznych wartości prawdopodobieństwa jest równy:
Ć
pMNK =� XbMNK
)�
Teoretyczne częstości pMNK (i=1,2& n) można przyjąć za oszacowania
i
prawdopodobieństw Pi:
Oszacowania wariancji i kowariancji składników losowych mają postać:
1
Procedurę tę zaproponował Goldberger (1964)
�� p1 1-� p1 0 ... 0 ł�
(� )�
��
0 p2 1-� p2 ... 0
(� )�
��
W�p =� ()
��
... ... ... ...
ę�
0 0 ... pn 1-� pn ś�
(� )�ś�
��
��
Ponieważ rozważana macierz W� określona wzorem jest diagonalna, to stosuje się wersję
uogólnionej MNK zwaną ważoną MNK.
Zamiast wykonywać mnożenie macierzy można zastosować transformacje zmiennych:
yi xi
*
yi =� , xi* =� , gdzie wi  wagi, wi =� pi 1-� pi
(� )�
wi wi
dla Y* i X* stosujemy zwykłą MNK
Uwaga: aby móc zastosować wzór wi =� pi 1-� pi , p powinno być: 0 <� p <�1.
(� )�
i i
Dla dużych prób zwykle 0 <� p <�1. Czasami w sytuacji, gdy pi Ł� 0 proponuje się przyjąć
i
pi =� 0,001 (lub 0,005), gdy zaś pi ł�1, to pi =� 0,999 (lub 0,995) (por. Baltagi 2008).
Jeśli relatywnie dużo obserwacji nie spełnia warunku 0 <� p <�1, to należałoby
i
respecyfikować model.
Uwaga: Oprócz UMNK do estymacji parametrów LMP można wykorzystać metodę
największej wiarygodności.
PRZYKA
AD
Oszacowano model LMP dla wiarygodności klientów banku następującej postaci:
w
i =� 0,66 +� 0,005xi
gdzie:
yi=1 dla osób regularnie płacących raty oraz yi=0 dla pozostałych kredytobiorców,
xi - wysokość zarobków (w tys. PLN rocznie).
Należy zinterpretować wartość teoretyczną dla klienta, dla którego zarobki wynoszą 40 PLN.
p =� 0,66 +� 0,005��40 =� 0,86 - czyli prawdopodobieństwo regularnej spłaty rat wynosi 0,86.
Jaka jest interpretacja oceny parametru wynoszącej 0,005?
Ocenę parametru 0.005 interpretujemy jako średni wzrost prawdopodobieństwa, że klient będzie
regularnie spłacał raty w wyniku wzrostu rocznych zarobków o 1 tys. PLN.
Liniowy model prawdopodobieństwa był szeroko stosowany w latach 60-tych i 70-tych XX
w.
Zalety LMP:
�� łatwość estymacji,
�� bezpośrednia interpretacja oszacowań.
Zastosowanie najprostszego z przedstawionych modeli - liniowego modelu
prawdopodobieństwa ma wiele negatywnych konsekwencji.
1. Składnik losowy modelu yi =� xT� +�e�i jest heteroskedastyczny, gdyż Var(e�i ) =� Pi (1-� Pi ) .
i
2. Składnik losowy modelu yi =� xT� +�e�i nie ma rozkładu normalnego, co powoduje
i
trudności w zastosowaniu testów istotności.
3. Wartości w
i =� xTb mogą wykraczać poza przedział [0, 1] (przez b oznaczono wektor ocen
i
wektora parametrów b�).
4. Współczynnik determinacji R2 w modelu LMP przyjmuje zwykle bardzo niskie wartości.
Ponadto, fundamentalny problem w stosowaniu LMP polega na przyjęciu założenia, że
prawdopodobieństwo w sposób liniowy zależy od zmiennych objaśniających, co jest
równoznaczne z założeniem, że krańcowy efekt jest stały. W większości problemów
praktycznych zależność prawdopodobieństwa od zmiennych objaśniających jest nieliniowa.