1
D. Ciołek
EKONOMETRIA – wykład 2
EKONOMETRIA
Wykład 2: Metoda Najmniejszych Kwadratów
dr Dorota Ciołek
Katedra Ekonometrii
Wydział Zarządzania UG
1
D. Ciołek
EKONOMETRIA – wykład 2
EKONOMETRIA
Wykład 2: Metoda Najmniejszych Kwadratów
dr Dorota Ciołek
Katedra Ekonometrii
Wydział Zarządzania UG
2
D. Ciołek
EKONOMETRIA – wykład 2
Liniowy model ekonometryczny:
y
– zmienna endogeniczna,
x
– zmienne objaśniające,
- składnik losowy,
- ty – nieznane parametry strukturalne.
Jesteśmy zainteresowani znalezieniem
wartości
parametrów strukturalnych
, aby wiedzieć jaka jest
relacja miedzy zmiennymi
x
i
y.
- mówią jak wygląda ta zależność w całej populacji.
Możemy określić jak wygląda ta zależność w danej próbie
- oceny parametrów dla danej próby.
t
tk
k
t
t
t
x
x
x
y
...
2
2
1
1
0
ˆ
3
D. Ciołek
EKONOMETRIA – wykład 2
Oszacować
(estymować) model oznacza znaleźć oceny
parametrów strukturalnych na podstawie konkretnej próby.
Metody szacowania parametrów strukturalnych:
-
Metoda Momentów,
-
Metoda Najmniejszych Kwadratów,
-
Metoda Największej Wiarygodności,
-
i wiele innych…
Twierdzenie Gaussa-Markowa:
W klasycznym modelu regresji liniowej najlepszym
nieobciążonym estymatorem linowym parametrów jest
estymator uzyskany
Metodą Najmniejszych Kwadratów
(MNK).
4
D. Ciołek
EKONOMETRIA – wykład 2
Własności estymatorów
Nieobciążoność –
g
jest nieobciążonym estymatorem ,
jeżeli
E(g)=
, co znaczy, gdy wartość oczekiwana w
rozkładzie z próby
g
jest równa .
Oznacza to, że gdybyśmy obliczali wartość
g
dla każdej z
prób, którymi dysponujemy i powtarzali ten proces
nieskończenie wiele razy, to średnia z uzyskanych ocen
byłaby równa .
Efektywność – estymator jest efektywny, jeżeli wartości
g
wyliczone dla różnych prób nie różnią się między sobą
znacznie tzn. jeżeli wariancja estymatorów jest mała.
Estymator z najmniejszą wariancją – najbardziej efektywny.
5
D. Ciołek
EKONOMETRIA – wykład 2
Własności estymatorów
Zgodność – (własność dużych prób) zwiększanie liczebności próby
umożliwia uzyskiwanie estymatora o wartości coraz bliższej
szacowanego parametru, z prawdopodobieństwem bliskim
jedności:
Można wykazać, że:
Metoda Najmniejszych Kwadratów jest estymatorem
- nieobciążonym,
- zgodnym,
- najbardziej efektywnym w klasie estymatorów nieobciążonych.
BLUE –Best Linear Unbiased Estimator
1
lim
g
P
n
6
D. Ciołek
EKONOMETRIA – wykład 2
Założenia MNK
Założenia numeryczne – warunki stosowalności:
1) T > (k+1), czyli liczba obserwacji musi być większa niż liczba
szacowanych parametrów.
2) r(X)=(k+1), czyli rząd macierzy X musi być równy liczbie
szacowanych parametrów.
Drugi warunek oznacza brak współlinowości zmiennych
objaśniających, tzn. że zmienne objaśniające są liniowo
niezależne, *(czyli nie tworzą ze sobą takiej kombinacji
liniowej, która w wyniku daje wektor zerowy).
7
D. Ciołek
EKONOMETRIA – wykład 2
Przykład współlinowości zmiennych:
X1-liczba pracowników w przedsiębiorstwie,
X2-liczba pracowników na stanowiskach kierowniczych,
X3-liczba pracowników na stanowiskach niekierowniczych.
X1=X2+X3, czyli X1-X2-X3=0
Rząd macierzy X=3 < k+1=4
Nie da się zastosować MNK!
50
10
60
1
17
3
20
1
41
6
47
1
48
8
56
1
26
4
30
1
X
8
D. Ciołek
EKONOMETRIA – wykład 2
Założenia MNK
Założenia stochastyczne (dotyczą składnika losowego):
1) dla wszystkich
t
- wartość oczekiwana składnika
losowego jest równa zero.
2) dla wszystkich
t
– wariancja jest jednakowa dla
wszystkich obserwacji -
homoscedastyczność
.
3) i są niezależne dla - składniki losowe dla różnych
obserwacji nie zależą od siebie, nie są skorelowane; brak
autokorelacji składników losowych.
4) i są niezależne dla wszystkich
t
– zmienne objaśniające
nie zależą od składnika losowego, tzn. zmienne objaśniające są
nielosowe.
5) - składnik losowy dla każdej obserwacji ma
rozkład normalny.
0
t
E
2
2
t
i
j
t
x
t
j
i
2
,
0
~
N
t
9
D. Ciołek
EKONOMETRIA – wykład 2
Założenia MNK
Jeżeli nie są spełnione
założenia numeryczne
– nie jesteśmy w
stanie zastosować matematycznych formuł na MNK.
Jeżeli nie są spełnione
stochastyczne założenia 1), 2), 3), 4)
estymator MNK, przestaje być BLUE, daje obciążone oceny
parametrów strukturalnych.
Założenie 5)
nie ma znaczenia dla własności MNK. Jego
spełnienie jest konieczne, aby można było zastosować testy
statystyczne pozwalające sprawdzić wszystkie powyższe
założenia.
Większość testów statystycznych bazuje na złożeniu, że
analizowana zmienna losowa ma rozkład normalny.
10
D. Ciołek
EKONOMETRIA – wykład 2
Model z jedną zmienną objaśniającą:
to równanie opisuje, zachowanie
rzeczywistych wartości
zmiennej endogenicznych.
t
t
t
x
y
1
0
11
D. Ciołek
EKONOMETRIA – wykład 2
Rzeczywisty rozkład punktów
x
y
y
t
12
D. Ciołek
EKONOMETRIA – wykład 2
Model z jedną zmienną objaśniającą:
to równanie opisuje, zachowanie
rzeczywistych wartości
zmiennej endogenicznych.
MNK
to metoda, która do punktów
dopasowuje taką prostą
,
która przechodzi najbliżej wszystkich punktów równocześnie.
Równanie prostej:
to równanie opisuje,
teoretyczne wartości
zmiennej
endogenicznych, (wartości, które leżą na dopasowanej prostej).
t
t
t
x
y
1
0
t
t
x
y
1
0
ˆ
ˆ
ˆ
13
D. Ciołek
EKONOMETRIA – wykład 2
Odległość rzeczywistego punktu od prostej nazywana jest
odchyleniem, albo
resztą
:
Reszta
nie jest składnikiem losowym, jest to oszacowany
składnik losowy (błąd) w modelu.
Na szeregu reszt sprawdzane będą założenia stochastyczne.
t
t
t
y
y
ˆ
ˆ
14
D. Ciołek
EKONOMETRIA – wykład 2
Idea MNK
MNK dopasowuje prostą do punktów, w taki sposób, aby
odległości od wszystkich punktów były jednocześnie jak
najmniejsze.
Każda odległość podnoszona jest do kwadratu, ponieważ mają
różne znaki.
MNK
minimalizuje sumę kwadratów odchyleń
(reszt):
min
ˆ
1
2
T
t
t
min
ˆ
ˆ
ˆ
1
2
1
0
1
2
T
t
t
t
T
t
t
t
x
y
y
y
15
D. Ciołek
EKONOMETRIA – wykład 2
Estymator MNK
Macierzowa postać modelu:
Oznacza to, że:
Suma kwadratów odchyleń to:
Po wymnożeniu otrzymujemy:
Przyrównując pochodną po do zera otrzymujemy:
X
y
X
y
min
X
y
X
y
T
T
min
2
X
X
y
X
y
y
T
T
T
T
T
0
2
2
X
X
y
X
T
T
y
X
X
X
T
T
1
ˆ
16
D. Ciołek
EKONOMETRIA – wykład 2
Estymator MNK
Po dokonaniu minimalizacji
sumy kwadratów reszt
otrzymujemy następującą macierzową formułę pozwalającą
wyznaczyć
oceny parametrów strukturalnych
modelu
liniowego MNK:
y
X
X
X
T
T
1
ˆ
-
wektor ocen parametrów strukturalnych
y
– wektor obserwacji na zmiennej endogenicznej,
X
– macierz obserwacji na zmiennych objaśniających.
ˆ
17
D. Ciołek
EKONOMETRIA – wykład 2
Własności numeryczne oszacowania MNK
•
Suma wartości teoretycznych zmiennej
endogenicznej, równa jest sumie wartości
empirycznych zmiennej endogenicznej.
•
Suma reszt jest równa zero.
•
Iloczyn wektora reszt i wektor obserwacji na
każdej zmiennej objaśniającej jest równy zero.
•
Iloczyn wektora wartości teoretycznych zmiennej
endogenicznej i wektora reszt jest równy zero.
T
t
t
T
t
t
y
y
1
1
ˆ
0
ˆ
1
T
t
t
0
ˆ
'
X
0
ˆ
'
ˆ
y
D. Ciołek
EKONOMETRIA – wykład 2
EKONOMETRIA
Wykład 2 cz.2: Zasady interpretacji w modelach statycznych
dr Dorota Ciołek
Katedra Ekonometrii
Wydział Zarządzania UG
D. Ciołek
EKONOMETRIA – wykład 2
Wybór postaci analitycznej modelu
Model nieliniowy – funkcja analityczna jest nieliniowa ze
względu na parametry.
Model liniowy:
Model nieliniowy:
Wybór postaci analitycznej:
- Zgodny z konkretną teorią ekonomiczną,
- Wybierany metodą prób i błędów.
- Na podstawie wykresu – regresja prosta.
i
e
L
K
Q
i
i
i
2
1
0
t
t
t
t
z
x
y
ln
ln
ln
2
1
0
D. Ciołek
EKONOMETRIA – wykład 2
Logarytmy, czy poziomy zmiennych?
logarytmy zmiennych, gdy:
zmienna wyrażona jest w jednostkach pieniężnych (o
wartościach dodatnich) – wynagrodzenie, sprzedaż firmy,
wartość rynkowa firmy, Produkt Krajowy Brutto;
zmienne o wysokich wartościach: wielkość populacji,
całkowita liczba pracowników, współczynnik skolaryzacji,
liczba kilometrów;
poziomy zmiennych, gdy:
zmienna wyrażona w liczbie lat: liczba lat edukacji lub
doświadczenia, wiek;
zmienna przyjmuje niewysokie wartości całkowite: liczba
pokoi w domu, liczba osób w gospodarstwie domowym,
liczba samochodów w gosp. domowym;
zmienne sztuczne (zero-jedynkowe) reprezentujące
zmienne jakościowe: płeć, poziom wykształcenia,
przynależność do organizacji, położenie geograficzne.
20
D. Ciołek
EKONOMETRIA – wykład 2
Logarytmy, czy poziomy zmiennych?
Zmienne, które są proporcjami lub udziałami procentowymi:
stopa bezrobocia, procent studentów, którzy zdali egzamin,
stopień wykrywalności przestępstw kryminalnych – mogą
występować albo w postaci poziomów, albo w logarytmach,
chociaż częściej używa się poziomów.
Uwaga: Przy interpretacji uważamy z procentami:
Jeżeli bezrobocie wzrasta z 8 do 9 procent, oznacza to wzrost o jeden
punkt procentowy, ale przyrost o 12,5 procent w stosunku do
wartości początkowej.
21
D. Ciołek
EKONOMETRIA – wykład 2
Logarytmy, czy poziomy zmiennych?
Jedno ograniczenie:
Logarytm zmiennej nie może być użyty jeżeli zmienna
przyjmuje wartości ujemne lub jest równa zero. Dla
zmiennej przyjmującej wartości zero rozwiązaniem może
być zastosowanie log(1+y).
(!) Używając zlogarytmowanej zmiennej musimy pamiętać, że
wartości teoretyczne tego modelu są wartościami log(y) a
nie y.
(!) Nie można porównywać R-kwadrat wyznaczonych dla
modeli, w których mamy różne zmienne objaśniające: log(y)
i y.
22
D. Ciołek
EKONOMETRIA – wykład 2
Mierniki przeciętne i krańcowe
Parametr przeciętny:
Parametr przeciętny określa ile jednostek zmiennej
y
przypada (w danym okresie t) na jednostkę zmiennej
x
i
.
Przykłady parametrów przeciętnych:
przeciętna skłonność do konsumpcji – określa ile jednostek
konsumpcji przypada na jednostkę dochodu,
przeciętny koszt jednostkowy - określa jaki jest koszt
przypadający w okresie t na jednostkę produkcji,
przeciętna produktywność (wydajność) kapitału oraz
przeciętna wydajność pracy .
ti
t
ti
t
x
y
x
y
PP
)
,
(
D. Ciołek
EKONOMETRIA – wykład 2
Mierniki przeciętne i krańcowe
Parametr krańcowy:
Parametr krańcowy określa o ile jednostek wzrośnie
(spadnie) zmienna
y
t
, gdy zmienna
x
ti
wzrośnie o jednostkę.
Przykłady parametrów krańcowych:
krańcowa skłonność do konsumpcji - określa o ile jednostek
wzrośnie konsumpcja, gdy dochód wzrośnie o jedną
jednostkę,
koszt krańcowy , który określa przyrost kosztu całkowitego
przypadający na jednostkowy przyrost produkcji,
krańcowa produktywność kapitału , która określa przyrost
produkcji na skutek wzrostu nakładów kapitału o jednostkę.
ti
t
ti
t
x
y
x
y
PK
)
,
(
D. Ciołek
EKONOMETRIA – wykład 2
Mierniki przeciętne i krańcowe
Elastyczność różnicowa:
Elastyczność zmiennej
y
t
względem zmiennej
x
ti
, informuje
o ile % wzrośnie (zmaleje) zmienna
y
t
jeśli zmienna
x
ti
wzrośnie o 1%.
Przykłady elastyczności:
elastyczność dochodowa konsumpcji,
elastyczność kosztów względem produkcji,
elastyczność produkcji względem kapitału,
elastyczność produkcji względem pracy.
t
ti
ti
t
ti
t
ti
t
ti
ti
t
t
ti
t
y
x
x
y
x
y
PP
x
y
PK
x
x
y
y
x
y
E
)
,
(
)
,
(
/
/
)
,
(
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu liniowego
Ogólny zapis statycznego modelu liniowego:
Przyrost krańcowy w tym modelu:
Oznacza to, że:
Parametry strukturalne w modelu linowym są przyrostami
krańcowymi.
Interpretacja: Jeżeli zmienna egzogeniczna
x
t1
wzrośnie o 1
jednostkę, a pozostałe zmienne objaśniające nie ulegną
zmianie, to oczekujemy, że zmienna endogeniczna
y
t
wzrośnie (spadnie) średnio o jednostek.
)
,...,
1
(
;
...
2
2
1
1
0
T
t
x
x
x
y
t
tk
k
t
t
t
1
1
1
)
,
(
t
t
t
t
x
y
x
y
PK
1
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu liniowego
Ogólny zapis statycznego modelu liniowego:
Elastyczność w tym modelu:
Oznacza to, że:
Elastyczność w modelu linowym jest zmienna i zależy od
początkowych wartości zmiennych modelu.
Interpretacja: Przy danych wartościach zmiennych
egzogenicznych, jednoprocentowy wzrost zmiennej
x
t1
spowoduje przyrost (spadek) zmiennej
y
średnio o E %, przy
założeniu niezmienności pozostałych zmiennych.
)
,...,
1
(
;
...
2
2
1
1
0
T
t
x
x
x
y
t
tk
k
t
t
t
t
t
t
t
t
t
t
y
x
y
x
x
y
x
1
1
1
1
1
t
)
,
E(y
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu potęgowego
Ogólny zapis statycznego modelu potęgowego:
Przyrost krańcowy w tym modelu:
Oznacza to, że:
Przyrost krańcowy w modelu potęgowym jest zmienny i
zależy od początkowych wartości zmiennych modelu.
t
k
e
x
x
x
y
tk
t
t
t
...
2
1
2
1
0
1
1
1
1
)
,
(
t
t
t
t
t
t
x
y
x
y
x
y
PK
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu potęgowego
Ogólny zapis statycznego modelu potęgowego:
Elastyczność w tym modelu:
Oznacza to, że: Parametry strukturalne w modelu potęgowym
są elastycznościami cząstkowymi. Jest to model o stałych
elastycznościach.
Interpretacja: Jeżeli zmienna egzogeniczna
x
t1
wzrośnie o 1%,
a pozostałe zmienne objaśniające nie ulegną zmianie, to
oczekujemy, że zmienna endogeniczna
y
t
wzrośnie
(spadnie) średnio o %.
t
k
e
x
x
x
y
tk
t
t
t
...
2
1
2
1
0
i
t
ti
ti
t
i
t
ti
ti
t
ti
y
x
x
y
y
x
x
y
x
)
,
E(y
t
1
D. Ciołek
EKONOMETRIA – wykład 2
Linearyzacja modelu potęgowego
Ogólny zapis statycznego modelu potęgowego:
Postać modelu logarytmiczno-liniowa:
(Postać liniowa ze względu na parametry)
t
k
e
x
x
x
y
tk
t
t
t
...
2
1
2
1
0
)
,...,
1
(
;
ln
...
ln
ln
ln
ln
2
2
1
1
0
T
t
x
x
x
y
t
tk
k
t
t
t
D. Ciołek
EKONOMETRIA – wykład 2
Zapis macierzowy modelu potęgowego
T
– liczba obserwacji,
k
– liczba zmiennych objaśniających,
k+1
– liczba parametrów strukturalnych.
1
3
2
1
ln
ln
ln
ln
T
T
y
y
y
y
y
)
1
(
1
3
31
2
21
1
11
ln
ln
1
ln
ln
1
ln
ln
1
ln
ln
1
k
T
Tk
T
k
k
k
x
x
x
x
x
x
x
x
X
1
3
2
1
T
T
1
)
1
(
1
0
k
k
X
y
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu wykładniczego
Ogólny zapis statycznego modelu wykładniczego:
Przyrost krańcowy w tym modelu:
Oznacza to, że:
Przyrost krańcowy w modelu wykładniczym jest zmienny i
zależy od początkowych wartości zmiennych modelu.
t
tk
k
t
t
x
x
x
t
e
y
...
2
2
1
1
0
t
t
t
t
t
y
x
y
x
y
PK
1
1
1
)
,
(
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu wykładniczego
Ogólny zapis statycznego modelu wykładniczego:
Elastyczność w tym modelu:
Oznacza to, że:
Elastyczność w modelu wykładniczym jest zmienna i zależy
od początkowych wartości zmiennych modelu.
t
tk
k
t
t
x
x
x
t
e
y
...
2
2
1
1
0
1
1
1
1
1
1
1
t
)
,
E(y
t
t
t
t
t
t
t
t
t
x
y
x
y
y
x
x
y
x
D. Ciołek
EKONOMETRIA – wykład 2
Interpretacja modelu wykładniczego
Ogólny zapis statycznego modelu wykładniczego:
Można wykazać, że:
Jeżeli zmienna egzogeniczna
x
t1
wzrośnie o 1 jednostkę, a
pozostałe zmienne objaśniające nie ulegną zmianie, to
oczekujemy, że zmienna endogeniczna
y
t
wzrośnie
(spadnie) średnio o %.
t
tk
k
t
t
x
x
x
t
e
y
...
2
2
1
1
0
100
100
)
1
(
i
i
e
D. Ciołek
EKONOMETRIA – wykład 2
Linearyzacja modelu wykładniczego
Ogólny zapis statycznego modelu wykładniczego:
Postać modelu logarytmiczno-liniowa:
(Postać liniowa ze względu na parametry)
t
tk
k
t
t
x
x
x
t
e
y
...
2
2
1
1
0
...
ln
2
2
1
1
0
t
tk
k
t
t
t
x
x
x
y
D. Ciołek
EKONOMETRIA – wykład 2
Zapis macierzowy modelu wykładniczego
T
– liczba obserwacji,
k
– liczba zmiennych objaśniających,
k+1
– liczba parametrów strukturalnych.
1
3
2
1
ln
ln
ln
ln
T
T
y
y
y
y
y
)
1
(
1
3
31
2
21
1
11
1
1
1
1
k
T
Tk
T
k
k
k
x
x
x
x
x
x
x
x
X
1
3
2
1
T
T
1
)
1
(
1
0
k
k
X
y
37
D. Ciołek
EKONOMETRIA – wykład 2
Na co należy zwrócić szczególną uwagę (podsumowanie):
Co to znaczy oszacować model?
Jakie modele można szacować MNK?
Jak MNK dopasowuje prostą do rzeczywistych punktów?
Kiedy nie można zastosować MNK (warunki stosowalności)?
Jakie założenia musi spełniać rozkład składnika losowego, aby
MNK była wiarygodna?
Kiedy stosować poziomy, a kiedy logarytmy zmiennych?
Co należy zrobić ze zmiennymi, aby oszacować parametry w
modelach potęgowych i modelach wykładniczych?
Co to jest elastyczność i przyrost krańcowy i jak
interpretujemy te miary?
Jak interpretujemy parametry w modelach liniowych,
potęgowych i wykładniczych?