Nieliniowa metoda
Nieliniowa metoda
najmniejszych kwadratów
najmniejszych kwadratów
algorytm Gaussa-
algorytm Gaussa-
Newtona
Newtona
Nieliniowa metoda
Nieliniowa metoda
najmniejszych kwadratów
najmniejszych kwadratów
algorytm Gaussa-
algorytm Gaussa-
Newtona
Newtona
Metoda Gaussa-Newtona dotyczy ciągu
Metoda Gaussa-Newtona dotyczy ciągu
zastosowań MNK, w którym rolę macierzy X
zastosowań MNK, w którym rolę macierzy X
( obserwacji zmiennych objaśniających-
( obserwacji zmiennych objaśniających-
egzogenicznych) pełni macierz Z
egzogenicznych) pełni macierz Z
(l)
(l)
, a rolę
, a rolę
wektora y ( obserwacji zmiennej zależnej –
wektora y ( obserwacji zmiennej zależnej –
endogenicznej) wektor e
endogenicznej) wektor e
(l)
(l)
Algorytm Gaussa-Newtona wykorzystuje się
Algorytm Gaussa-Newtona wykorzystuje się
do estymacji parametrów strukturalnych
do estymacji parametrów strukturalnych
modeli nieliniowych. Poniżej została
modeli nieliniowych. Poniżej została
przedstawiona ogólna postać funkcji
przedstawiona ogólna postać funkcji
nieliniowej:
nieliniowej:
Y
Y
t
t
= f(x
= f(x
t
t
,
,
)+
)+
t
t
t=1,...,N,
t=1,...,N,
Gdzie:
Gdzie:
y
y
t
t
- obserwacje zmiennej objaśnianej,
- obserwacje zmiennej objaśnianej,
x
x
t
t
= [x
= [x
tl
tl
]- wektor obserwacji P zmiennych objaśniających,
]- wektor obserwacji P zmiennych objaśniających,
= [
= [
j
j
]- wektor K parametrów strukturalnych,
]- wektor K parametrów strukturalnych,
ξ
ξ
t
t
– realizacje składników losowych,
– realizacje składników losowych,
Zastosowanie MNK wprost do modelu
Zastosowanie MNK wprost do modelu
nieliniowego Gaussa-Newtona, czyli
nieliniowego Gaussa-Newtona, czyli
wyznaczenie estymatora b wektora
wyznaczenie estymatora b wektora
parametrów β, takiego że:
parametrów β, takiego że:
N
N
minS(
minS(
) = min
) = min
[ y
[ y
t
t
- f (x
- f (x
t
t
,
,
) ]
) ]
2
2
= S(b)
= S(b)
t=1
t=1
prowadzi do nieliniowego układu równań
prowadzi do nieliniowego układu równań
normalnych, który zwykle musi być rozwiązany
normalnych, który zwykle musi być rozwiązany
za pomocą numerycznych procedur
za pomocą numerycznych procedur
iteracyjnych.
iteracyjnych.
Metoda Gaussa-Newtona
Metoda Gaussa-Newtona
polega na
polega na
zastąpieniu modelu w l-tej iteracji jego
zastąpieniu modelu w l-tej iteracji jego
liniowa aproksymantą (liniowym
liniowa aproksymantą (liniowym
przybliżeniem).
przybliżeniem).
Za pomocą algorytmu
Za pomocą algorytmu
Gaussa-Newtona, w celu oszacowania
Gaussa-Newtona, w celu oszacowania
parametrów strukturalnych modelu
parametrów strukturalnych modelu
nieliniowego stosuje się następujący wzór
nieliniowego stosuje się następujący wzór
:
:
d
(l)
=[(Z
(l)
)
T
Z
(l)
]
-1
(Z
(l)
)
T
e
(l)
gdzie:
Z
(l)
=[Z
(l)
tj
]=[f(x
t
,
)/
j
]
=
(l)
macierz N*K
pierwszych pochodnych cząstkowych względem
parametrów obliczonych dla ustalonych w l-tej
iteracji przybliżeń
(l )
oraz danych obserwacji
zmiennych objaśniających.
e
(l)
=[e
t
(l)
]=[y
t
– f(x
t
,
(l)
)]
wektor różnic miedzy
zaobserwowanymi wartościami zmiennej zależnej a l-
tym przybliżeniem (wartościami teoretycznymi z l-tej
iteracji).
Wartości d
Wartości d
j
j
(l )
(l )
są szacunkami
są szacunkami
j
j
(l)
(l)
*
*
j
j
(l)
(l)
są to odchylenia
są to odchylenia
l-tych przybliżeń
l-tych przybliżeń
j
j
(l)
(l)
od wartości rzeczywistych
od wartości rzeczywistych
j
j
, co
, co
przedstawia poniższe równanie:
przedstawia poniższe równanie:
j
(l)
=
j
-
j
(l)
Mając dobrane wartości początkowe należy
Mając dobrane wartości początkowe należy
przystąpić do pierwszej iteracji. Postępowanie
przystąpić do pierwszej iteracji. Postępowanie
iteracyjne wykonuje się według wzoru:
iteracyjne wykonuje się według wzoru:
j
(l+1)
=
j
(l)
+d
j
(l)
Iteracja pierwsza będzie wyglądała w następujący
sposób:
j
(l)
=
j
(0)
+d
j
(0)
Iteracja druga będzie miała następującą postać:
j
(2)
=
j
(1)
+d
j
(1)
Postępowanie iteracyjne kontynuuje się tak długo,
aż wartości bezwzględne wszystkich poprawek
będą równe zeru z zadaną dokładnością (np. 1%).
Słownik pojęć i terminów dotyczący
Słownik pojęć i terminów dotyczący
prezentowanej metody
prezentowanej metody
Gaussa-Newtona
Gaussa-Newtona
.
.
1. metoda Gaussa-Newtona dotyczy ciągu zastosowań
MNK, w którym rolę macierzy X ( obserwacji zmiennych
objaśniających-egzogenicznych) pełni macierz Z
(l)
, a rolę
wektora y ( obserwacji zmiennej zależnej –endogenicznej)
wektor e
(l)
2. metoda najmniejszych kwadratów jest metodą
estymacji polegającą na tym, że za wektor parametrów
strukturalnych
przyjmuje wektor b, który minimalizuje
sumę kwadratów reszt.
3. estymacja – szacowanie parametrów
4. szacowanie parametrów modelu
4. szacowanie parametrów modelu
ekonometrycznego –
ekonometrycznego –
sprowadza się do
sprowadza się do
przypisywania nieokreślonym liczbowo
przypisywania nieokreślonym liczbowo
parametrom konkretnych wartości liczbowych
parametrom konkretnych wartości liczbowych
5. zmienne objaśniane
5. zmienne objaśniane
(zwane
(zwane
opisywanymi
opisywanymi
lub
lub
zależnymi
zależnymi
) - zmienne te są wyjaśniane przez
) - zmienne te są wyjaśniane przez
model.
model.
6. zmienne objaśniające
6. zmienne objaśniające
(zwane też
(zwane też
opisującymi
opisującymi
lub
lub
niezależnymi
niezależnymi
) - zmienne te nie
) - zmienne te nie
są wyjaśniane przez model
są wyjaśniane przez model
7. punkty startowe –
7. punkty startowe –
to wartości początkowe od
to wartości początkowe od
których rozpoczyna się szacowanie parametrów
których rozpoczyna się szacowanie parametrów
modelu
modelu