Nieliniowa metoda

Nieliniowa metoda

najmniejszych kwadratów

najmniejszych kwadratów

algorytm Gaussa-

algorytm Gaussa-

Newtona

Newtona

Metoda Gaussa-Newtona dotyczy ciągu

Metoda Gaussa-Newtona dotyczy ciągu

zastosowań MNK, w którym rolę macierzy X

zastosowań MNK, w którym rolę macierzy X

( obserwacji zmiennych objaśniających-

( obserwacji zmiennych objaśniających-

egzogenicznych) pełni macierz Z

egzogenicznych) pełni macierz Z

(l)

(l)

, a rolę

, a rolę

wektora y ( obserwacji zmiennej zależnej –

wektora y ( obserwacji zmiennej zależnej –

endogenicznej) wektor e

endogenicznej) wektor e

(l)

(l)

Algorytm Gaussa-Newtona wykorzystuje się

Algorytm Gaussa-Newtona wykorzystuje się

do estymacji parametrów strukturalnych

do estymacji parametrów strukturalnych

modeli nieliniowych. Poniżej została

modeli nieliniowych. Poniżej została

przedstawiona ogólna postać funkcji

przedstawiona ogólna postać funkcji

nieliniowej:

nieliniowej:

Y

Y

t

t

= f(x

= f(x

t

t

,

,





)+

)+





t

t

t=1,...,N,

t=1,...,N,

 

 

Gdzie:

Gdzie:

y

y

t

t

- obserwacje zmiennej objaśnianej,

- obserwacje zmiennej objaśnianej,

x

x

t

t

= [x

= [x

tl

tl

]- wektor obserwacji P zmiennych objaśniających,

]- wektor obserwacji P zmiennych objaśniających,





= [

= [





j

j

]- wektor K parametrów strukturalnych,

]- wektor K parametrów strukturalnych,

ξ

ξ

t

t

– realizacje składników losowych,

– realizacje składników losowych,

Zastosowanie MNK wprost do modelu

Zastosowanie MNK wprost do modelu

nieliniowego Gaussa-Newtona, czyli

nieliniowego Gaussa-Newtona, czyli

wyznaczenie estymatora b wektora

wyznaczenie estymatora b wektora

parametrów β, takiego że:

parametrów β, takiego że:

 

 

N

N

minS(

minS(





) = min

) = min





[ y

[ y

t

t

- f (x

- f (x

t

t

,

,





) ]

) ]

2

2

= S(b)

= S(b)









t=1

t=1

  

  

prowadzi do nieliniowego układu równań

prowadzi do nieliniowego układu równań

normalnych, który zwykle musi być rozwiązany

normalnych, który zwykle musi być rozwiązany

za pomocą numerycznych procedur

za pomocą numerycznych procedur

iteracyjnych.

iteracyjnych.

 

 

Metoda Gaussa-Newtona

Metoda Gaussa-Newtona

polega na

polega na

zastąpieniu modelu w l-tej iteracji jego

zastąpieniu modelu w l-tej iteracji jego

liniowa aproksymantą (liniowym

liniowa aproksymantą (liniowym

przybliżeniem).

przybliżeniem).

Za pomocą algorytmu

Za pomocą algorytmu

Gaussa-Newtona, w celu oszacowania

Gaussa-Newtona, w celu oszacowania

parametrów strukturalnych modelu

parametrów strukturalnych modelu

nieliniowego stosuje się następujący wzór

nieliniowego stosuje się następujący wzór

:

:

d

(l)

=[(Z

(l)

)

T

Z

(l)

]

-1

(Z

(l)

)

T

e

(l)

 

gdzie:

Z

(l)

=[Z

(l)

tj

]=[f(x

t

,



)/



j

]



=



(l)

macierz N*K

pierwszych pochodnych cząstkowych względem

parametrów obliczonych dla ustalonych w l-tej

iteracji przybliżeń



(l )

oraz danych obserwacji

zmiennych objaśniających.

e

(l)

=[e

t

(l)

]=[y

t

– f(x

t

,

(l)

)]

wektor różnic miedzy

zaobserwowanymi wartościami zmiennej zależnej a l-

tym przybliżeniem (wartościami teoretycznymi z l-tej

iteracji).

Wartości d

Wartości d

j

j

(l )

(l )

są szacunkami

są szacunkami





j

j

(l)

(l)

*

*





j

j

(l)

(l)

są to odchylenia

są to odchylenia

l-tych przybliżeń

l-tych przybliżeń





j

j

(l)

(l)

od wartości rzeczywistych

od wartości rzeczywistych





j

j

, co

, co

przedstawia poniższe równanie:

przedstawia poniższe równanie:



j

(l)

=



j

-



j

(l)

Mając dobrane wartości początkowe należy

Mając dobrane wartości początkowe należy

przystąpić do pierwszej iteracji. Postępowanie

przystąpić do pierwszej iteracji. Postępowanie

iteracyjne wykonuje się według wzoru:

iteracyjne wykonuje się według wzoru:



j

(l+1)

=



j

(l)

+d

j

(l)

 

 Iteracja pierwsza będzie wyglądała w następujący
sposób:



j

(l)

=



j

(0)

+d

j

(0)

Iteracja druga będzie miała następującą postać:

 

 



j

(2)

=



j

(1)

+d

j

(1)

 
Postępowanie iteracyjne kontynuuje się tak długo,
aż wartości bezwzględne wszystkich poprawek
będą równe zeru z zadaną dokładnością (np. 1%).

Słownik pojęć i terminów dotyczący

Słownik pojęć i terminów dotyczący

prezentowanej metody

prezentowanej metody

Gaussa-Newtona

Gaussa-Newtona

.

.

1. metoda Gaussa-Newtona dotyczy ciągu zastosowań
MNK, w którym rolę macierzy X ( obserwacji zmiennych
objaśniających-egzogenicznych) pełni macierz Z

(l)

, a rolę

wektora y ( obserwacji zmiennej zależnej –endogenicznej)
wektor e

(l)

 
2. metoda najmniejszych kwadratów jest metodą
estymacji polegającą na tym, że za wektor parametrów
strukturalnych



przyjmuje wektor b, który minimalizuje

sumę kwadratów reszt.
  
3. estymacja – szacowanie parametrów
 

4. szacowanie parametrów modelu

4. szacowanie parametrów modelu

ekonometrycznego –

ekonometrycznego –

sprowadza się do

sprowadza się do

przypisywania nieokreślonym liczbowo

przypisywania nieokreślonym liczbowo

parametrom konkretnych wartości liczbowych

parametrom konkretnych wartości liczbowych

 

 

 

 

5. zmienne objaśniane

5. zmienne objaśniane

(zwane

(zwane

opisywanymi

opisywanymi

lub

lub

zależnymi

zależnymi

) - zmienne te są wyjaśniane przez

) - zmienne te są wyjaśniane przez

model.

model.

 

 

 

 

6. zmienne objaśniające

6. zmienne objaśniające

(zwane też

(zwane też

opisującymi

opisującymi

lub

lub

niezależnymi

niezależnymi

) - zmienne te nie

) - zmienne te nie

są wyjaśniane przez model

są wyjaśniane przez model

 

 

 

 

7. punkty startowe –

7. punkty startowe –

to wartości początkowe od

to wartości początkowe od

których rozpoczyna się szacowanie parametrów

których rozpoczyna się szacowanie parametrów

modelu

modelu