Nieliniowa metoda najmniejszych kwadratów

algorytm Gaussa-Newtona

1. OPIS PROBLEMU

Metoda Gaussa-Newtona dotyczy ciągu zastosowań MNK, w którym rolę macierzy X ( obserwacji zmiennych objaśniających-egzogenicznych) pełni macierz Z^(l), a rolę wektora y ( obserwacji zmiennej zależnej -endogenicznej) wektor e^(l)

Szacowanie parametrów modelu nieliniowego rozpoczyna się od doboru wartości początkowych(tzw. punktów startowych) β(0) tak, aby były one bliskie rzeczywistym wartościom parametrów β i umożliwiały otrzymanie zbieżności algorytmu. Najczęściej metodę Gaussa-Newtona łączy się z inną metodą, która umożliwia otrzymanie dobrych początkowych przybliżeń parametrów. Taką metodę stanowi np. metoda m punktów (polega na arbitralnym wyborze m punktów empirycznych i założeniu, że współrzędne tych punktów spełniają dokładnie równanie rozpatrywanej krzywej. W ten sposób uzyskuje się układ- zwykle nieliniowy -m równań z m niewiadomymi parametrami, których rozwiązanie stanowi szukane przybliżenie parametrów.) czy m sum ( daje z reguły lepsze przybliżenia parametrów niż metoda m punktów, ale nie jest tak uniwersalna, można ją bowiem stosować tylko w przypadkach gdy zmienna objaśniająca jest równodystansowa np. w trendach lub gdy analityczna postać rozpatrywanej krzywej jest taka, że możemy korzystać ze wzorów na sumę częściową ciągu arytmetycznego lub geometrycznego.)

Algorytm Gaussa-Newtona wykorzystuje się do estymacji parametrów strukturalnych modeli nieliniowych. Poniżej została przedstawiona ogólna postać funkcji nieliniowej:

Y_t= f(x_t,β)+ξ_t t=1,...,N,

Gdzie:

y_t - obserwacje zmiennej objaśnianej,

x_t = [x_tl]- wektor obserwacji P zmiennych objaśniających,

β = [β_j]- wektor K parametrów strukturalnych,

ξ_t - realizacje składników losowych,

Przy czym zakładamy, że składniki losowe ξ_t są niekorelowane, mają średnią zero oraz jednakową, dodatnią i skończoną wariację.

Zauważamy, że w modelu nieliniowym na ogół nie ma żadnego związku między liczbą zmiennych objaśniających P a liczbą parametrów K; zwykle P<K.

Zastosowanie MNK wprost do modelu nieliniowego Gaussa-Newtona, czyli wyznaczenie estymatora b wektora parametrów β, takiego że:

_N

minS(β) = min ∑ [ y_t - f (x_t,β) ]² = S(b)

β β t=1

prowadzi do nieliniowego układu równań normalnych, który zwykle musi być rozwiązany za pomocą numerycznych procedur iteracyjnych.

Następnym etapem metody Gaussa-Newtona jest obliczenie pierwszych pochodnych cząstkowych względem parametrów strukturalnych występujących w modelu. Pierwsze pochodne cząstkowe wykorzystuje się we wzorze pozwalającym na obliczenie odchyleń d_j ^(l) kolejnych przybliżeń β_j ^(l) od wartości rzeczywistych β_j..

W tym celu posłużą nam podstawowe wzory na pochodne:

1. funkcji elementarnych, jak również na pochodne funkcji wykładniczej i logarytmicznej:

f(x)=C, f'(x)=0, x∈R, f(x)=x^a, f'(x)=ax^a-1, x∈R+, f(x)=a^x, a>0 i a≠ 1, x∈R, f”(x)=a^xln a, x∈R, f(x)=e^x, f'(x)=e^x, f(x)= loga x, a>0 i a≠ 1, x>0, f'(x)= 1/x ln a, x>0, f(x)= ln x, x>0, f'(x)=1/x, x>0,

2. funkcji pochodnej sumy, różnicy, iloczynu oraz ilorazu:

[ f(x) + g(x)]'= f'(x)+ g'(x), [ f(x) - g(x)]'= f'(x) - g'(x), [ f(x)* g(x)]'=f'(x)g(x) + f(x)g'(x), [f(x)/g(x)]'=f'(x)g(x) - f(x)g'(x)/[g(x)]^2, g(x)≠0

Metoda Gaussa-Newtona polega, więc na zastąpieniu modelu w l-tej iteracji jego liniowa aproksymantą (liniowym przybliżeniem).

Za pomocą algorytmu Gaussa-Newtona, w celu oszacowania parametrów strukturalnych modelu nieliniowego stosuje się następujący wzór:

d ^(l)=[(Z^(l))^TZ^(l)]^-1(Z^(l))^Te^(l)

gdzie:

Z^(l)=[Z^(l)_tj]=[∂f(x_t,β)/∂β_j]_β=β^(l) - macierz N*K pierwszych

pochodnych cząstkowych względem parametrów obliczonych dla ustalonych w l-tej iteracji przybliżeń

β ^{(l )}oraz danych obserwacji zmiennych objaśniających.

e^(l)=[e_t^(l)]=[y_t - f(x_t,β^(l))] - wektor różnic miedzy zaobserwowa-

nymi wartościami zmiennej zależnej a l-tym przybliżeniem (wartościami teoretycznymi z l-tej iteracji).

Wartości d_j^{(l )} są szacunkami δ_j^(l) *δ_j^(l) są to odchylenia l-tych przybliżeń β_j^(l) od wartości rzeczywistych β_j, co przedstawia poniższe równanie:

δ_j^(l)=β_j - β_j^(l)

Mając dobrane wartości początkowe należy przystąpić do pierwszej iteracji. Postępowanie iteracyjne wykonuje się według wzoru:

β_j^(l+1) = β_j^(l)+d_j^(l)

Iteracja pierwsza będzie wyglądała w następujący sposób:

β_j^(l) = β_j⁽⁰⁾+d_j⁽⁰⁾

Iteracja druga będzie miała następującą postać:

β_j⁽²⁾= β_j⁽¹⁾+d_j⁽¹⁾

Postępowanie iteracyjne kontynuuje się tak długo, aż wartości bezwzględne wszystkich poprawek będą równe zeru z zadaną dokładnością (np. 1%).

2.Słownik pojęć i terminów dotyczący prezentowanej metody

Gaussa-Newtona.

1.metoda Gaussa-Newtona dotyczy ciągu zastosowań MNK, w którym rolę macierzy X ( obserwacji zmiennych objaśniających-egzogenicznych) pełni macierz Z^(l), a rolę wektora y ( obserwacji zmiennej zależnej -endogenicznej) wektor e^(l)

2.metoda najmniejszych kwadratów jest metodą estymacji polegającą na tym, że za wektor parametrów strukturalnych β przyjmuje wektor b, który minimalizuje sumę kwadratów reszt.

3. estymacja - szacowanie parametrów

4. szacowanie parametrów modelu ekonometrycznego - sprowadza się do przypisywania nieokreślonym liczbowo parametrom konkretnych wartości liczbowych

5. zmienne objaśniane (zwane opisywanymi lub zależnymi) - zmienne te są wyjaśniane przez model.

6. zmienne objaśniające (zwane też opisującymi lub niezależnymi) - zmienne te nie są wyjaśniane przez model

7. punkty startowe - to wartości początkowe od których rozpoczyna się szacowanie parametrów modelu

3.Pytania kontrolne

1.Czego dotyczy metoda Gaussa-Newtona?

2. Z jaką metodą można łączyć metodę Gaussa-Newtona?

3. Czego dotyczy i od czego rozpoczyna się szacowanie parametrów metody nieliniowej?

4. Na czym polega metoda m punktów?

5. Wyjaśnij następujące terminy:

• zmienne objaśniane

• zmienne objaśniające

• estymacja

6. Co to są punkty startowe?

7. Na czym polega MNK - metoda najmniejszych kwadratów?

8. Do czego wykorzystuje się algorytm Gaussa - Newtona?

4. Przykładowe zadania do samodzielnego rozwiązania.

Zadanie 1.

W poniższej tablicy zawarte są informacje o obrotach (w zł) uzyskiwanych przez przedsiębiorstwo handlowe w latach 1985 - 1997. Metodą Gaussa - Newtona oszacować parametry uogólnionego trendu wykładniczego z addytywnymi zakłóceniami losowymi:

y_t = α + βy^t + ξ_t , t = 1, ..., 13.

Tabela 1.

rok	1985	1986	1987	1988	1989	1990	1991	1992	1993	1994	1995	1996	1997
t	1	2	3	4	5	6	7	8	9	10	11	12	13
yt	43	48	55	63	75	90	112	140	179	231	301	396	524

Źródło: Dane umowne

Zadanie 2.

Na podstawie danych zawartych w poniższej tablicy oszacować metodą Gaussa - Newtona parametry funkcji wykładniczej:

y_t = α β ^x_t + ξ_t,.

Tabel 2.

t	1	2	3	4	5	6
xt	2	4	5	7	9	11
yt	23	51	76	171	384	865

Źródło: Dane umowne

Przykład zadania na podstawie omawianej metody.

5. Bibliografia.

1. Goryl A., Jędrzejczyk Z., Kukuła K., Osiewalski J., Walkocz A., „Wprowadzenie do ekonometrii w przykładach”, Wydawnictwo Naukowe PWN, Warszawa 1999

2. Nowak E., „Zarys metod ekonometrii. Zbiór zadań”, Wydawnictwo Naukowe PWN, Warszawa 1998

3. Płyta CD-Rom „Materiały do samodzielnego nauczania”, WSiZ w Rzeszowie Rok 2002

Praca pochodzi z serwisu www.e-sciagi.pl

---