19567 statystyka skrypt60

gdzie

Y jest m wymiarowym wektorem pochodnych cząstkowych funkcji

d²V

db_p ab'

b)/db_p względem m elementów wektora b^T. Macierz w nawiasie klamrowym, której pierwszy i ostatni wiersz pokazano, ma wymiary

Kolejne przybliżenie wektora ocen współczynników może być zatem przedstawione w postaci:

*>/♦!-b,-4 H"¹*/.    (5.19)

Po uwzględnieniu wzoru (5.17) zależność (5.19) przyjmie postać:

b,„, ■ b, - A, H'¹ *|-2Z^r (y -•Ol-

Jeśli estymowana funkcja rfa, p ) jest liniowa, to funkcja kryterium jesz funkcją kwadratową i powyższy wzór pozwała uzyskać rozwiązanie w jednej iteracji przy długości kroku X ^ml. Jeżeli jednak funkcja S(b) nie jest kwadratowa to musi być stosowana itezacyjna procedura optymalizacji. Poważnym utrudnieniem w stosowaniu metody Newtona-Raphsona jest konieczność obliczania hesjanu, czyli pochodnych drugiego rzędu funkcji kryterium. Hcsjan może nie być dodatnio określony i wówczas zdarza się, ze proces iteracyjny prowadzi do punktu, w którym funkcja nie osiąga minimum lub proces jest rozbieżny.

Metoda Gaussa-Newtona

Metoda ta jest uproszczeniem metody Newtona-Raphsona uzyskanym przez aproksymację hesjanu funkcji kryterium za pomocą pierwszego składnika sumy (5.18) i wtedy można uprościć wzór (5.20) do postaci:

b,„ = b,-*,\2Z'z\' *[-2Z~(y - _n>].    (5.21)

Jeżeli w otoczeniu punktu b/ funkcja //(x,, p) nic odbija zasadniczo od funkcji liniowej, to taka aproksymacja nie jest obarczona zbyt dużym błędem, a metoda dość efektywna. Z porównania wzorów (5.14) i (5.21) wynika, że macierz P/ w tej metodzie ma posiać:

P, =(2Z^rzJ“'.    (5.22)

Metoda Marąurdta

Metoda jest modyfikacją metody Gaussa-Newtona polegającą na wykorzystaniu faktu, że macierz P, + y, P, jest zawsze dodatnio określona, jeśli macierz P, jest dodatnio określona i stała y, jest wystarczająco duża. Macierz P będzie miała postać:

P,=(2Z^rZ ₊ y,P,r'.'    (5.23)

Najczęściej przyjmuje się P. = I. Jeśli stała y, jest bliska zeru, to metoda Marąuardta jest bliska metodzie Gaussa-Newtona. Im y, jest większe, tym bardziej metoda Marąuardta odpowiada metodzie najszybszego spadku. Posługując się czynnikiem y_t, można mody fi ko-

69