statystyka skrypt59

Definiując woktor d/ jako:

d,»-P_fg„    (5.13)

gdzie Pi jesl dowolną macierzą kwadratową dodatnio określoną, forma kwadratowa wektora g> o macierzy P, będzie spełniać relację g/ P, g, >0 dla każdego wektora g,.

Kolejne przybliżenie wektora ocen współczynników może być przedstawione w postaci:

b_w«b_#(5-14)

gdzie Xi jest długością kroku w /-tej iteracji, P/ dowolną macierzą dodatnio określoną g/ gradientem funkcji kryterium.

Poszczególne metody gradientowe poszukiwania ekstremum funkcji kryterium różnią się przede wszystkim postacią macierzy P/.

Metoda najszybszego spadku

Jest to najprostsza metoda gradientowa, w której za P; przyjmuje się macierz jednostkową I. Wówczas:

b„.=b_f +A,g,. i    (5.15)

Długość kroku X, można określić, aproksymując funkcję S(b) funkcją kwadratową i minimalizując ją na kierunku gr. Wadą metody jest niezmienniczość macierzy P w kolejnych iteracjach, co nie pozwala na bieżące korygowanie ocen współczynników w zależności od postaci funkcji kryterium.

Metoda Newtona-Raphsona

Przekształćmy wzór (5.3) w następujący sposób:

S(b)=e^Te=(y - n)^T(y - n) “ y^ry - y^rn - n^ry -    =y^ry - Vy+V n. (5.16)

Funkcja S(b) osiąga ekstremum, gdy jej pochodna jest równa wektorowi zerowemu:

5S(b) __2 z^ry + 2 Z^Ti\ = -2 Z^r(y-iO=0,    (5.17)

db

gdzie    jest macierzą o wymiarach [n * m].

⁵P    ....

W metodzie Ncwtona-Rapsona przyjmuje się, że macierz P, =H , gdzie macierz H jest hesjanem funkcji kryterium:

₌ jm_s^ _{= 2Z}r_Z.2±

db db^T db^r

db, db

(5.18)

68