427 2

427

10.5. Nieliniowe zadania optymalizacji

f-yeflberg (1944) sugerował, aby G(x_v) zastąpić macierzą p-tdao jednak wybrać odpowiednie u. W tych algorytmac

prosię

dodatnio określoną C(x_v) -fil. Igorytmach unika się poszukiwania wzdłuż W pierwszym z przypadków wyróżnionych w (10.5.9) wybiera się 2 = 1, jeśli jednak ^ ^x_v), ^lo ^ się połowi; robi się to aż do osiągnięcia nierówności ę(x_r—Xdj\ < <vKr_v). Ostatnie X uznaje się za 2_V. W drugim przypadku próbuje się najpierw wartości _?^_g^Tgig^TGg, jeśli g^TGg>0. W przeciwnym razie przyj tuje się, że ;.= max 2,,|^l</,_l||/||rf_r||

^ _V5*0 j X= 1 dla v=0.1 tym razem X połowi się wielokrotnie, aż do otrzymania nierówności ?(*_v-M)<?(-0.

Zauważmy, że kierunek w metodzie Newtona nie jest kierunkiem najszybszego spadku, jeśli g'G~^lg^0. Taka sytuacja nie jest prawdopodobna w pobliżu x zc względu na dodatnią (lub przynajmniej nieujemną) określoność macierzy G (x). Natomiast zdała od x może się tak zdarzyć, a to przemawia za dopuszczeniem gradientu jako alternatywnego wyboru kierunku — szczególnie ze względu na niebezpieczeństwo dojścia w kierunku newtonowskim do punktu siodłowego.

Spowolniona metoda Newtona nie jest zbyt efektywna dla dużych n, np. dla n>5, wobec konieczności obliczania hefjanu.

Istnieje klasa metod, zwanych metodami aktualizacji macierzy, w których hesjanu w ogóle się nie oblicza, natomiast przybliżony hesjan tworzy się w procesie iteracyjnym przez stopniowe sumowanie macierzy' niskiego rzędu. Jedną z najbardziej znanych jest metoda Dauidona-Fletchera-Po+rella (1959, 1963). N.ech będzie

<5=x_v-x_r__lf    7 = *(*,)“0(*v-i).

Wtedy

d,=łi_r9ixj)

gćzie

00.5.10)

(X_v określa się przez poszukiwanie wzdłuż prostej).

#0=*.

j'

y(g>-i7)^t «v-i y

^VVzory wydają się skomplikowane, ale oprócz obliczania gradientu w każdej iteracji wy-jeszcze wykonać tylko około 2/i² mnożeń. Natomiast klasyczna metoda Newtona mnożeń, obliczania gradientu i hesjanu. Zauważmy, że macierz