ALGORYTMY’ GRADIENTOM E
Rozpoczęcie obliczeń w tych metodach następuje poprzez określenie punktu początkowego poszukiwań Następnie w każdej iteracji wyznacza się kolejny kierunek poszukiwań i go przeszukuje w celu znalezienia minimum funkcji celu wzdłuż tego kierunku, tzn. punktu o możliwie najlepszej wartości funkcji celu, położonego na prostej wyznaczonej przez aktualne przybliżenie rozwiązania optymalnego x(k) i kierunek poszukiwań d‘k'. Dla zadania minimalizacji jest to punkt o najmniejszej wartości funkcji celu lub jego przybliżenie.
Poszczególne metody gradientowe różnią się sposobem wyznaczania kierunku i zastosowaną metodą minimalizacji kierunkowej.