Sieci Jednokierunkowe
Największym zainteresowaniem spośród wielu rodzajów
sieci neuronowych cieszy się sieć jednokierunkowa,
wielowarstwowa o neuronach typu sigmoidalnego,
zwane również perceptronem wielowarstwowym.
Przepływ w tych sieciach odbywają się w jednym
kierunku od wejścia do wyjścia.
Metody uczenia sieci są proste i łatwe do realizacji w
praktyce - zwykle uczenie odbywa się z nauczycielem.
Niektóre metody nauczania tego typu sieci to między
innymi: wsteczna propagacja błędu wraz z jej
modyfikacjami, algorytmy typu RLS, algorytm
Levenberga  Marquardta.
Modele neuronów
Na podstawie zasad działania rzeczywistego neuronu
stworzono wiele modeli matematycznych, w których
uwzględnione zostały w większym lub mniejszym stopniu
właściwości rzeczywistych komórek nerwowych. Schemat
obwodowy powiązany z większością tych modeli
odpowiada modelowi McCullocha-Pittsa.
Wsteczna propagacja błedu
Back Propagation (BP)
wyprowadzona przez J. Werbos'a i ponownie odkryta przez E. Rumelhart'a i J.L. McCelland'a.
Algorytm wstecznej propagacji - BP (ang. BackPropagation) określa strategię doboru
wag w sieci wielowarstwowej przy wykorzystaniu gradientowych metod optymalizacji.
Podczas procesu uczenia sieci dokonuje się prezentacji pewnej ilości zestawów
uczących (tzn. wektorów wejściowych oraz odpowiadających im wektorów sygnałów
wzorcowych (wyjściowych)). Uczenie polega na takim doborze wag neuronów by w
efekcie końcowym błąd popełniany przez sieć był mniejszy od zadanego. Nazwa
"wsteczna propagacja" pochodzi od sposobu obliczania błędów w poszczególnych
warstwach sieci. Najpierw obliczane są błędy w warstwie ostatniej (na podstawie
sygnałów wyjściowych i wzorcowych. Błąd dla neuronów w dowolnej warstwie
wcześniejszej obliczany jest jako pewna funkcja błędów neuronów warstwy
poprzedzającej. Sygnał błędu rozprzestrzenia się od warstwy ostatniej, aż do warstwy
wejściowej, a więc wstecz.
Korekcja wektora wag sieci oparta jest na minimalizacji funkcji miary błędu, która
określona jest jako suma kwadratów błędów na wyjściach sieci:
W celu minimalizacji błędu średniokwadratowego zostanie
wykorzystana reguła najszybszego spadku dla uczenia
dowolnej wagi
Odpowiednia składowa gradientu funkcji błędu przyjmuje postać