Sieć jednowarstwowa jednokierunkowa

Sygnały na wyjściu pojedynczej warstwy można wyznaczyć zgodnie z zależnością:

Y = f(W^TX+θ)

Gdzie:

Y – wektor kolumnowy wartości wyjść Y = (y₁,  y₂,  …, y_k)^T, k – liczba wyjść warstwy

X – wektor kolumnowy wejść, X=(x,  x,  …, x_n)^T, n – liczba wejść

Θ – wektor kolumnowy przesunięć funkcji aktywacji (tzw. Bias), k-elementów

f – funkcja aktywacji, W – macierz wag o strukturze W = [W₁, W₂, …, W_k], k – liczba neuronów w warstwie; W_i – wektor kolumnowy wartości wag i-tego neuronu. W_i – (w_i1, w_i2, …, w_ij, … w_in)^T, n – liczba wag neuronu.

Algorytm uczenia.

Ciąg uczący: U=(<X₁, Z₁>, <X₂, Z₂, …<X_L, Z_L>); <X, Z> - para ucząca; X-wektor wejściowy, Z – wektor wartości oczekiwanych na wyjściu.

Uczenie polega na zmianie wartości wag macierzy W.

Algorytm dla sieci z liniową funkcja aktywacji (algorytm delta).

$\delta = \sum_{j}^{}\delta_{j}$ - sumaryczny błąd na wyjściach, gdzie $\delta_{j} = \frac{\left( z_{j} - y_{j} \right)^{2}}{2}$

Problem uczenia można określić jako problem minimalizacji błędu, do którego można wykorzystać gradientową metodę największego spadku. Zgodnie z tą metodą w każdym kolejnym kroku iteracji wartości wag zmienia się o pewną wartość:

w_ij^nowe = w_ij^stare + w_ij, gdzie: $w_{\text{ij}} = - \eta\frac{\text{σδ}}{\sigma w_{\text{ij}}}$

Zmodyfikowana wartość wagi: w_ij^nowe = w_ij^stare + η(z_j − y_j)x_i

Dla nieliniowych funkcji aktywacji, wymagane jest by były różniczkowalne:

$w_{\text{ij}}^{\text{nowe}} = w_{\text{ij}}^{\text{stare}} + \eta(z_{j} - y_{j}){\frac{\sigma y_{j}}{\sigma\text{net}_{j}}x}_{i}$, net – sumaryczne pobudzenie neuronu.

Uczenie perceptronu wielowarstwowego:

Algorytm zmiany wartości wag jest analogiczny jak dla perceptronu prostego.

Algorytm wstecznej propagacji błędów:

1. Na wejście wprowadzić pierwszy wektor wejściowy X

2. Wyznaczyć wartość wektora wyjściowego sieci

3. Dla każdego neuronu warstwy wyjściowej wyznaczyć błąd: δ_Mj = z_j − y_j

4. Wyznaczyć wartość poprawki dla każdej z wag warstwy M-tej (wyjściowej): w_ij^nowe = w_ij^stare +  ηδ_Mj(1 − y_j)x_iy_j

5. Wyznaczyć wartość błędów dla neuronów warstwy M-1, korzystając z zależności:

$\delta_{M - 1\ k} = \sum_{j}^{}{w_{\text{ij}}\delta_{\text{Mj}}}$

1. Wyznaczyć wartość poprawki dla każdej z wag warstwy M-1:

w_ij^nowe = w_ij^stare +  ηδ_{M − 1 j}(1 − y_j)x_iy_j

1. Przejść do warstwy M-2 i powtarzać czynności 5 i 6 do momentu wprowadzenia modyfikacji dla wszystkich wag sieci.

2. Z ciągu uczącego pobrać kolejny wektor X i przejść do czynności 2.

Czynności 1-8 wykonać dla całego ciągu uczącego. Warunkiem zakończenia jest 100% poprawności rozpoznawania.