Struktury sieci neuronowych: a) sieci jednokierunkowe:- jednowarstwowe - wielowarstwowe

b) sieci rekurencyjne:- lokalnie rekurencyjne globalnie jednokierunkowe- globalnie rekurencyjne

c) sieci radialne, d) sieci komórkowe e) sieci typu GMDH, f) rozmyte sieci neuronowe.

Zastosowanie ssn

a) autoasocjacja: faktyczny obraz jest rekonstruowany przez siec z obrazu niekompletnego i/lub obarczonego zakłóceniami, b) heteroasocjacja: siec realizuje odwzorowanie wejscie-wyjscie,

c) klasyfikacja: siec klasyfikuje, czyli przypisuje do odpowiednich zbiorów (klas) różne

obrazy wejściowe, d) detekcja regularności: wykrywanie statystycznie istotnych cech w obrazie wejściowym.

Model matematyczny neuronu

,

ui - wejścia neuronu, wi - wagi neuronu b - próg zadziałania neuronu y - wyjście neuronu,

F - funkcja wyjściowa, i 2- index wejść neuronu, N - liczba wejść neuronu.

Uczenie

a) uczenie bez nauczyciela (nienadzorowane) - podczas tego uczenia nie jest podawane

prawidłowe rozwiązanie (przykłady), siec stara sie sama uczyć rozróżniać nadchodzące

do niej sygnały i grupować je w pewne kategorie;

b) uczenie z nauczycielem (nadzorowane) - właściwy rezultat jest znany, ponieważ nauczyciel

podpowiada sieci wymagana odpowiedz na zadany sygnał wejściowy.

sposoby korekcji wag

a) sposób przyrostowy (ang: incremental) - wagi aktualizowane sa bezpośrednio po podaniu

każdego wzorca. Funkcja błędu jest zmniejszana w każdym kroku.

b) sposób grupowy (ang: batch updating) - korekcja wag następuje po podaniu całego

zestawu danych uczących

Heurystyki

Heurystyka 1

Wystarczy jedna warstwa ukryta z dostateczna liczba jednostek przetwarzających do aproksymacji dowolnej funkcji ciągłej.

Heurystyka 2

Każda rozsądną funkcje y = f (x) można aproksymować z zadana dokładnością przy użyciu,

co najmniej dwóch warstw ukrytych oraz dostatecznie dużej liczbie jednostek w warstwach.

Heurystyka 3

Liczba wzorców uczących powinna być pięciokrotnie większa niż liczba parametrów swobodnych sieci.

Heurystyka 4

Liczba wzorców uczących powinna być kilkakrotnie większa (min. 10) od miary Vapnika-

Chervonenkisa V Cdim,

Heurystyka 5

Liczbę neuronów w pierwszej warstwie ukrytej możemy wyznaczyć z zależności

wzór

Heurystyka 6

Możliwe jest zredukowanie struktury sieci w taki sposób, aby w kolejnym podejściu do

budowy modelu użyć struktury z poprzedniego kroku, dla której liczba parametrów zostałaby

pomniejszona o parametry o wartościach bliskich zeru.

Heurystyka 7

Początkowo dobieramy strukturę stosując heurystyki 1−5. Następnie możliwe jest zmniejszenie

liczby neuronów warstwy ukrytej o połowę w sytuacji, gdy błąd generalizacji jest zadawalający.

W sytuacji odwrotnej należy zwiększyć ta liczbę o połowę (można przyjąć większą/mniejsza

liczbę neuronów dodawanych/odejmowanych).

---