img047

47

Rozdział 3. Liniowe sieci neuronowe

nazywanej skumulowanym błędem. Wartości skumulowanego błędu wykorzystywane są do obliczania nowych wartości macierzy wag

w£’^+,)= w£ⁿ+ S°*>

przy czym poprawki te są wnoszone jedynie w momentach j spelaniających równanie

j = n_Ąf , r = 1.2,...

a więc znacznie rzadziej, niż w przypadku prowadzenia uczenia co krok (tzn. dla każdego j).

3.11 Uwagi końcowe

Sieci MADALINE (wraz ze swymi odmianami) były pierwszymi efektywnie zastosowanymi sieciami neuronowymi i mimo ogromnego postępu notowanego w tej dziedzinie, pozostają wciąż bardzo użytecznym narzędziem —szczególnie przy budowie systemów rozpoznających, filtrów adaptacyjnych, pamięci asocjacyjnych itp. Jednak możliwości sieci budowanych z elementów liniowych są ograniczone, jak to słusznie podkreślili Minsky i Papcrfc w swojej znanej książce [Mins69].

Ograniczenie to ma dwojakiego rodzaju charakter. Fo pierwsze odwzorowania X Y jakie może realizować sieć MADALINE są wyłącznie odwzorowaniami liniowymi. Wynika to w trywialny sposób z zasady działania tej sieci. Po drugie, klasa dostępnych odwzorowań nie zależy od tego, czy mamy do czynienia z siecią jedno- czy wielowarstwową. Uprzedzając nieco wiadomości wprowadzone w następnych rozdziałach stwierdzić należy, że sieci neuronowe wielowarstwowe mają w ogólnym przypadku znacznie bogatsze możliwości, niż sieć jednowarstwowa. Nie dotyczy to jednak niestety sieci typu MADALINE. Rozważmy bowiem przykładowo sieć dwuwarstwową. Niech sygnał wejściowy do pierwszej warstwy sieci dany będzie (jak dotychczas) wektorem X o ii elementach. Jeśli pierwsza warstwa ma k neuronów a komplet wag dla tej warstwy wyraża się macierzą W*, wówczas sygnał wyjściowy z tej warstwy daje się zapisać wektorem Y o JSr składowych, który można wyznaczyć formalnie z używanej wyżej zależności

Y    = W_k X

Dotychczas na tym się nasza analiza kończyła. Załóżmy jednak, że sieć ma kolejną warstwę zawierającą m neuronów, do których doprowadzone są sygnały składające się na wektor Y. Macierz współczynników wagowych dla tej warstwy sieci oznaczmy przez W_m, ma ona oczywiście wymiary [mx k). W następstwie działania tej warstwy sygnał Y o k składowych przetworzony zostaje w sygnał U o m składowych zgodnie ze wzorem

U ^ W_m Y

Jednak drogą prostego podstawienia można uzyskać formułę bezpośrednio wiążącą wejście całej dwuwymiarowej sieci X z jej wyjściem U:

u = W, W_m X

Jednak macierze W* i W„, można wymnożyć (warto sprawdzić, że jest to dozwolone ze względu na zgodne z wymogami rachunku macierzowego dopasowanie wymiarów tych macierzy), w wyniku czego można zapisać odwzorowanie w postaci

V    = W_km X

■