img049

Rozdział 4

Nieliniowe sieci neuronowe

4.1 Nieliniowy model neuronu

Siecią neuronową, która odegrała historycznie bardzo istotną rolę byI niewątpliwie PERCEPTRON Rosenblatt.a [Rose-62]¹. Ta klasyczna konstrukcja (z 1957 rokuj zawierała bardzo wiele oryginalnych i ciekawych elementów (na przykład losowy mechanizm doboru połączeń między neuronami), których jednak nie będziemy tu szczegółowo dyskutowali, gdyż w rozwoju neurodynamiki stanowiły jedynie epizod. Skupimy natomiast uwagę na najbardziej istotnym nowym elemencie, wnoszonym przez PERCEPTRON w stosunku do omówionej wyżej ADALINE i MADALINE: nieliniowym elemencie przetwarzającym informację w każdym neuronie sieci. Wprowadzenie do sieci neuronowej nieliniowego elementu przetwarzającego informacje jest uzasadnione, ponieważ rzeczywiste biologiczne neurony są nieliniowe. Nieliniowy element przyjmowany w sieciach neuronowych może być opisany rówaniem

^!J = <p{c)

gdzie <p(.) jest wybraną funkcją nieliniową a sygnał e odpowiada łącznemu pobudzeniu neuronu, zgodnemu z formulą przyjmowaną uprzednio dla ADALINE

n

e = 52 Wi Xf «=i

lub uzupełnioną dodatkowo o składnik stały (bias)

11

e = 52 ^w* ** + ^w'o

i — 1

W dalszych rozważaniach będziemy zawsze zakładali, że składnik u?o występuje — najwyżej ma wartość 0. Aby jednak uprościć wszystkie występujące dalej wzory i wyprowadzenia,

1

Jako ciekawostkę warto odnotować fakt. że pierwowzorem perceptronu była ucząca się maszyna (Icarning machinc) zbudowana w 1951 roku precz studentów uniwersytetu Princeton, Marvinn Mińskiego i Deana Edmondsa. Ciekawostka polega na tym, że Miński był potem „grabarzem” i<lei perceptronu, którą totalnie skrytykował w swojej sławnej książce [Min*f>9].