img124 (14)

118 Backpropagation

tliwości. W uproszczeniu można powiedzieć, że im silniejszy jest bodziec wejściowy docierający do danego neuronu za pośrednictwem wszystkich jego wejść - tym większa jest częstotliwość impulsów na wyjściu neuronu. Można więc uznać, że w mózgu wszystkie informacje przekazywane są z wykorzystaniem metody PCM, którą Przyroda wynalazła... o tych kilka miliardów lat wcześniej, niż inżynierowie specjalizujący się w telekomunikacji!

Pełna dyskusja zagadnienia kodowania sygnałów neuronowych w rzeczywistym mózgu wykracza jednak poza zakres tej książki, zatem jeśli Cię to bliżej interesuje - zajrzyj może do mojej książki pt. “Problemy Biocybernetyki”, którą Państwowe Wydawnictwo Naukowe właśnie wydało powtórnie, natomiast z punktu widzenia dalszej treści tego artykułu istotny jest tylko jeden wniosek z tych rozważań: możliwe (i celowe!) jest stosowanie sieci neuronowych zbudowanych z neuronów, na wyjściu których występować będą sygnały zmieniające się w sposób ciągły w zakresie od 0 do 1 lub od -1 do 1.

Takie neurony o ciągłych nieliniowych funkcjach przejścia odróżniają się korzystnie zarówno od neuronów liniowych, którymi zajmowaliśmy się dość długo we wcześniejszych odcinkach cyklu, jak i od wprowadzonych w poprzednim miesiącu neuronów nieliniowych nieciągłych, mających tylko dwa dozwolone sygnały wyjściowe. Nie jestem w stanie przedstawić tu wszystkich tych zalet (zwłaszcza, że część z nich daje się wypowiedzieć wyłącznie w formie pewnych twierdzeń matematycznych, a obiecałem, że w tej książce nie użyję ani jednego wzoru matematycznego), jednak nawet poglądowo możesz się łatwo zorientować, że nieliniowe neurony o ciągłych charakterystykach dają - stosunkowo - najszersze możliwości. Z jednej strony są to bowiem struktury nieliniowe, a więc mogą (w odróżnieniu od neuronów liniowych) formować wielowarstwowe sieci, umożliwiające ustalenie (w wyniku treningu) zupełnie dowolnej zależności między wejściem i wyjściem. Z drugiej jednak strony sygnały w tych sieciach mogą przyjmować w sposób płynny dowolne wartości, co pozwala na ich stosowanie w zadaniach, w których wynik obliczeń neurokomputera nie powinien się ograniczać wyłącznie do rozstrzygnięć typu “tak - nie”, ale powinien określać jakąś wartość - na przykład spodziewaną zwyżkę kursu akcji w modnych ostatnio sieciach stosowanych do analizy rynku i przewidywań (predykcji) jego zmian.

Nieco mniej oczywisty, ale równie ważny jest drugi argument, przemawiający za rezygnacją z prostej “skokowej” charakterystyce. Otóż dla skutecznego uczenia wielowarstwowej sieci neuronowej KONIECZNE jest, by budujące ją neurony miały charakterystyki ciągłe i różniczkowalne. Udowodnienie, że tak jest istotnie, jest stosunkowo łatwe, ale nie sądzę, by