img009

9

Rozdział 2. Historia powstania i kierunki rozwoju sieci neuronowych

poznawanych obiektów, ich położenie w polu widzenia (przesunięcie, obrót) oraz zmiany kształtu. Zaletą perceptronu, obok faktu, źe byl on pierwszą realnie działającą imitacją sieci nerwowej, była zdolność do zachowywania poprawnego działania nawet po Uszkodzeniu pewnej części jego elementów. Wraz ze zdolnością do uczenia się oraz wespół z zagadkową na pozór możliwością uzyskania sensownego, celowego działania struktury zbudowanej z elementów połączonych ze sobą w sposób autentycznie losowy — wzrosło ogromnie zainteresowanie eksperymentem perceptronowym w USA i na całym świecie. Powstało niesłychanie dużo naśladownictw, zarówno w Stanach Zjednoczonych, jak i Japonii, Europie i Związku Radzieckim. W tym ostatnim na szczególną uwagę zasługują błyskotliwe prace tragicznie zmarłego Bongarda. w których zasadę perceptronu twórczo uogólniono i zastosowano do identyfikacji między innymi formuł matematycznych. Istniał także (w formie programu symulacyjnego dla komputera Gier) polski perceptron Karpińskiego i Michalskiego (Instytut Automatyki PAN), kilka wersji perceptronów modelował też na komputerach Odra i Cyber autor tej książki wraz ze współpracownikami. Ze względu na ograniczoną objętość tej książki niemożliwe jest nawet skrótowe omówienie tych konstrukcji.

Ciekawą konstrukcją neurokomputera była sieć elektrochemicznych uczących się elementów (nazywanych Adałine od Adaptive linear element), zbudowana w 1960 roku przez Bernarda Widrowa z Uniwersytetu Standforda. Sieć ta, nazwana od nazwy elementu Ma-dalinc, składała się z maksymalnie 8 modeli neuronów o 128 połączeniach i pracowała z szybkością 10⁴ przełączeń na sekundę. Jej znaczenie, obok ciekawej zasady działania i niesłychanie efektywnego procesu uczenia, polegało na tym, że byl to pierwszy neurokom-puter oferowany komercyjnie. Co więcej, układ ten byl kupowany i jest używany gdzieniegdzie do dziś, czyli przez ponad 20 lat! Zadania sieci Madaline związane są adaptacyjnym przetwarzaniem sygnałów. Wykorzystywana jest w radarach, sonarach, modemach i liniach telefonicznych.

Opisane wyżej koustrukcje miały bardzo inspirujący wpływ na wielu badaczy, ale nie stanowiły wiernego modeli] biologicznej sieci nerwowej, tylko były sztucznie zaprojektowanymi maszynami do przetwarzania informacji, wykorzystującymi elementy neuronowe. Natomiast jedną z najwcześmeyszych i do dziś płodnych naukowo prób wiernego odwzorowania w sieci neuronowej obserwowanych w rzeczywistości struktur biologicznych, była budowa sieci z hamowaniem obocznym na wzór struktury systemu wzrokowego kraba Limulusa. Sieci te stały się źródłem inspirującej teorii i stanowią do dziś ważny przyczynek do praktyki stosowalna sieci neuronowych. W owym pionierskim okresie podejmowano nawet próby tworzenia modeli całego mózgu [Y0111168] — wprawdzie tylko ośmiornicy, ale i tak próba ta była dostatecznie zuchwała. Dziś, kiedy wierny o mózgu znacznie więcej — nikt nie formułuje t.ak ambitnych celów.

Rozwój badań związanych z problematyką sieci neuronowych został gwałtownie zahamowany na początku lat 70-tych za sprawą książki [Mins69]. Zniechęciła ona wielu badaczy, ponieważ dowodziła, że sieci jednowarstwowe (podobne do perceptronu lub oparte na zasadzie hamowań obocznych) mają bardzo ograniczony zakres zastosowań. Impas, kt.óry się wytworzył na blisko 15 lat, przełamała dopiero seria prac pokazujących, że nieliniowe sieci wielowarstowe wolne są od ograniczeń wskazanych w pracy, a także podających efektywne metody uczenia sieci wielowarstwowych. Nie oznacza to oczywiście, że w latach 70-tych nie było żadnych osiągnięć w dziedzinie sieci neuronowych. Publikowano w tym czasie liczne prace, i to dość znaczące. Jednak po sukcesach, jakimi byiy niewątpliwie konstrukcje Perceptronu i Madaline, były to osiągnięcia wyraźnie niższego lotu. Dlatego zasadna jest często spotykana opinia, że w latach 70-tych nastapil ewidentny zastój w badaniach nad modelami