Sieci CP str009

RozdziaJ 2. Historia powstania i kierunki rozwoju sieci neuronowych

poznawanych obiektów, ich położenie w polu widzenia (przesunięcie, obrót) oraz zmiany kształtu. Zaletą perceptronu, obok faktu, że by! on pierwszą realnie działającą imitacją sieci nerwowej, była zdolność do zachowywania poprawnego działania nawet po Uszkodzeniu pewnej części jego elementów. Wraz ze zdolnością do uczenia się oraz wespół z zagadkową na pozór możliwością uzyskania sensownego, celowego działania struktury zbudowanej z elementów połączonych ze sobą w sposób autentycznie losowy — wzrosło ogromnie zainteresowanie eksperymentem perceptronowym w USA i na całym święcie. Powstało niesłychanie dużo naśladownictw, zarówno w Stanach Zjednoczonych, jak i Japonii, Europie i Związku Radzieckim. W lyrn ostatnim na szczególną uwagę zasługują błyskotliwe prace tragicznie zmarłego Bongarda. w których zasadę perceptronu twórczo uogólniono i zastosowano do identyfikacji między innymi formuł matematycznych. Istniał także (w formie programu symulacyjnego dla komputera Gier) polski perceptron Karpińskiego i Michalskiego (Instytut Automatyki PAN), kilka wersji perceptronów modelował też na komputerach Odra i Cyber autor tej książki wraz ze współpracownikami. Ze względu na ograniczoną objętość tej książki niemożliwe jest nawet skrótowe omówienie tych konstrukcji.

Ciekawą konstrukcją ncurokomputera była sieć elektrochemicznych uczących się ele-rucntów (nazywanych Adaline od Adaptive linear element), zbudowana w 1960 roku przez Bernarda Widrowa z Uniwersytetu Standforda. Sieć ta, nazwana od nazwy elementu Ma-dalinc, składała się z maksymalnie 8 modeli neuronów o 128 połączeniach i pracowała z szybkością 10⁴ przełączeń na sekundę. Jej znaczenie, obok ciekawej zasady działania i niesłychanie efektywnego procesu uczenia, polegało na tym, że był to pierwszy neurokom-puter oferowany komercyjnie. Co więcej, układ teu był kupowany i jest używany gdzieniegdzie do dziś, czyli przez ponad 20 lat! Zadania sieci Madaline związane są adaptacyjnym przetwarzaniem sygnałów. Wykorzystywana jest w radarach, sonarach, modemach i liniach telefonicznych.

Opisane wyżej konstrukcje miały bardzo inspirujący wpływ na wielu badaczy, ale nie stanowiły wiernego modelu biologicznej sieci nerwowej, tylko były sztucznie zaprojektowanymi maszynami do przetwarzania informacji, wykorzystującymi elementy neuronowe. Natomiast jedną ?. najwcześniejszych i do dziś płodnych naukowo prób wiernego odwzorowania w sieci neuronowej obserwowanych w rzeczywistości struktur biologicznych, była budowa sieci z hamowaniem obocznym na wzór struktury systemu wzrokowego kraba Limulusa. Sieci te stały się źródłem inspirującej teorii i stanowią do dziś ważny przyczynek do praktyki stosowania sieci neuronowych. W owym pionierskim okresie podejmowano nawet próby tworzenia modeli całego mózgu [Y0111168] — wprawdzie tylko ośmiornicy, ale i tak próba ta była dostatecznie zuchwała. Dziś, kiedy wierny o mózgu znacznie więcej — nikt nie formułuje tak ambitnych celów.

Rozwój badań związanych z problematyką sieci neuronowych został gwałtownie zahamowany na początku lat 70-tych za sprawą książki [Mins69j. Zniechęciła ona wielu badaczy, ponieważ dowodziła, że sieci jednowarstwowe (podobne do perceptronu lub oparte na zasadzie hamowań obocznych) mają bardzo ograniczony zakres zastosowań. Impas, który się wytworzył na blisko 15 lat, przełamała dopiero seria prac pokazujący di, że nieliniowe sieci wielowarstowe wolne są od ograniczeń wskazanych w pracy, a także podających efektywne metody uczenia sieci wielowarstwowych. Nie oznacza to oczywiście, że w latach 79-tych nie było żadnych osiągnięć w dziedzinie sieci neuronowych. Publikowano w tym czasie liczne prace, i to dość znaczące. Jednak po sukcesach, jakimi były niewątpliwie konstrukcje Perceptronu i Madaline, były to osiągnięcia wyraźnie niższego lotu. Dlatego zasadna jest często spotykana opinia, że w latach 70-tych nastapil ewidentny zastój w badaniach nad modelami