img010

10

2.1. Dzieje badań nad sieciami neuronowymi

sieci neuronowych. Wynikało to po części ze wspomnianego wyżej fatalnego wpływu książki Mińskiego i Paperta, a po części z fascynacji osiągnięciami techniki komputerowej oraz rozwojem technologii układów scalonych barćlzo dużych skal integracji. Ówczesnym badaczom wydawało się, że w zakresie typowego przetwarzania informacji nawet najdoskonalsze sieci neuronowe nie będą mogły konkurować z typowymi systemami cyfrowymi, przeto nieliczne prace i badania koncentrowały się na takich zastosowaniach, w których decydujące znaczenie miały możliwości sieci wynikające z jej adaptacyjnego charakteru. Dotyczyło to głównie zagadnień związanych z rozpoznawaniem. Charakterystyczne jest przy tym, że wszystkie konstrukcje łat 70-tych mają już wyłącznie elektroniczną budowę. Oto niektóre z nich:

W 1970 roku Stephen Grossberg buduje na uniwersytecie w Bostonie sieć Aralanche służącą do rozpoznawania mowy oraz sterowania ruchami ramienia robota. W tym samym roku w słynnej MIT powstaje Ccrcbellatron Davida Mara, Jamesa Albusa i Andresa Pellio-neza, służący także do sterowania robota, a wzorowany nieci na Avalanche. W 1974 roku powstaje sieć BP zbudowana przez Paula Werbosaz uniwersytetu Harvarda we współpracy z Davidem Parkeem i Davidem Rumelhartem z uniwersytetu Stanforda. Ta bardzo popularna i łatwo się ucząca sieć wykorzystywana była w podobnym zakresie, jak wyżej wymienione — to znaczy do rozpoznawania i syntezy mowy oraz do sterowania rohota. Odmienne zastosowanie miała sieć Brain Stałe, in a Bot,, zbudowana przez Jamesa Andersona z uniwersytetu Browna w 1977 roku. Jej zadaniem było wydobywanie wiadomości z bazy danych. Pod względem funkcjonalnym przypominała znane pamięci asocjacyjne z dwustronnym dostępem (BAM), ale jej działanie nie było związane z iteracyjnym procesem poszukiwania rozwiązania, lecz polegało na szybkich zależnościach typu wejście — wyjście.

Opisana wyżej sieć Stanowi jednak (pod względem obszaru zastosowań) zdecydowany wyjątek. Absolutną regułą były w tamtym okresie sieci wykorzystywane do rozpoznawania. Taką siecią byl Ncocognitmn zbudowany w laboratoriach NHK pod kierunkiem Kunihiko Fukushimy w 1978. Służąc do rozpoznawania ręcznie pisanych znaków. Neocognitron wymagał jednak bardzo wielkiej liczby elementów i połączeń, przeto jest uważany do dziś za najbardziej skomplikowaną sieć neuropodobną, jaką kiedykolwiek zbudowano. Dzięki tej komplikacji mógł jednak odczytywać dowolne znaki (między innymi pismo chińskie), a także byl niewrażliwy na zniekształcenia czytanych znaków, na ich rozmiary, przesunięcia, obroty itp. Inna sieć, opracowana w tym samym roku przez Gaiła Carpentera i Stephena Grossberga na uniwersytecie w Bostonie, była także przeznaczona do rozpoznawania, a w jej opisach także podkreślano znaczny stopień komplikacji. Sieć nazywała się Ad(iptive Resonance The-ory i przystosowana była do rozpoznawania tych sygnałów, których człowiek nie postrzega w sposób bezpośredni: radar, sonar, sygnały wibroakustyczne itp. Sieć ta także odegrała znaczącą rolę w rozwoju neurocyberetyki.

W związku z opracowaniem technologii wytwarzania modeli komórek nerwowych w postaci odpowiednich układów scalonych pojawiły się w latach 80-tych pierwsze konstrukcje o naprawdę dużych rozmiarach i liczącej się mocy obliczeniowej. Najczęściej jednak konstrukcje te wykorzystywały drobny zaledwie fragment możliwości związanych z poznanymi już właściwościami sieci nerwowych. Typową „ofiarą” scalania padała ta własność sieci, którą najtrudniej odwzorować, w układzie scalonym — adaptacyjność parametrów.

W tym samym okresie pojawiły się pierwsze sieci ze sprzężeniami zwrotnymi, w których rozwiązywanie stawianych zadań polegało na poszukiwaniu przez sieć stanu równowagi w długim iteracyjnym procesie dynamicznym. Przykładem sieci tego typu są systemy opracowane w 1982 roku przez Johna Hopfieldaz ATfcT Bell Labs, wykorzystywane do odtwarzania obrazów z ich fragmentów, a także stosowane do rozwiązywania zadań typu optyinalizacyj-