Nowe technologie
12/99 11
Geneza sieci neuronowych
Sieci neuronowe, czyli o
Jak wiele wynalazków (czasami na-
zywanych przez nas cudownymi), bę-
 komputerze inaczej
dących raczej naS
ladownictwem roz-
wiązań podpatrzonych w przyrodzie,
Przeglądając wczeS
niejsze numery  Praktycznego Elektronika
tak i sztuczne sieci neuronowe (ang.
miałeS
Drogi Czytelniku okazję poznać  od kuchni proste układy Arificial Neural Networks) swe korzenie
mają w biologicznym wzorcu. Do tej
oparte na mikrokontrolerach, oraz doS
ć bogatą i różnorodną pa-
pory ludzki mózg jest obiektem badań
letę ich zastosowań. O możliwoS
ciach poważniejszych kompute-
i wielką niewiadomą dla neurobiolo-
rów napisano już wiele, ich praktyczną pomoc, a czasem jej ogra-
gów. W celu poznania jego struktury
niczenia znamy z codziennego życia. Tym razem w kąciku teore-
i funkcjonowania stosuje się niezliczone
tycznym inne spojrzenie na zagadnienie obliczeń, rzecz o sztucz-
metody obserwacji i pomiarów. Mimo
nych sieciach neuronowych.
że budowę i podstawy funkcjonowania
pojedynczej komórki nerwowej udało
Punktem wyjS
cia niech będzie do- pisać. Przebieg informacji jest uwarun- się w miarę zgłębić, to daleko jeszcze
tychczasowa struktura mikroprocesora, kowany przez system połączeń wewnę- do zrozumienia funkcjonowania cało-
S
ci. Jedną z prób było skonstruowanie
sama przepowiadająca już jego działa- trznych i zewnętrznych procesora.
nie, (rys. 1). Podstawowe elementy Jednostka sterująca zapewnia po- uproszczonego modelu matematyczne-
go. Jako pierwsi dokonali tego dwaj ba-
procesora to: prawne wykonanie rozkazów (rejestr
 Jednostka sterująca; poleceń, dekoder rozkazów). Koordy- dacze amerykańscy Warren McCulloch
i Walter Pitts w 1943 roku.
 Jednostka pamiętająca; nuje również czasowo i logicznie pracę
Istnieją jednakże różne motywacje
 Jednostka operacyjna; całego procesora. W tym momencie
 System magistral (bussystem). najważniejszy jest fakt, że operacje wy- do zgłębiania i studiowania sztucznych
sieci neuronowych, w zależnoS
ci od te-
Sercem układu jest jednostka aryt- konywane są  szeregowo , jedna za
go jaka grupa badaczy zajmuje się pro-
metyczno-logiczna ALU (ALU  ang. ary- drugą. Jeżeli mamy do przetworzenia
thmetic logic unit), w której wykonywane wiele danych, to musimy czekać, wyko- blemem. Wspomniani biolodzy szukają
modeli, za pomocą których mogą zro-
są wszelkie operacje na danych. Nie nywać je w ALU po kolei. Odpowiednio
wchodząc w szczegóły (co nam teraz nie do tego wczytywać i odpowiednio zapi- zumieć rzeczywiste sieci, akcentują
jest potrzebne) można stwierdzić, że jed- sywać kolejne porcje informacji w pa- przykładowo pytanie o lokalizację prze-
nostka pamiętająca odpowiedzialna jest mięci. Sieci neuronowe natomiast dzia- twarzania informacji.
za przechowanie informacji, do prze- łają odwrotnie. Przetwarzają jednocze- Matematycy borykają się z sieciami
tworzenia w ALU, która została wczytana S
nie M danych wejS
ciowych w N da- funkcji. Problemem są rodzaje klas
funkcji, które dają się  policzyć za po-
z pamięci zewnętrznej. Do zadań jej na- nych wyjS
ciowych i bywa to niekiedy
leży również przechowanie wyników okreS
lane mianem struktury równole- mocą okreS
lonego modelu sieci. Fizycy
widzą w sieciach neuronowych kolejny
operacji, oraz adresów pamięci zewnę- głej. Jak takie układy działają i jakie
przykład złożonego systemu, którego
trznej. Stamtąd bowiem dane są pobie- stwarzają możliwoS
ci to za chwilę.
dynamikę można zrozumieć dzięki  in-
rane, tam też należy je odpowiednio za- Wpierw kilka słów o genezie.
strumentarium mechaniki statystycz-
nej. Dla informatyków, zajmujących się
po wielokroć algorytmami równoległy-
mi są one szczególnie interesujące.
Jednostka Jednostka Jednostka
sterowania pamięci operacyjna
Przerabiają one bowiem tylko lokalną
informacje i posiadają doS
ć dobrze zde-
finiowaną dynamikę, dzięki czemu
DB
można projektować wysoce skompliko-
Magistrala
SB wane układy, by je następnie realizo-
wewnętrzna
wać jako hardware (z ang. sprzęt). Żad-
AB
na chyba inna dziedzina nie osiągnęła
takiego stopnia interdyscyplinarnoS
ci.
Bufor DB Bufor AB Bufor SB
Nauki biologiczne poszły swoją
drogą. DziS
nazwa sieci neuronowe na-
wiązuje, z naszego punktu widzenia,
bardziej do historii i początków, bo
związki z biologią są coraz bardziej ni-
Magistrala zewnętrzna
kłe (temat sporów). Stały się obecnie
kolejnym narzędziem matematycznym,
na wielu polach dostarczającym zdu-
Rys. 1 Struktura mikroprocesora
12
Sieci neuronowe, czyli o  komputerze inaczej
12/99
wają one w sposób istotny na zdolnoS
ci
intelektualne. Zasadnicze znaczenie dla
przetwarzania informacji ma zewnętrz-
na czeS
ć mózgu  kora (kortex). GruboS
ć
synapsa
jej to ok. 3 mm, zawiera ok. 1010 ko-
akson
innego neuronu
mórek nerwowych i 1012 komórek gle-
kolaterale końcowe
jowych. Ogólnie liczba połączeń mię-
dzykomórkowych jest szacowana na
1015, przy przeciętnym dystansie od
10 mm do 1 m. Kora badana pod mi-
kroskopem ujawnia wiele różnych ty-
pów komórek nerwowych, które nie są
akson
jądro  wymieszane , ale tworzą uwarstwio-
soma dendryty
ną, hierarchiczną strukturę. W ludzkiej
korze wyróżnia się szeS
ć warstw, każdą
z nich cechują inne właS
ciwoS
ci funk-
cjonowania. Przykładowo wrażenia
zmysłowe są przekazywane bezpoS
re-
dnio do warstwy IV (warstwa zewnętrz-
na traktowana jest jako pierwsza),
akson
a przetwarzane w dalszych warstwach.
innego neuronu
Komórki nerwowe (rys. 2) odbierają
sygnały, i wysyłają nowe, przez siebie wy-
tworzone. Końcówki neuronu zbierające
informacje nazywane są dendrytami (gr.
Rys. 2 Budowa komórki nerwowej
dendron  drzewo). Przejmują one infor-
miewających rezultatów. Można je rów- biegi w sieciach biologicznych, by je macje od innych komórek nerwowych
nież traktować jako kolejny model obli- móc użyć do praktycznych zastosowań. w szczególnych miejscach zwanych syna-
czeniowoS
ci (obok modeli Turinga, psami (gr. synapsis  połączenie). Ciało
John von Neumann a, Hilberta i in- komórki, zwane somą (gr. somatos  cia-
Komórka nerwowa
nych). Najważniejszą ich cechą charak- ło), produkuje w różnych organellach po-
terystyczną jest jednak zdolnoS
ć ucze- Zanim szczegółowiej zajmiemy się trzebne dla pracy całego neuronu związ-
nia się, dopasowania do zaistniałego sztucznymi sieciami neuronowymi, ki. Przykładowo mitochondria mogą być
problemu. spójrzmy na biologiczny schemat ko- postrzegane jako częS
ć zaopatrzenia ener-
Istotna różnica między sieciami mórki nerwowej, sieci oraz ludzki mózg. getycznego komórki. Sygnały wyjS
ciowe
neuronowymi, a tradycyjnymi algoryt- Pozwoli to dostrzec podobieństwa. neuronu są przekazywane dalej za pomo-
mami polega na tym, że te pierwsze Najmniej poznana częS
ć ludzkiego cą aksonu (gr. akson  oS
). Niektóre ko-
otrzymują strukturę, sposób i metodę organizmu  mózg, to struktura o po- mórki nerwowe nie posiadają w ogóle
nauki. Dla poszczególnego problemu jemnoS
ci około 1.400 cm3 i powierzch- aksonu, ich zadaniem jest jedynie dalsze
nie jest pisany kolejny program, sieć ni 2.000 cm2. Dla porównania kula tej przekazywanie informacji za pomocą
musi natomiast sama znalex
ć właS
ciwą samej objętoS
ci to jedyne 600 cm2. kontaktów synaptycznych dendrytów.
konfigurację w procesie uczenia. Próbu- Masa mózgu oscyluje wokół 1,5 kg. Ist- Te cztery elementy (dendryty, syna-
je się także symulować prawdziwe prze- nieją doS
ć duże odchyłki, lecz nie wpły- psy, ciało komórkowe i akson) tworzą
mV
mV
+40
+40
+20
0 x
0 x
 40
 20
 80
stan ustalony
 40
Na+
 60
---------------- --++++ ----------------
K+
---------------- -- ++++ ----------------
 80
Na+
2 milisekundy
Rys. 3 Fala depolaryzacji Rys. 4 Przesuwanie się informacji
Sieci neuronowe, czyli o  komputerze inaczej
12/99 13
minimalną strukturę, którą dla naszych nak takie przewodnictwo jak w meta- wołane przez impulsy zbierane przez
celów przejmiemy z biologicznych mo- lach, ze względu na zbyt niską przewod- dendryty przesuwa się powodując uwal-
deli. Można je bowiem również znalex
ć noS
ć komórek. Zawarte w organizmie nianie jonów K+ oraz absorpcję jonów
w sztucznych sieciach posiadających ja- sole dysocjują, powstają jony (np: K+, Cl . W procesie tym zużywana jest tylko
ko elementy przetwarzające informację CL , Na+). Błony komórek nerwowych energia lokalna, a cząstki poruszają się
kanały wejS
ciowe, wyjS
ciowe oraz  cia- są w różnym stopniu przepuszczalne dla o tyle, by nie spowodować wygaS
nięcia
ło obliczeniowe . różnych jonów. Dwa przeciwstawne efektu domina. Każdy sygnał ma taki
Dostarczona przez synapsy infor- procesy  dyfuzji jonów z komórki ce- sam kształt, można więc w pewnym sen-
macja jest przekazywana przez dendry- lem uzyskania równowagi oraz przeciw- sie mówić o  cyfrowym przetwarzaniu
ty do  ciała , które następnie wysyła działanie związane z występowaniem si- informacji. AktywnoS
ć komórki jest
wspólną wszystkim wejS
ciom odpo- ły elektrostatycznej między wnętrzem przekazywana do następnej za pomocą
wiedx
do aksonu. a zewnętrzem komórki  prowadzą do częstoS
ci impulsów. Im większe pobu-
stanu równowagi. Na błonie komórki dzenie elektryczne, tym większa często-
panuje stały potencjał,  70 mV. Aby po- tliwoS
ć  w pewnym przedziale zależ-
Biologiczne sieci neuronowe
wrotnie zebrać jony dodatnie w ciele noS
ć jest liniowa. Taki sposób przekazy-
Teraz przedstawimy krótką i niepeł- komórki uruchamiane są tzw. pompy jo- wania danych jest korzystny ze względu
ną wzmiankę o sposobie przekazywania nowe, przeciwdziałające dyfuzji (wydat- na minimalizację zużycia energii oraz
informacji w sieci biologicznej. (np. re- kowanie energii). Sygnały nerwowe po- dokładnoS
ć transmisji.
ceptory odpowiedzialne za pamiętanie wstają na błonie komórki i są dalej Od dochodzących do synapsy im-
NMDA zostały zbadane dopiero w la- przez nią transportowane. Przybierają pulsów elektrycznych zależy iloS
ć uwal-
tach  80, główny zarys sposobu funk- formę fal depolaryzacji, które przemie- nianej acetylocholiny regulującej
cjonowania znany był już (dopiero) szczają się jako tzw. Solitony. otwarcie lub zamykanie kanałów jono-
w latach  50. Rysunek 3 przedstawia kształt takiej wych komórki docelowej. Przez otwarte
Komórki nerwowe wysyłają i przyj- fali. OS
odciętych przebiega wzdłuż kanały, wpływają lub odpływają jony,
mują impulsy o częstoS
ci od 1 do 100 Hz, aksonu, wykres przedstawia fragment powodując powstanie impulsów w den-
czasie trwania 1�2 ms, napięciu 100 mV fali dla konkretnej chwili czasu t. Napię- drytach. Docierają one wszystkie do
i szybkoS
ci propagacji 1�100 m/s. Szyb- cie wzrasta z poziomu potencjału rów- ciała komórki, tam zsumowane w zależ-
koS
ć pracy mózgu można oszacować na nowagi ( 70 mV) do około +40 mV. noS
ci od swej liczby i intensywnoS
ci
1018 operacji/s. Czas narostu można, przez analogię po- sprawiają (lub też nie, jeżeli są za sła-
Od ponad stu lat wiadomo, że in- wiązać ze stałą RC, wynoszącą tu 2 ms. be) powstanie impulsów w aksonie,
formacja przekazywana jest w postaci Rysunek 4 pokazuje przesuwanie okreS
lają ich częstoS
ć.
impulsów elektrycznych. Nie jest to jed- się informacji. Lokalne zakłócenie wy- Rolę pamięci spełniają połączenia
synaptyczne, często pobudzane mogą
prowadzić do zwiększenia przepusto-
Połączenia wraz ze woS
ci kanałów jonowych, lub ich blo-
współczynnikami wagowymi
kowania. Tak więc w przyszłoS
ci, po
procesie uczenia ten sam sygnał może
powodować różną reakcję komórki do-
celowej. Będą to w modelu matema-
tycznym tzw. współczynniki wagowe.
Analogiczne  elementy składowe oraz
podobne ich funkcje spotykamy
w sztucznych sieciach.
Sztuczne sieci neuronowe
Istnieje wiele modeli sztucznych
sieci o różnych strukturach. Każda z nich
ma swe unikalne właS
ciwoS
ci i służy do
rozwiązywania innego typu problemów.
Ze względu na brak miejsca zostanie
przykładowo naszkicowana sieć z pro-
pagacją wsteczną błędu, obecnie jedna
z najbardziej popularnych.
Przykładowa sieć może składać się
z n neuronów wejS
ciowych (tym samym
Warstwa wejS
ciowa Warstwa ukryta Warstwa wyjS
ciowa
n wejS
ć), ich zadaniem jest jedynie dalsze
przekazanie informacji. Druga warstwa,
tzw. neuronów ukrytych jest połączona
Rys. 5 Schemat sztucznej sieci
14
Sieci neuronowe, czyli o  komputerze inaczej
12/99
z warstwą wejS
ciową oraz trzecią i ostat- tę wartoS
ć (jest albo wzmacniany, albo prądów zwarciowych, prądów łuku, lub
nią warstwą neuronów wyjS
ciowych. Po- osłabiany  dla w mniejszego od jedno- podobne zjawiska.
łączenia wszystkie są obdarzone współ- S
ci). Wszystkie sygnały dochodzące do Paleta różnych metod uczenia i sa-
czynnikami wagowymi, a zbudowane są neuronu są sumowane, i suma ta jest ar- mych struktur sieci jest o wiele barwniej-
na zasadzie każdy z każdym. Sieć taka jest gumentem funkcji aktywacji, warunkuje sza. Pierwszymi były sieci McCulloch a,
przedstawiona schematycznie na rysunku  siłę odpowiedzi neuronu. Odpowiedx
Pittss a wykorzystujące jedynie sygnały
5. Ogólnie jest w niej n wejS
ć i m wyjS
ć. warstwy ukrytej jest wejS
ciem ostatniej logiczne (0 lub 1). Istnieją też sieci reku-
Można postawić następujący pro- warstwy  odpowiedzi. NajczęS
ciej stosuje rencyjne (np. autoasocjacyjna Hopfielda,
blem. Należy możliwie dokładnie od- się sigmoidę jako funkcję aktywacji: Hamminga, Elmana), sieci o radialnych
wzorować k n-wymiarowych wektorów funkcjach bazowych, samoorganizujące
1
wejS
ciowych w k m-wymiarowych we- (na podstawie reguły Hebba, działające
1+e-cx
ktorów wyjS
ciowych. Jest to więc zaga- na zasadzie współzawodnictwa), i inne.
dnienie aproksymacji dowolnej funkcji. Jest to funkcja monotoniczna i róż- Pracują one z reguły nie jako samodzielne
Mając zbiór treningowy k wektorów wej- niczkowalna, co jest wymogiem koniecz- jednostki, ale najczęS
ciej jako element
S
ciowych i wektorów odpowiedzi, poda- nym dla procesu uczenia. Uczenie to mi- układu sterowania bądx
systemu decyzyj-
jemy je kolejno sieci. Celem jest uzyska- nimalizacja błędu, różnicy długoS
ci mię- nego. Poniżej zamieszczono trochę przy-
nie na wyjS
ciu wektorów odpowiedzi, ta- dzy wektorem odpowiedzi sieci, a zada- kładów zastosowań praktycznych:
kich samych jak w zadanym zbiorze, nym uczeniu wektorem wyjS
ciowym.  diagnostyka układów elektrycznych;
przewidzianym do treningu sieci. W kroku  do przodu (dane wejS
ciowe  badania psychiatryczne;
Za miarę dokładnoS
ci przyjmuje się przebiegają sieć w prawo, od wejS
cia do  prognozy giełdowe;
błąd S
redniokwadratowy, czyli uS
rednioną warstwy ostatniej) uzyskiwana jest war-  prognozowanie sprzedaży;
różnicę długoS
ci między wektorami uczą- toS
ć odpowiedzi, natomiast w kroku  do  poszukiwania ropy naftowej;
cymi, a generowanymi przez sieć. Jedyne, tyłu liczone są pochodne cząstkowe błę-  prognozy cen;
co możemy zmieniać to wartoS
ci współ- du po każdej z wag. Stąd też okreS
lenie  analiza badań medycznych;
czynników wagowych, które w naszym propagacja wsteczna. Mając pochodne  planowanie remontów maszyn;
schemacie można utożsamić z wartoS
cia- mamy tym samym informacje jak należy  analiza problemów produkcyjnych;
mi liczbowymi zawartymi w połączeniach. zmieniać wartoS
ć wagi, by błąd malał  optymalizacja utylizacji odpadów.
Przechodzący sygnał jest mnożony przez (przeciwnie do gradientu, znaku pochod- Na końcu podany został krótki spis li-
nej). Proces zmian teratury, dostarczającej pełnej i głębokiej
01-702 Warszawa, ul. Gąbińska 24
wag powtarza się wiedzy z tego zakresu  celem artykułu
Sprzedaż: ul.Szegedyńska 13a
01-957 Warszawa aż do momentu miało być skromne naS
wietlenie proble-
tel.:[phone]
kiedy błąd spa- matyki i (być może) skłonienie Czytelnika
fax.:[phone]
dnie poniżej usta- do dalszej lektury. Granice objętoS
ciowe
e-mail: [e-mail]
lonego przez nas artykułu nie pozwalały też przekazać wię-
poziomu. cej. Pełny opis formalizmu matematycz-
Elementy SMD i konwencjonalne w iloS
ciach hurtowych
WYBRANE POZYCJE Z PEŁNEJ OFERTY Na podawa- nego można znalex
ć w [1] (tu pominięte-
' TRANSPONDERY PCF 7930/7931 - NIE WYMAGA ZASILANIA
ne wektory sieć go ze względu na obszernoS
ć), o praktycz-
Układy z kontrolerami identyfikacji i zabezpieczeń
' PROCESORY DIP, PLCC, QFP: odpowiada żąda- nych zastosowaniach i korzyS
ciach płyną-
SAB-C501, SAB-C502, SAB83C515, 80C31, 8031, 80C49, 80C51, 8051, 80C52, 8052, 80C535,
nymi przez nas cych z nowej techniki można poczytać
80535, 80C537, 80C562, 83C517, 80C851, 80C652, 83C154, 87C51, 87C52, 87C528, 87P50,
68HC11, 83CL781/2, 83CE558/9, UPD75352AGF, PCD3352 war t oS
ci ami . w [2]. Jest to cykl prelekcji skierowanych
' PAMIĘCI:
Ważniejsze jest do S
wiata przemysłu, wygłoszonych
24C02, 24C04, 24C16, 8582, 8594, 93C46, 93C66, 2732/64/128/256, 28C17, 281512, 28C010,
6264, 62256, 628128 jednak oczekiwa- w 1990 roku w Maastricht, Holandia. Po-
' UKŁADY TELEKOMUNIKACYJNE:
ne zjawisko apro- dano też inne pozycje, a rynek księgarski
FX611, pcd3352, PMB2200, U4058, U4080, MSM:6388/6389/7508/7540 (CODEC)
UKŁADY SERII LS, ALS, AC, HC, ACT, HCT, CMOS (4000): ksymacji. Jeżeli stale oferuje nowoS
ci z tego tematu.
74XX125, 132, 138, 139, 164, 240, 241, 373, 374, 377, 541, 573, 574...
wex
miemy war-
40XX01, 07, 11, 13, 17, 21, 25, 52, 60, 93, 106, 4528, 4538, 4584...
' UKŁADY LINIOWE: toS
ci leżące  mię-
ą Przemysław Janik
TDA: 4580, 4650, 4660, 4661, 5030, 5031, 8730, 9800
dzy użytymi do
SAA: 4700, 7157, 7197, 5243E ... U: 4030, 2129, 2560, 2829, 6043 (TFK)
U 4083-MC34119, LM124/224/319/324/358/1458, MC34083 uczenia, to sieć
' UKŁADY SYNTEZY I DZIELNIKI:
odpowie  podo- Literatura:
SAB6456, SAB8726, SDA3202, SP5510, TSA5511, TDA8730, ADC1034...
' TRANZYSTORY I DIODY bnym . Jest to 1) Stanisław Osowski: Sieci neuronowe
BC546/558/846/858, BD825, RFD15P05, PLL4448/BAV/103/BAX99, KGF:1145...
szczególnie istot- w ujR
ciu algorytmicznym, WNT, Warszawa
' KWARCE, GENERATORY, REZONATORY CERAMICZNE:
32 kHz, 3,00/3,57/3,58/4,00/6,00/10,00/11,05/12,08/16,38/24,00/57,6/58,11/100 MHz ne jeżeli mamy 1996.
' TRANSOPTORY, OPTOTRIAKI:
do czynienia 2) P.J. Braspenning, F. Thuijsman, A.J.M.M.
CNY17(1-4), H11, MOC3009/11, PC3D16/317/357/814, SFH 600/601/602, TIL 111, TLP 124, ILQ
615-3, ILQ 615 z funkcjami nie Weijters: Artificial Neural Networks Sringer-
' PRZEKA NIKI:
dającymi się opi- Verlag, Berlin, Heidelberg 1995.
1,2V, 5V, 12V i inne np. V32040/V23061, OAR-SH-109 DX
' WYR
WIETLACZE LCD I LED: sać analitycznie, 3) R. Tadeusiewicz: Sieci neuronowe, AOW,
1x24, 2x8, 2x16, 2x20, 2x24, 4x16, 8x20, graficzne, 31 cyfry, LED-SMD i inne.
a które musimy Warszawa 1993
badać. Mogą to 4) Stanisław Osowski: Sieci neuronowe,
Serdecznie zapraszamy do odwiedzenia naszej strony w INTERNECIE
www.tvsat.com.pl być przebiegi WPW, Warszawa 1994
AGORA,
hotelu
(budynek
Wolumenu)
od
metrów
800