Wielowymiarowe dyskretne układy dynamiczne jako
pamięć asocjacyjna
Paweł Matykiewicz
Praca magisterska napisana pod kierunkiem
Pana prof. dr hab. Janusza Wiśniewskiego
Zrecenzowana przez
Pana prof. dr hab. Przemysława Szlachetkę
Poznań 2003
Uniwersytet im. Adama Mickieiwicza.
Wydział Nauk Społecznych.
Instytut Filozofii.
SPIS TREŚCI
Oświadczenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iv
Spis treści . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v
Spis rysunków oraz tablic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
Wstęp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii
1. Podstawowe definicje i twierdzenia . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Pojęcia układu dynamicznego . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Numeryczne obliczanie wykładników Lapunowa . . . . . . . . . . . . . . 4
1.3 Pojęcia teorii grafów . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Sieci neuronowe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2. Dwa przykłady wielowymiarowych układów dynamicznych . . . . . . . . . . 17
2.1 Sieci neuronowe z efektem refrakcji . . . . . . . . . . . . . . . . . . . . . 17
2.2 Metody analizy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.3 Wyniki eksperymentu, porównanie . . . . . . . . . . . . . . . . . . . . . 21
3. Implementacje . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
3.1 Inicjalizacja, praca i metody analizy sieci . . . . . . . . . . . . . . . . . . 27
3.2 Algorytm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
4. Filozoficzne wnioski . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
4.1 Kognitywistyka - problem korelatu świadomości . . . . . . . . . . . . . . 38
4.2 Założenia metodologiczne NCCs . . . . . . . . . . . . . . . . . . . . . . . 42
4.3 Koneksjonizm - problem korelatu zawartości świadomości . . . . . . . . . 44
Zakończenie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
A. Niechaotyczny dziwny atraktor . . . . . . . . . . . . . . . . . . . . . . . . . 49
Bibliografia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
SPIS RYSUNKÓW
1.1 Przykładowy graf skierowany z jedną możliwą minimalną prostą drogą
cykliczną . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Architektura sieci neuronowej typu Hopfielda . . . . . . . . . . . . . . . . 10
1.3 Ludzka komórka neuronowa w powiększeniu. . . . . . . . . . . . . . . . . 11
1.4 Schematyczny rysunek komórki neuronowej. . . . . . . . . . . . . . . . . 11
1.5 Wykres funkcji: a) fC dla � = 0.2, b) fC dla � = 0.08, c) fD. . . . . . . . 14
1.6 Wykres wykładnika Lapunowa oraz wykres bifurkacyjny z parametrem
0 < a < 1 przy ustalonym k = 0.5, ą = 1, y(0) = 0.5: a) fC dla � = 0.04,
b) fC dla � = 0.015, c) fC dla � = 0.001, d) fD z równania 1.9. . . . . . 14
2.1 Cztery wzorce przedstawione graficznie w macierzy 10 � 10. Każdy kwa-
dracik to 1 lub 0. Wartości funkcji QE dla tych wektorów to -393, - 390.5,
-384.5, -381. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2 Zestaw warunków początkowych używanych w niektórych symulacjach.
Każdy kwadracik to 1 lub 0. . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Długo-okresowe zachowanie się funkcji QE z warunkiem początkowym g
t
w przypadku (X, FC). kr = 0.9. . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Długo-okresowe zachowanie się funkcji QE z warunkiem początkowym c
t
w przypadku (X, FD). kr = 0.9. . . . . . . . . . . . . . . . . . . . . . . . 23
t
2.5 Wykres funkcji Dist warunkiem początkowym a w przypadku (X, FC).
kr = 0.9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
t
2.6 Wykres funkcji Dist warunkiem początkowym b w przypadku (X, FD).
kr = 0.9. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.7 Wykres największego wykładnika Lapunowa oraz wykres bifurkacyjny ze
t
względu na parametr kr i zmienną ś1(t) w przypadku (X, FC). . . . . . . 25
2.8 Wykres największego wykładnika Lapunowa oraz wykres bifurkacyjny ze
t
względu na parametr kr i zmienną ś1(t) w przypadku (X, FD). . . . . . . 26
A.1 Wykres bifurkacyjny (kr, ś1(t)), gdzie 0.85 < kr < 1 oraz 150000 < t <
t t
151000 w przypadku: a) (X, FC), b) (X, FD). . . . . . . . . . . . . . . . 49
A.2 Histogram dla ś1(t), gdzie 150000 < t < 300000 a kr jest równe po kolei od
t
lewej 0.91, 0.92, 0.93, 0.94, 0.95, 0.96, 0.97, 0.98 w przypadku: a) (X, FC),
t
b) (X, FD). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
SPIS TABEL
t
2.1 Zależność dynamiki sieci (X, FC) od warunków początkowych (kr = 0.9),
gdzie Tr oznacza długość fazy przejściowej a Pr długość okresu (przybli-
żone wartości). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
t
2.2 Zależność dynamiki sieci (X, FD) od warunków początkowych (kr = 0.9),
gdzie Tr oznacza długość fazy przejściowej a Pr długość okresu (przybli-
żone wartości). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Uśredniona zdolność sieci do odzyskiwania zapamiętanych wzorców i ich
t
rewersów ze względu na parametr kr w przypadku układu (X, FC). Dla
każdego kr mamy 1000 prób. Wektor x(0) wybieramy losowo. . . . . . . . 25
2.4 Uśredniona zdolność sieci do odzyskiwania zapamiętanych wzorców i ich
t
rewersów ze względu na parametr kr w przypadku układu (X, FD). Dla
każdego kr mamy 1000 prób. Wektor x(0) wybieramy losowo. . . . . . . . 26
WST
P
Ostatnie 15 lat badań modeli sieci neuronowych było skupione wokół problemu cha-
otycznych sieci neuronowych [Fre92], [CA97], [DLZ02], [HIA02], [CA95], [HUKK97],
[Mań00], [NS02], [Tsu02a], [Tsu02b], [PLPB97], [PLPB97]. Równolegle prowadzone są
badania w celu poszukiwania skomplikowanej dynamiki zarówno biologicznych jak i
sztucznych procesach neuronalnych. Wykorzystamy wyniki badań zarówno matematycz-
nych jak i biologicznych do zbudowania dwóch prostych sieci neuronowych oraz porów-
nania ich własności. Wymienimy w rozdziale 1 najbardziej do tego potrzebne definicje,
twierdzenia oraz neurobiologiczne inspiracje.
Przedstawimy prosty model chaotycznej sieci asocjacyjnej [AA97] oraz jej niecha-
otyczną modyfikację jako dwa przykłady wielowymiarowych dyskretnych układów dyna-
micznych. Podamy kilka metod pozwalających badać takie układy. Efektem tych badań
są wyniki przedstawione na rysunkach oraz w tabelach, które pokazują podobieństwa
i różnice między prezentowanymi sztucznymi sieciami. Opisany dodatkowo zostaje al-
gorytm symulujący pracę wymienionych układów dynamicznych oraz implementujący
metody ich analizy.
Wyciągniemy filozoficzne wnioski z przeprowadzonych wyżej badań. Rozważymy jaki
wpływ na poszukiwania neuronalnych korelatów świadomości(NCC) mogą mieć badania
takich wielowymiarowych układów dynamicznych, które można umieścić w ramach ko-
neksjonizmu. Problem NCC na gruncie kognitywistyki został sformułowany w [Cha98b]
oraz [Cha00]. Pokażemy co nowego wnoszą wielowymiarowe układy dynamiczne do zro-
zumienia formy NCC.
Definicje i twierdzenia w tej pracy zostały podane za następującymi podręcznikami i
artykułami:
 podrozdział 1.1 - [Szl82], [Arn75], [Ott97], [FKS87], [PJS97a],
 podrozdział 1.2 - [Ott97], [WSSV85],
 podrozdział 1.3 - [Kor78],
 podrozdział 1.4 - [MRS90], [HKP95], [Jan80], [Bor02],
 podrozdział 4.1 - [Cha95], [Cha98b], [Cha00].
Algorytmu umieszczonego w podrozdziale 3.2 powstał z pomocą podręcznika [Rei01].
Rozdział 1
PODSTAWOWE DEFINICJE I TWIERDZENIA
1.1 Pojęcia układu dynamicznego
Układ dynamiczny rozważany jest jako pewne odwzorowanie iterowane. Kolejnym
iteracją można przyporządkować numer iteracji t ze zbioru liczb całkowitych Z. Niech X
będzie dowolną przestrzenią topologiczną.
Definicja 1.1.1: Dyskretnym układem dynamicznym nazywamy parę (X, ft), gdzie {ft}
rodziną odwzorowań f : X - X, parametryzowanych przez zbiór t " Z+ *" {0}, taki że
1 1 2
1. ({ft}, +) jest półgrupą, to jest "t ,t2"Z+*"{0} zachodzi związek ft +t2 = ft ć% ft ,
1
2. funkcja ft(x) jest ciągła ze względu na zespół (t, x), t " Z+ *" {0}, x " X,
3. f0 jest identycznością.
Definicja 1.1.2: Odwracalnym dyskretnym układem dynamicznym nazywamy uporządko-
waną parę (X, ft), gdzie t " Z, czyli ({ft}, +) jest grupą.
Mając daną przestrzeń X możemy dla każdego x0 " X utworzyć ciąg f0(x0) = x0,
f1(x0) = f(x0), f2(x0) = f ć% f(x0) = f(f(x0)), f3(x0) = f ć% f ć% f(x0) = f(f(f(x0))), . . .,
wtedy x0 rozumiemy jako wartość początkową takiego ciągu lub inaczej jako warunek
początkowy.
Twierdzenie 1.1.1: A
atwo zauważyć, że półgrupa z definicji 1.1.1 (grupa z 1.1.2) jest grupą
cykliczną generowaną przez odwzorowanie f
Definicja 1.1.3: Trajektorią punktu x (orbitą przechodzącą przez punkt x) nazywamy na-
stępujący zbiór:
{y : "t"Z *"{0}y = ft(x)}.
+
Rozdział 1. Podstawowe definicje i twierdzenia 2
Definicja 1.1.4: Punktem okresowym o okresie p nazywamy punkt x " X, taki że istnieje
liczba naturalna p 1, przy której
fp(x) = x.
Zbiór wszystkich orbit okresowych x oznaczać będziemy &!(f).
Twierdzenie 1.1.2: Oczywiście &!(f) �" X.
Niech F : X - X, gdzie X jest rozmaitością różniczkową1 k-wymiarową, a F jest
n
generatorem półgrupy (grupy). Istnieje zatem DF (x) macierz Jacobiego dla każdego
złożenia n.
Definicja 1.1.5: Wykładnikiem Lapunowa w kierunku wektora u0 nazywamy wartość funk-
cji:
1
n
h(x0, u0) = lim ln |DF (x0) � u0|.
n-"
n
Wykładniki mierzą jak szybko dwie orbity oddalają się lub przybliżają. Jeżeli układ
jest k-wymiarowy, to jest co najwyżej k wykładników Lapunowa.
Twierdzenie 1.1.3: Jeżeli u0 jest wybrane dowolnie to h(x0, u0) da nam wartość najwię-
kszego wykładnika Lapunowa [Ott97] dla dużych n.
Jeżeli chcemy otrzymać wszystkie wartości wykładników Lapunowa trzeba je od-
n
czytać bezpośrednio z wartości własnych macierzy DF (x0). Do tego użyjemy funkcji
pomocniczej:
n n
Śn(F, x) : DF (x) wektor wartości własnych macierzy DF (x),
czyli można zapisać Śn(F, x) = (Śn(F, x), Śn(F, x), . . . , Śn(F, x)).
1 2 k
Definicja 1.1.6: Wykładnikami Lapunowa nazywamy współrzędne wektora:
1 1
(Ć1(F, x), . . . , Ćk(F, x)) = (n-" ln(Śn(F, x)), . . . , lim ln(Śn(F, x))).
lim
1 k
n-"
n n
Dla uproszczenia rozważań zawęzimy definicję chaosu do przypadku nieodwracal-
nych dyskretnych układów dynamicznych. Niech X będzie n-wymiarową rozmaitością
t
różniczkowalną1, natomiast F : X X, takie że (X, F ) jest dyskretnym układem
dynamicznym oraz niech funkcja d(x, A) mierzy odległość punktu od zbioru.
1
Wystarczy, że X jest kawałkami różniczkowalne
Rozdział 1. Podstawowe definicje i twierdzenia 3
Definicja 1.1.7: Atraktorem nazywamy domknięty zbiór A taki, że
1. jest on niezmienniczy względem odwzorowania F , czyli:
A = F (A),
2. istnieje takie otwarte otoczenie R �" A, że dla każdego punktu x " R i odpowiednio
dużego t można znalez
ć t > t :
t
d(F (x), A) < � dla dowolnie małego �.
Definicja 1.1.8: Basenem atrakcji (przyciągania) nazywamy domknięcie zbioru R z defi-
nicji 1.1.7.
Definicja 1.1.9: Fazą przejściową trajektorii x do atraktora A nazywamy zbiór:
t

{y : "t"[0,t ]y = F (x)}.
Definicja 1.1.10: Mieszaniem nazywamy taką własność F , że dla każdych dwóch nieze-
t
rowych przedziałów I, J �" A istnieje x " I, które po t iteracjach stanie się F (x) " J.
Definicja 1.1.11: Atraktorem chaotycznym nazywamy atraktor, który ma przynajmniej
jeden z wykładników Lapunowa dodatni:
max {Ć1(F, x), Ć2(F, x), . . . , Ćk(F, x)} > 0 dla każdego x " R.
1 p k
Twierdzenie 1.1.4: Dla każdego x1, x2 " R
(Ć1(F, x1), . . . , Ćk(F, x1)) = (Ć1(F, x2), . . . , Ćk(F, x2)),
czyli wykładniki Lapunowa są takie same.
Twierdzenie 1.1.5: Jeżeli A �" X jest atraktorem chaotycznym to &!(F ) jest zbiorem
miary zero oraz F na A ma własność mieszania.
Dla analizy układów dynamicznych będzie nam potrzebny pewien rodzaj wykresu, z
którego można będzie odczytać własność mieszania. Niech {F (ą)} będzie rodziną ukła-
dów dynamicznych ze względu na parametr ą = (ą1, ą2, . . . , ąj).
Rozdział 1. Podstawowe definicje i twierdzenia 4
Definicja 1.1.12: Wykresem (diagramem) bifurkacyjnym nazywamy zbiór (układ) punk-
tów:
i
(ą, {F (ą, x)}" ) dla dużego t
i=t
t
to znaczy, że musi być spełniony warunek d(F , A) < � dla dowolnego �, przy czym A
jest atraktorem2.
Definicja 1.1.13: Parametrem bifurkacyjnym nazywamy ą z definicji 1.1.12.
Oczywiście ten układ punktów będziemy chcieli umieścić w kartezjańskim układzie
współrzędnych, wtedy najlepiej obrać np. ą1 " [a, b] �" R1 na jednej współrzędnej a
t
{f1(ą, x)} " [c, d] �" R1 na drugiej. Otrzymamy wtedy diagram na płaszczyz
nie.
1.2 Numeryczne obliczanie wykładników Lapunowa
Niech x0 będzie warunkiem początkowym dla F : X - X, gdzie X jest k - wymia-
rową rozmaitością różniczkową. Wybieramy y0 i iterujemy równanie:
yn+1 = DF (xn) � yn, (1.1)
gdzie xn = F (xn-1). Jeżeli jest choć jeden dodatni wykładnik Lapunowa to yn prze-
kroczy maksymalną wartość liczbową, która może być reprezentowana w komputerze.
yj�
Zatem musimy co jakiś czas yj� zastąpić , czyli renormalizujemy ten wektor przy
yj�
1
czym po każdej renormalizacji zapamiętujemy wartość ąj = yj� , gdzie � jest ustalone.
W ten sposób możemy otrzymać największy wykładnik Lapunowa (patrz 1.1.3):
l l

1 1
1 1
h1 = lim ln ąj H" ln ąj dla dużych l.
l-"
l� l�
j=1 j=1
Natomiast, aby obliczyć drugi wykładnik Lapunowa musimy iterować dwa liniowo nie-
1 2
zależne wektory y0 i y0. Tak samo jak wyżej należy te wektory znormalizować uważając
1 2
przy tym, aby podprzestrzeń rozpięta na wektorach y0 i y0 nie zmieniła się po ich nor-
malizacji. Do tego stosujemy reortonormalizację Grama-Schmidta.
Definicja 1.2.1: Ortonormalizacją Grama-Schmidta nazywamy procedurę, która zamie-
p
1 2
nia wektory liniowo niezależne yj�, yj� , . . . , yj� na wektory ortonormalne yj�, yj� , . . . , yj�,
Ż1 Ż2 Żp
p
1 2
gdzie p k oraz podprzestrzenie Lin{yj� , yj�, . . . , yj�} = Lin{yj�, yj�, . . . , yj�} z" Rk,
Ż1 Ż2 Żp
wtedy:
1
yj� 1 1

yj� = , �j = yj� ,
Ż1
1
�j
2
Może się zdażyć, że wybierzmy za małe t , wtedy z wykresu odczytamy zbiór punktów w fazie
przejściowej.
Rozdział 1. Podstawowe definicje i twierdzenia 5
2 2

yj� - (yj� � yj�)yj� 2 2 2
Ż1 Ż1

yj� = , �j = yj� - (yj� � yj�)yj� ,
Ż2 Ż1 Ż1
2
�j
. . . ,

p-1 p
p

yj� - (yj� � yj�)yj� p p p-1
Żi Żi
i=1 p

yj� = , �j = yj� - (yj� � yj� )yj� .
Żp Żi Żi
p
�j

i=1
2 1 2
Tak samo jak wyżej odkładamy sobie ąj = �j �j i otrzymujemy:
l l

1 1
2 2
h1 + h2 = lim ln ąj H" ln ąj dla dużych l.
l-"
l� l�
j=1 j=1
Zatem, aby otrzymać kolejne wykładniki Lapunowa musimy znać poprzednie. Możemy
to zapisać następująco:
l l l 2

1 1 1 ąj
2 1
h2 = h1 + h2 - h1 = lim ln ąj - lim ln ąj = lim ln .
1
l-" l-" l-"
l� l� l� ąj
j=1 j=1 j=1
Uogólniając i aproksymując dla p 2 mamy:
p
l l

ąj
1 1
p
hp H" ln = ln �j , (1.2)
p-1
l� ąj
l�
j=1 j=1
p i
p
gdzie ąj = �j.
i=1
Twierdzenie 1.2.1: h1 h2 . . . hp, zatem h1 jest największym wykładnikiem Lapu-
nowa:
max{Ć1(F, x), Ć2(F, x), . . . , Ćp(F, x)} = h1.
1 i p
Z definicji 1.1.11 i z uwagi 1.2.1 wynika, iż wystarczy policzyć tylko jeden wykładnik
Lapunowa, aby stwierdzić czy dany układ ma trajektorie chaotyczne czy też nie. Oczywi-
ście dla wielowymiarowych systemów dynamicznych obliczanie wszystkich wykładników
jest bardzo czasochłonne.
Program obliczający wykładniki Lapunowa dla układów dynamicznych z 2 napisany
w Delphi 5.0 umieszczony jest w podrozdziale 3.1.
1.3 Pojęcia teorii grafów
Tutaj podamy niezbędne definicje, które pozwolą uzmysłowić, że każda sieć neurono-
wa może być analizowana na dwa sposoby: albo jako graf skierowany albo jako algorytm
rozwiązujący konkretne zadanie.
Rozdział 1. Podstawowe definicje i twierdzenia 6
Definicja 1.3.1: Grafem nazywamy trójkę uporządkowaną G = W, U, P przy czym:
1. W zbiór wierzchołków grafu;
2. U zbiór gałęzi grafu;
3. P relacja trójczłonowa P �" W � U � W spełniająca następujące warunki:
(a) dla każdej gałęzi u " U istnieje para wierzchołków x, y " W , taka że x, u, y "
P ,
(b) jeżeli dla gałęzi u " U istnieją x, u, y " P i v, u, z " P , to albo x = v i
y = z albo x = z i y = v.
Ze względu na rodzaj relacji u " U, w jakiej są do siebie poszczególne wierzchołki
x, y " W możemy podzielić gałęzie na trzy rodzaje.
Definicja 1.3.2: Krawędziami grafu nazywamy takie u, że jeżeli x = y i x, u, y " P , to

również y, u, x " P . Zbiór krawędzi {i
} oznaczamy h
.
Definicja 1.3.3: A
ukami grafu nazywamy takie u, że jeżeli x = y i x, u, y " P , to


y, u, x " P . Zbiór łuków { oznaczamy U.
/ u}
Definicja 1.3.4: Pętlami grafu nazywamy takie u, dla którego istnieją wierzchołki x, takie
Ł
że x, u, x P . Zbiór pętli {u} oznaczamy U.
Ł
Ł Ł
Twierdzenie 1.3.1: Z podanych definicji wynika, że U = h
*" U *" U a zbiory h
, U, U są
rozłączne.
Definicja 1.3.5: Grafem skierowanym nazywamy graf G = W, U, P , w którym h
= ",
czyli G nie ma krawędzi.
Definicja 1.3.6: Drogą prostą w grafie G = W, U, P nazywamy dowolny ciąg postaci
{xi , ui , xi , ui , . . . , xi , ul, xl} = �(xi , xi )
0 1 1 2 l-1 0 l
spełniający warunki:
1. "0 s l xi " W, ui " U,
s s
2. "1 s l xi , ui , xi " P ,
s-1 s s
3. "0 r,s l jeżeli r = s to ui = ui ,

r s
Rozdział 1. Podstawowe definicje i twierdzenia 7
3
4. "0
r s
Definicja 1.3.7: Długością drogi nazywamy wartość �(xi , xi ) = l z definicji 1.3.6.
0 l
Definicja 1.3.8: Drogą cykliczną prostą nazywamy drogę, taką że xi = xi
0 l
Twierdzenie 1.3.2: Jeżeli u " U jest pętlą wierzchołka x " W to ciąg {x, u, x} jest drogą
cykliczną.
Definicja 1.3.9: Minimalną drogą cykliczną prostą dla wierzchołka xi nazywamy taką dro-
gę cykliczną prostą �(xi , xi ), że jeżeli istnieje droga cykliczna prosta �(xi , xi ), gdzie
0 l 0 s
s = l to �(xi , xi ) < �(xi , xi ) .

0 l 0 s
1.4 Sieci neuronowe
Matematyczna interpretacja
Korzystając z podrozdziału 1.3 zdefiniujemy matematycznie sieć neuronową. Niech
A oznacza również moc zbioru.
Definicja 1.4.1: Siecią neuronową nazywamy skierowany graf G = W, U, P spełniający
następujące warunki:
1. każdemu i " W przyporządkowujemy fi(yi) = xi " F �" [0, 1] �" R1,4
2. każdemu u " U, takiemu że i, u, j " P przyporządkowujemy skalarną wartością
4
wij " R w taki sposób, że u a" ij,
3. jeżeli i jest ustalone, to Ji = {j : j, u, i " P } a Ui = {u : "j"J j, u, i " P },
i
wtedy yi = gi({wij}, {xj}, �i), gdzie {xj} = {xj : j " Ji} a {wij} = {wij : ij a" u "
4
Ui} " K �" R1.
Definicja 1.4.2: Funkcją stanu wewnętrznego nazywamy funkcję gj z definicji 1.4.1, która
jest określona w następujący sposób:
Ji
i
"i"W gi : R U � F � R1 - R.
3
Ostatni warunek sprawia, że drogę cykliczną nazywamy prostą.
4
Można sieci neuronowe zdefiniować na liczbach zespolonych [NS02].
Rozdział 1. Podstawowe definicje i twierdzenia 8
Definicja 1.4.3: Funcją wyjścia nazywamy funkcję fi, która jest określona:
"i"W fi : K - F, F �" [0, 1].
Definicja 1.4.4: Wagami nazywamy skalary wij, przy czym wij = ".

Definicja 1.4.5: Wartością progową nazywamy wartość �j " R1, �j = ".4

Definicja 1.4.6: Rekurencyjną siecią neuronową5 nazywamy graf z definicji 1.4.1, który
ma przynajmniej jedną drogę cykliczną.
Z powyższych definicji wynika, iż dla sieci neuronowych spełnione są odpowiednie
twierdzenia teorii grafów skierowanych. W podrozdziale 1.3 wymieniłem tylko najpo-
trzebniejsze z nich.
Będziemy rozpatrywać rekurencyjne sieci neuronowe. Pokażemy, iż takie sieci mogą
być rozpatrywane jako dyskretne układy dynamiczne. Niech �(ii , ii ) będzie wybraną
0 l
minimalną drogą cykliczną prostą w grafie z 1.4.1. Każdemu wierzchołkowi tej drogi
możemy przyporządkować w chwili t odpowiednią wartość funkcji f:
it xi (t) = fi (yi (t - 1 - l)), 0 s l. (1.3)
is s s s
Natomiast każde yi (t) określamy tak jak w 1.4.1, czyli:
s
yi (t) = gi ({wi j(t)}, {xj(t)}, �i ). (1.4)
s s s s
Wstawiając 1.3 do 1.4 mamy:
yi (t) = gi ({wi j(t)}, {fj(yj(t - 1 - l))}, �i ). (1.5)
s s s s
Dla uproszczenia przyjmiemy, że wij(t) = wij = const oraz tak jak w 1.4.1 Ji = {j :
s
j, u, is " P }, wtedy funkcje z 1.4.2 możemy określić następująco:
is
gi : K J - K.
s
Jeżeli �(ii , ii ) jest jedyną minimalną drogą cykliczną tak jak na rysunku 1.1, to wszyst-
0 l
kie j = is możemy potraktować jako parametry tej sieci, wtedy:

gi : K - K.
s
Dynamika takiej sieci jest określona przez �(ii , ii ) + 1 równań:
0 l
yi (t + 1 + l - k) = gi (yi (t - k)), 0 < k < l + 1
s s s
5
Przeciwieństwem rekurencyjnych sieci neuronowych są jednokierunkowe sieci neuronowe.
Rozdział 1. Podstawowe definicje i twierdzenia 9
Fig. 1.1: Przykładowy graf skierowany z jedną możliwą minimalną prostą drogą cykliczną
oraz tyle samo warunków początkowych:
yi (-l), yi (-l + 1), . . . , yi (0).
0 1 l
Niech G = (gi , gi , . . . , gi ), wtedy układ:
0 1 l
(Kl+1, Gt)
jest dyskretnym układem dynamicznym.
Zdefiniujemy teraz pewną klasę sieci neuronowych potrzebną w dalszych rozważa-
niach. Niech G = W, U, P ma W = n wierzchołków.
Definicja 1.4.7: Dyskretną siecią Hopfielda(1982r.) nazywamy sieć neuronową, która spe-
łnia następujące warunki:
1. dla każdego i, j " W istnieje u " U, takie że i, uij, j " P ,
2. funkcja gi jest określona następująco:
n

yi = wijxj + �i,
j=1
3. dla każdego 1 i n mamy dynamikę określoną następująca:
n

yi(t + 1) = gi(yi(t)) = wijfi(yi(t)) + �j.
j=1
Rozdział 1. Podstawowe definicje i twierdzenia 10
Fig. 1.2: Architektura sieci neuronowej typu Hopfielda
Twierdzenie 1.4.1: Graf opisany na rysunku 1.2 ma n minimalnych prostych dróg wyzna-
czonych jednoznacznie przez pętle na każdym z wierzchołków.
Twierdzenie 1.4.2: Dyskretna sieć Hopfielda jest przykładem n-wymiarowego dyskretne-
go układu dynamicznego (Kn, Gt). Odwzorowanie wektorowe:
G = (g1, g2, . . . , gn)
jest generatorem. Różniczkowalność i odwracalność G zależy od różniczkowalności i od-
wracalności gi.
Poza tym, że sieci neuronowe można rozumieć jako algorytm rozwiązujący (obliczają-
cy) dane problem (zadanie), istnieje jeszcze podejście biologiczne do sieci neuronowych.
Wtedy każda definicja ma jeszcze odpowiednik biologiczny.
Biologiczna interpretacja
Teoria sztucznych sieci neuronowych jest inspirowana głównie przez odkrycia neuro-
biologiczne. Na rysunku 1.3 widać zdjęcie rzeczywistego neuronu w dużym powiększeniu.
Aby uwidocznić najważniejsze cechy neuronu podaje się zazwyczaj schematyczną bu-
dowę neuronu tak, jak to widać na rysunku 1.4. W takiej uproszczonej budowie komórki
możemy wyróżnić [Jan80]:
 dendryty - odpowiedzialne są za zbieranie impulsów post-synaptycznych do ciała
neuronu,
Rozdział 1. Podstawowe definicje i twierdzenia 11
 ciało neuronu - przewodzi i kumuluje impulsy elektro-chemiczne,
 akson - przewodzi impuls do błony pre-synaptycznej,
 synapsa - połączenie błony pre-synaptycznej aksonu jednej komórki z błoną post-
6
synaptyczną dendrytu drugiej komórki za pomocą przestrzeni między synaptycz-
nej.
Fig. 1.3: Ludzka komórka neuronowa w powiększeniu.
Fig. 1.4: Schematyczny rysunek komórki neuronowej.
W neuronie można wyróżnić cztery strefy czynnościowe, które zgadzają się z kierun-
kiem fizjologicznym przewodzenia w komórce:
6
zdarza się, że synapsy są połączone bezpośrednio z ciałem neuronu lub nawet aksonem
Rozdział 1. Podstawowe definicje i twierdzenia 12
1. wejście,
2. inicjacja impulsów,
3. przewodzenie impulsów,
4. wyjście (każdy neuron ma jedno wyjście).
Dynamikę neuronu określa głównie inicjacja impulsów. W komórce wyróżniamy po-
tencjał spoczynkowy i czynnościowy. Obydwa związane są z polaryzacją neuronu a do-
kładniej z ilością kationów i anionów w środowisku wewnątrz- i zewnątrz-komórkowym.
Potencjał spoczynkowy związany jest własnością elektryczną każdego neuronu (�i). Nato-
miast potencjał czynnościowy może powstać tylko dzięki sumowaniu w czasie i przestrze-

ni impulsów z błon post-synaptycznych ( Wijxj). Jeżeli ta suma przekroczy wartość
j

potencjału spoczynkowego ( Wijxj - �i > 0) to neuron wyładowuje się, czyli zostaje
j
wygenerowany potencjał czynnościowy (xi), który jest przesyłany wzdłuż aksonu. Ist-
nieją synapsy pobudzające i hamujące, dlatego nie zawsze jest możliwe by powstał po-
tencjał czynnościowy. Dodatkowo po wyładowaniu następuje podwyższenie potencjału
spoczynkowego. Ten efekt ma zapobiegać nakładaniu się potencjałów czynnościowych i
jest uzasadniony fizjologicznie. Wtedy neuron przechodzi na krótko w fazę odpoczynku
nazywaną refrakcją.
Zatem możemy przyjąć następujące utożsamienia7:
 jakość synapsy z wartością skalarną wagi wij (np. synapse z neuroprzekaz
nikiem
hamującym utożsamiamy z ujemną wartością wagi w tym miejscu),
 potencjał ciała komórki w chwili t z wartością funkcji stanu wewnętrznego y,
 poziom potencjału spoczynkowego z wartością � (progiem),
 impuls na aksonie z wartością funkcji wyjścia x.
Model neuronu Nagumo-Sato
Jeżeli pozbierany wszystkie informacje wymienione powyżej możemy zdefiniować naj-
prostszy model matematyczny neuronu:
Definicja 1.4.8: Neuron McCulloch a-Pitts a (1943r.)
n t

(r)
xi(t + 1) = f( Wij xj(t - r) - �i). (1.6)
j=1 r=0
7
Na gruncie teorii grafów synapsy to wierzchołki, aksony to łuki a pętle to refrakcja.
Rozdział 1. Podstawowe definicje i twierdzenia 13
McCulloch i Pitts [MP90] w swoim artykule użyli funkcji 1.7, która jest nazywa-
(r)
na funkcją Heaviside a i przyjmuje wartości 1 lub 0. Dodatkowo założyli, iż Wii jest
związane z refrakcją.

1 jeżeli u > 0
fD(u) = (1.7)
0 jeżeli u 0.
Natomiast Nagumo i Sato założyli, że efekt refrakcji zmniejsza się wykładniczo z
(r)
czasem, to znaczy Wii = -ką, gdzie k " (0, 1) a ą jest dodatnim parametrem. Wtedy:
Definicja 1.4.9: Neuron Nagumo-Sato (1971r.)
t

x(t + 1) = f(A(t) - ą krx(t - r) - �). (1.8)
r=0
A(t) jest ilością impulsów docierających w chwili t czasu dyskretnego, czyli np. A(t) =
N t
wij krxj(t - d), natomiast k odpowiedzialna jest za długość refrakcji.
j=1 r=0
Możemy uprościć równanie 1.8, tak aby definiowało dyskretny układ dynamiczny
t
([0, 1], F ):
y(t + 1) = F (y(t)) = ky(t) - ąf(y(t)) + a(t), (1.9)
gdzie
a(t) = A(t) - kA(t - 1) - �(1 - k).
Przyjmujemy dalej, iż a(t) = a jest stałe. Taki model neuronu był analizowany w
[NS72] tak samo jak w [MP90] Nagumo i Sato przyjęli, iż f = fD. Natomiast w 1990r
K. Aihara i inni [ATT90] opracowali na tej bazie nowy model. Założyli na bazie współ-
czesnych im prac neurobiologicznych, że funkcja wyjścia powinna być ciągła, np. tak jak
w równaniu 1.10, czyli f = fC. Na rysunku 1.5 widać porównanie funkcji fC i fD.
1
fC(u) = . (1.10)
1 + exp(-u)
�
Warto zauważyć zauważyć, że funkcja fC dąży do funkcji fD, gdy � - 0, czyli:
lim fC(�) = fD.
�0
Na rysunku 1.6 pokazano jak w ciągły sposób zmienia się wykładnik Lapunowa, gdy
t
� 0. Widzimy jak zanika zdolność układu ([0, 1], F ) do generowania zachowania cha-
otycznego.
Następnym krokiem będzie zdefiniowanie nowego modelu neuronu opartego na hipo-
tezie Nagumo i Sato oraz na ciągłej zależności potencjału czynnościowego (xi) od stanu
wewnętrznego komórki (yi).
Rozdział 1. Podstawowe definicje i twierdzenia 14
Fig. 1.5: Wykres funkcji: a) fC dla � = 0.2, b) fC dla � = 0.08, c) fD.
Fig. 1.6: Wykres wykładnika Lapunowa oraz wykres bifurkacyjny z parametrem 0 < a <
1 przy ustalonym k = 0.5, ą = 1, y(0) = 0.5: a) fC dla � = 0.04, b) fC dla
� = 0.015, c) fC dla � = 0.001, d) fD z równania 1.9.
Definicja 1.4.10: Chaotyczny neuron (1990r.)
N t t


d d
xi(t + 1) = fC wij kfxj(t - d) - ą kr g{xi(t - d)} - Śi . (1.11)
j=1 d=0 d=0
W tej definicji pojawiły się nowe parametry: kf oznacza spadek wpływu sprzężeń
zwrotnych, kr oznacza spadek wpływu refrakcji, g jest funkcją ciągłą odpowiedzialną za
charakter refrakcji. Równanie 1.11 można rozpisać następująco:
N t

d
�i(t + 1) = wij kfxj(t - d),
j=1 d=0
Rozdział 1. Podstawowe definicje i twierdzenia 15
t t

d d
śi(t + 1) = kfxj(t - d) - ą krg{xi(t - d)} - Śi.
d=0 d=0
Postępując podobnie jak z równaniami 1.8 i 1.9 piszemy:
N

C
�i(t + 1) = Fi,�(�i(t) + śi(t)) = kf�i + wijxj(t),
j=1
C
śi(t + 1) = Fi,ś(�i(t) + śi(t)) = krśi - ąg{xi(t)} - Śi(1 - kr),
gdzie
xi(t) = fC{�i(t) + śi(t)}. (1.12)
C C
Zatem niech ostatecznie FC = (Fi,�, Fi,ś), X �" R2n, n 3 wtedy układ:
t
(X, FC)
jest przykładem wielo-wymiarowego dyskretnego układu dynamicznego8. Wstawiając fD
w miejsce fC mamy:
N

D
�i(t + 1) = Fi,�(�i(t) + śi(t)) = kf�i + wijxj(t),
j=1
D
śi(t + 1) = Fi,ś(�i(t) + śi(t)) = krśi - ąg{xi(t)} - Śi(1 - kr),
xi(t) = fD{�i(t) + śi(t)}. (1.13)
D D
Podobnie jak wyżej FD = (Fi,�, Fi,ś), X �" R2n, n 3, wtedy:
t
(X, FD)
jest naszym drugim wielowymiarowym dyskretnym układem dynamicznym, który będzie-
my badać. Jest jasne, że czym więcej mamy neuronów (n), tym ciekawsza jest zachowanie
tego układu9.
Twierdzenie 1.4.3: Każda sieć neuronowa o n neuronach, uwzględniająca efekt refrakcji
będzie miała przynajmniej n minimalnych dróg prostych o długości l = 0.
8
Zazwyczaj przyjmuje się, iż układ dynamiczny na rozmaitości jest wielowymiarowy, gdy ta rozma-
itość lokalnie jest homeomorficzna z więcej niż R4.
9
Jeżeli ustawimy kf = 0, kr = 0 oraz ą = 0 to otrzymamy układ tożsamy z 1.6.
Rozdział 1. Podstawowe definicje i twierdzenia 16
Pamięć asocjacyjna
Załóżmy, że mamy p wektorów n-wymiarowy składający się z samych zer lub jedynek,
np.: �1 = (0, 1, 0, 0, . . .). Zdefiniujmy zadanie:
Definicja 1.4.11: Zapamiętaj zbiór wzorców �1, �2, . . . , �p w taki sposób, że po zaprezen-
towaniu nowego wzoru u (wektor n-wymiarowy składający się z samych zer lub jedynek)
reakcją sieci będzie skojarzenie go z najbardziej podobnym �i (i " {1, 2, . . . , p}).
Aby rozwiązać to zadanie musimy mieć funkcję, która będzie mierzyć podobieństwo
wzoru u do jednego ze wzorców �i, gdzie i " {1, 2, . . . , p}:
Definicja 1.4.12: Znormalizowaną odległością Hamminga nazywamy funkcje:
n

1
i
Hi(u) = |uj - �j|. (1.14)
n
j=1
Definicja 1.4.13: Rewersem wzorca � nazywamy taki wzór �, że: "1 i n �i = 1 - �i.
Ż Ż
Twierdzenie 1.4.4: Hi(�i) = Hi(�i) = 0, czyli odległość Hamminga nie rozróżnia rewersu
Ż
wzorca od samego wzorca.
Jest bardzo wiele typów sieci neuronowych (grafów skierowanych), które rozwiązują to
zadanie [Bor02]. My zajmiemy się dyskretnym modelem sieci Hopfielda. Rozwiązanie tego
problemu to podanie takiej macierzy W = {wij}n�n, aby po pomnożeniu jej przez wektor
u otrzymać wektor x = fD(y) = fD(W � u), który da nam Hi(x) = 0 lub Hi(x) H"
0 dla jakiegoś i. Jako pierwszy odpowiedz
na ten problem dał Caianiello [MRS90]
implementując matematycznie zasadę uczenia sformułowaną przez Hebba w 1949r.
Definicja 1.4.14: Regułą Hebba(1961r.) nazywamy funkcje:
p

1
k k
wij = (2�i - 1)(2�j - 1). (1.15)
p
k=1
Twierdzenie 1.4.5: Macierz W powstała ze wzoru 1.15 jest symetryczna.
Rozdział 2
DWA PRZYKA
ADY WIELOWYMIAROWYCH
UKA
ADÓW DYNAMICZNYCH
2.1 Sieci neuronowe z efektem refrakcji
Początkowo dyskretna sieć Hopfielda była wyposażona w model neuronu z równania
(r)
1.6. Przyjęto wtedy, iż Wii = 0 a pozostałe wagi Wij obliczano z reguły Hebba 1.15.
t
My zastosujemy modele 1.8 i 1.11 do tej architektury, co odpowiada układom (X, FD) i
t
(X, FC). Obydwa układy uwzględniają efekt refrakcji zatem nie ma potrzeby zerowania
t
wii. Układ (X, FC) był już opisany w [AA97]. Niech Śi(1 - kr) = a, n = 100, wtedy:
100

�i(t + 1) = kf�i(t) + wijxj(t), (2.1)
j=1
śi(t + 1) = krśi(t) - ąxi(t) + a. (2.2)
Zatem stan wewnętrzny każdego neurona jest opisywany przez dwie wielkości:
yi(t + 1) = �i(t + 1) + śi(t + 1).
Dlatego warunki początkowe muszą być określone dla tych dwóch wielkości z osobna.
Mamy 200-wymiarowy układ dynamiczny taki jak na rysunku 1.2. W dalszych rozważa-
niach przyjmiemy X �" R200.
Bierzemy �i, gdzie i " {1, 2, 3, 4} tak jak na rysunku 2.1. Za pomocą reguły Hebba
1.15 mamy:
4

1
k k
wij = (2�i - 1)(2�j - 1).
4
k=1
Warunki początkowe określamy następująco1:
�i(0) = g(0, 9ui + 0, 5),
śi(0) = a,
1
Zarówno dla wersji FC jak i FD ustalamy tak samo warunki początkowe.
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 18
Fig. 2.1: Cztery wzorce przedstawione graficznie w macierzy 10 � 10. Każdy kwadracik
to 1 lub 0. Wartości funkcji QE dla tych wektorów to -393, - 390.5, -384.5, -381.
gdzie
1
g(ui) = -� ln( - 1)
ui
jest funkcją odwrotną do funkcji fC i u " (0, 1). Wyrażenie 0, 9ui + 0, 5 powoduje, że ui
nie wychodzi poza dziedzinę funkcji g.
Na rysunku 2.2 podano przykładowe warunki początkowe (ui = xi(0)). Istotne są
następujące własności:
 wzory: a, d, g, j - są takie same jak wzorce, czyli Hi(x(0)) = 0,
 wzory: b, e, h, k - różnią się o Hi(x(0)) = 0.04,
 wzory: c, f, i, l - różnią się o Hi(x(0)) = 0.08.
Tabele 2.1 i 2.2 wykorzystują te warunki początkowe.
2.2 Metody analizy
t t
Do badania właściwości dynamicznych (X, FD) i (X, FC) skorzystamy z dwóch funkcji
opisanych w [AA97].
Definicja 2.2.1: Quasi-energią sieci neuronowej nazywamy funkcje:

1
QE(t) = - wijxi(t)xj(t) - axi(t). (2.3)
2
i =j j i
QE będzie nam służyło do obserwowania zachowania się sieci w długo terminowym
przedziale czasu.  Ściska ona cały 100-wymiarowy wektor x do jednego wymiaru, co
pozwala nam na graficzną reprezentację punktów (t, QE(t)).
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 19
Fig. 2.2: Zestaw warunków początkowych używanych w niektórych symulacjach. Każdy
kwadracik to 1 lub 0.
Definicja 2.2.2: Odległością między stanami wewnętrznymi nazywamy funkcję:

100


Dist(t) = {[�i(t) - �i(tend)]2 + [śi(t) - śi(tend)]2}. (2.4)
i=1
Wartości �i(tend) i �i(tend) to stan wewnętrzny neuronów na końcu symulacji. Widać,
że Dist to norma euklidesowa w 200-wymiarowej przestrzeni.
Do analizowania chaotycznych własności posłuży nam największy wykładnik Lapu-
nowa oraz diagram bifurkacyjny. Ogólnie macierz Jacobiego odwzorowania DF to:
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 20
�ł �ł
"�1(t+1) "�1(t+1) "�1(t+1) "�1(t+1) "�1(t+1) "�1(t+1)
. . . . . .
"�1(t) "�2(t) "�100(t) "ś1(t) "ś2(t) "ś100(t)
�ł �ł
"�2(t+1) "�2(t+1) "�2(t+1) "�2(t+1) "�2(t+1) "�2(t+1)
�ł �ł
. . . . . .
�ł �ł
"�1(t) "�2(t) "�100(t) "ś1(t) "ś2(t) "ś100(t)
�ł �ł
�ł . . . . . . �ł
. .
. . . . . . . .
�ł �ł
. .
. . . . . .
�ł �ł
�ł "�100(t+1) "�100(t+1) "�100(t+1) "�100(t+1) "�100(t+1) "�100(t+1) �ł
�ł . . . . . . �ł
"�1(t) "�2(t) "�100(t) "ś1(t) "ś2(t) "ś100(t)
�ł �ł
DFt+1 = ,
�ł "ś1(t+1) "ś1(t+1) "ś1(t+1) "ś1(t+1) "ś1(t+1) "ś1(t+1) �ł
�ł . . . . . . �ł
"�1(t) "�2(t) "ś1(t) "ś1(t) "ś2(t) "ś100(t)
�ł �ł
�ł "ś2(t+1) "ś2(t+1) "ś2(t+1) "ś2(t+1) "ś2(t+1) "ś2(t+1) �ł
. . . . . .
�ł �ł
"�1(t) "�2(t) "�100(t) "ś1(t) "ś2(t) "ś100(t)
�ł �ł
�ł �ł
. . . . . .
. .
. . . . . . . .
�ł �ł
. .
. . . . . .
�ł łł
"ś100(t+1) "ś100(t+1) "ś100(t+1) "ś100(t+1) "ś100(t+1) "ś100(t+1)
. . . . . .
"�1(t) "�2(t) "ś100(t) "ś1(t) "ś2(t) "ś100(t)
wtedy DFC wygląda następująco:
�ł �ł
C C C C
kf + w1,1df1 (t) . . . w1,100df100(t) w1,1df1 (t) . . . w1,100df100(t)
C C C C
�ł �ł
w2,1df1 (t) . . . w2,100df100(t) w2,1df1 (t) . . . w2,100df100(t)
�ł �ł
�ł . . . . �ł
. .
. . . . . .
�ł �ł
. .
. . . .
�ł �ł
C C C C
�ł �ł
w100,1df1 (t) . . . kf + w100,100df100(t) w100,1df1 (t) . . . w100,100df100(t)
t+1
�ł �ł
DFC = ,
C C
�ł �ł
-ądf1 (t) . . . 0 kr - ądf1 (t) . . . 0
�ł �ł
�ł �ł
0 . . . 0 0 . . . 0
�ł �ł
�ł �ł
. . . .
. .
. . . . . .
�ł łł
. .
. . . .
C C
0 . . . -ądf100(t) 0 . . . kr - ądf100(t)
gdzie
i
e-(� (t)+śi(t))/�
dfiC(t) = (2.5)
i
(1 + e-(� (t)+śi(t))/�)2�
Natomiast DFD to macierz diagonalna:
�ł �ł
kf 0 . . . 0 0 0 . . . 0
�ł �ł
�ł �ł
0 kf . . . 0 0 0 . . . 0
�ł �ł
�ł . . . . . . �ł
. .
. . . . . . . .
�ł �ł
. .
. . . . . .
�ł �ł
�ł �ł
0 0 . . . kf 0 0 . . . 0
�ł �ł
t+1
DFD = �ł �ł .
�ł �ł
0 0 . . . 0 kr 0 . . . 0
�ł �ł
�ł �ł
0 0 . . . 0 0 kr . . . 0
�ł �ł
�ł �ł
. . . . . .
. .
�ł �ł
. . . . . . . .
. .
. . . . . .
�ł łł
0 0 . . . 0 0 0 . . . kr
Wiadomo, iż kf, kr " (0, 1), zatem iterując yt+1 = DFD(t) � yt, nigdy yt+1 nie wyjdzie
poza jedynkę. W tym wypadku największy wykładnik Lapunowa będzie po prosty równy
max{kr, kf}. Zatem czynnik, który wprowadza chaos to dfiC. Wraz z zanikiem � zanika
t
zdolność układu (X, FC) do generowania atraktorów chaotycznych.
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 21
Do badania właściwości odzyskiwania zapamiętanych wzorców posłuży nam odległość
Hamminga 1.14. Tutaj w formie dynamicznej:
n

1
i
Hi(t) = |xj(t) - �j|
n
j=1
t
W przypadku układu (X, FC) wektor x ma wartości składowe w przedziale (0, 1)2, wtedy
rzadko się zdarza, aby Hi(t) = 0 dla jakiegoś i.
Definicja 2.2.3: Funkcją transferu nazywamy funkcję:

1 jeżeli u 0.5
h(u) =
0 jeżeli u < 0.5.
Stosując powyższą funkcję odległość Hamminga przyjmuje postać:
n

1
i
Hi(t) = |h{xj(t)} - �j|.
n
j=1
2.3 Wyniki eksperymentu, porównanie
Wszystkie rysunki i tabele zostały otrzymane za pomocą algorytmu opisanego w
podrozdziale 3.2.
Następujące parametry sieci są ustalone: � = 0.015, kf = 0.2, ą = 10, a = 2.
Rysunki 2.3 i 2.4 pokazują długo-okresowe zachowanie się sieci. Charakterystyczną
cechą obu tych sieci jest długa faza przejściowa, która z pewnością nie jest zależna od
wykładników Lapunowa. Jest też istotna różnica między tymi układami: okienko okre-
sowe w fazie przejściowej. Na rysunku 2.3 około 15000 iteracji pojawia się na krótko
okno okresowe. Dla wszystkich warunków początkowych z tabeli 2.1, które mają fazę
przejściową pojawia się takie okno.
Rysunki 2.5 i 2.6 dają przykład jak funkcja Dist rozpoznaje długość okresów. Jest
to druga charakterystyczna cecha tych układów: długie trajektorie okresowe.
Rysunki 2.7 i 2.8 dowodzą, iż dwie wyżej wymienione cechy nie są związane z wykła-
dnikiem Lapunowa. Wykres bifurkacyjny dodatkowo pokazuje, że długie fazy przejściowe
zaczynają się przy kr H" 0.9. Wartości ś1(t) są rysowane dla 5000 < t < 60003. Wykładnik
Lapunowa jest obliczony ze wzoru 1.2, gdzie l� = 6000 a � = 10.
2
Ze względu na zaokrąglenia w komputerze mamy przedział domknięty [0, 1].
3 t
Można pokazać, że orbity są nieokresowe dla kr 91 nawet po 150000 iteracjach zarówno w (X, FC)
t
jak i (X, FD)
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 22
Tabele 2.1 i 2.2 są uzyskane z warunków początkowych opisanych na rysunku 2.2. W
t
układzie (X, FC) pojawia się nowe zjawisko: orbity nieokresowe. Dla losowo wybranych
warunków początkowych wykładnik Lapunowa przy kr = 0.9 wynosi około -0.055, ale
dla warunków początkowych c największy wykładnik Lapunowa wynosi 0.0067. Długie
okresy przejściowe zauważono też w automatach komórkowych w pracy [Lon90].
Tabele 2.3 i 2.4 pokazują, na ile te sieci spełniają swoją funkcję, czyli jak często w
sieci pojawia się zapamiętany wzorzec. Okazuje się że tylko w okolicy kr H" 0.9 dosta-
jemy żądane właściwości. Dla kr = 0.9 sieć względnie często i względnie równomiernie
t
odwiedza każdy z zapamiętanych wzorców. Układ (X, FD) ma pod tym względem tro-
chę gorsze wyniki. Warunki początkowe wybierane są losowo. Zdarzenie Hi(t) = 0 dla
i = {1, 2, 3, 4} jest liczone w przedziale 0 < t < 5000. Dla każdego kr wykonane jest 1000
prób.
t
Podsumowując można powiedzieć, iż układ (X, FD) wykazuje podobne właściwości
t
do układu (X, FC)4, mimo że ten pierwszy w ogóle nie jest zdolny do generowania atrak-
torów chaotycznych. Widać, że długie fazy przejściowe związane są z parametrem kr,
ale nie są związane z wykładnikiem Lapunowa. W pracy [Lon90] długie fazy przejścio-
we pojawiały się w punktach przejścia między zachowaniem okresowym a chaotycznym
t
automatów komórkowych. W układzie (X, FD) nie ma możliwości na takie przejścia,
dlatego prawdopodobnie mamy inne podłoże dla tej skomplikowanej dynamiki.
Fig. 2.3: Długo-okresowe zachowanie się funkcji QE z warunkiem początkowym g w przy-
t
padku (X, FC). kr = 0.9.
4 t t
Układ (X, FD) dla parametru 0.91 kr < 1 oraz układ (X, FC) dla parametru 0.91 kr 0.95
mają dziwne niechaotyczne atraktory [GOPY84] (patrz dodatek A).
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 23
Fig. 2.4: Długo-okresowe zachowanie się funkcji QE z warunkiem początkowym c w przy-
t
padku (X, FD). kr = 0.9.
numer wzorca Hi(x(0)) = 0 Hi(x(0)) = 0.04 Hi(x(0)) = 0.08
i = 1 Pr <" 9500 Nieokresowe Tr <" 1000
i = 2 Pr <" 9500 Tr <" 9000 Tr <" 10000
i = 3 Tr <" 21000 Pr <" 9500 Tr <" 6000
i = 4 Nieokresowe Pr <" 9500 Tr <" 4000
t
Tab. 2.1: Zależność dynamiki sieci (X, FC) od warunków początkowych (kr = 0.9), gdzie
Tr oznacza długość fazy przejściowej a Pr długość okresu (przybliżone warto-
ści).
numer wzorca Hi(x(0)) = 0 Hi(x(0)) = 0.04 Hi(x(0)) = 0.08
i = 1 Tr <" 17500 Pr <" 5000 Tr <" 19000
i = 2 Tr <" 14000 Tr <" 11000 Tr <" 2500
i = 3 Tr <" 10500 Tr <" 17600 Tr <" 17500
i = 4 Tr <" 14000 Pr <" 4000 Tr <" 16000
t
Tab. 2.2: Zależność dynamiki sieci (X, FD) od warunków początkowych (kr = 0.9), gdzie
Tr oznacza długość fazy przejściowej a Pr długość okresu (przybliżone warto-
ści).
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 24
t
Fig. 2.5: Wykres funkcji Dist warunkiem początkowym a w przypadku (X, FC). kr = 0.9.
t
Fig. 2.6: Wykres funkcji Dist warunkiem początkowym b w przypadku (X, FD). kr = 0.9.
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 25
Fig. 2.7: Wykres największego wykładnika Lapunowa oraz wykres bifurkacyjny ze wzglę-
t
du na parametr kr i zmienną ś1(t) w przypadku (X, FC).
kr 0.8 0.85 0.9 0.95
i = 1 3.256 12.635 31.017 5.385
i = 2 219.484 259.957 61.707 5.88
i = 3 14.344 62.5 11.189 5.259
i = 4 39.743 18.213 9.817 5.245
Tab. 2.3: Uśredniona zdolność sieci do odzyskiwania zapamiętanych wzorców i ich rewer-
t
sów ze względu na parametr kr w przypadku układu (X, FC). Dla każdego kr
mamy 1000 prób. Wektor x(0) wybieramy losowo.
Rozdział 2. Dwa przykłady wielowymiarowych układów dynamicznych 26
Fig. 2.8: Wykres największego wykładnika Lapunowa oraz wykres bifurkacyjny ze wzglę-
t
du na parametr kr i zmienną ś1(t) w przypadku (X, FD).
kr 0.8 0.85 0.9 0.95
i = 1 4.134 9.37 11.127 5.262
i = 2 186.29 163.382 47.515 6.084
i = 3 23.533 64.299 10.304 4.404
i = 4 19.681 13.536 10.194 5.489
Tab. 2.4: Uśredniona zdolność sieci do odzyskiwania zapamiętanych wzorców i ich rewer-
t
sów ze względu na parametr kr w przypadku układu (X, FD). Dla każdego kr
mamy 1000 prób. Wektor x(0) wybieramy losowo.
Rozdział 3
IMPLEMENTACJE
3.1 Inicjalizacja, praca i metody analizy sieci
Pierwszą czynnością jaką musimy dokonać to zarezerwowanie pamięci dla obiektów
w klasieTn2. W tym celu należy wpisać następujące polecenie:neuro.n2:=Tn2.Create.
Równocześnie zostaje ustawiony wewnętrzny czasTn2nat:=0, który liczy ilość itera-
cji oraz stałaftau:=10(� w podrozdziale 1.2), czyli częstotliwość reortonormalizacji
Grama-Schmitda (gsr).
Sieć inicjalizujemy poleceniemStart, które wymaga podania dziesięciu argumentów.
Zostaną one wpisane w odpowiednie polaTn2:
 an- ilość neuronów,
 apm- ilość wzorców,
 alap- ilość wykładników Lapunowa, które chcemy liczyć,
 asmalleps- parametr � funkcji fC,
 aa- parametr a we wzorze 2.2, czyli tak zwany potencjał spoczynkowy,
 akf- kf we wzorze 2.1,
 akr- kr we wzorze 2.2,
 aalfa- ą we wzorze 2.2,
 apattern- zestaw wzorców,
 axvector- warunek początkowy x(0).
W obrębie tego polecenia następuje zainicjalizowanie: wag (initw), wektorów y0 ze wzoru
1.1 (inity) oraz wektorów �(0) i ś(0) ze wzorów 2.1 i 2.2 (initIS). Należy pamiętać, aby
Rozdział 3. Implementacje 28
ustawić własnośćcont, która decyduje o tym czy używamy funkcji fC (cont:=true),
czy też fD (cont:=false).
Praca sieci polega na iteracji równań 2.1, 2.2 oraz 1.12 lub 1.13. Odpowiedzialne są
za to poleceniaetazetaix. Proceduraxoblicza 1.12 lub 1.13 w zależności od wartości
cont. Jednak algorytm pomyślany jest tak, aby równocześnie analizował tą sieć, dlatego
etazetaixumieszczone są w częściprivatei tym samym są niedostępne z zewnątrz.
Zamiast tego używamy proceduryStep, w której umieszczone sąetazetaixoraz metody
analizujące sieć, które wymagają iteracji (rvector,newymatrix,gsr).
Metody analizujące sieć można podzielić na dwie kategorie: te, które wymagają ite-
racji (są umieszczoneprivate) oraz te, które nie wymagają (są umieszczonepublic).
Mimo iż polervectori funkcjalyapspectrumzależą de facto od wykonanych iteracji,
to użytkownik musi iterować tylko polecenieStepi dopiero po odpowiedniej akumulacji
wartościrvector(częstotliwość odzyskanych wzorców) ifbeta( �1 , �2 , . . . ze wzoru
1.2) może przywołać wyniki analizy.
Opis metod używanych w klasieTn2na poziomeprivatesłużących do analizowania
sieci:
 newymatrix- jest poleceniem służącym do mnożenia macierzy DF przez wektor
y zgodnie z równaniem 1.1, przy czym funkcjadfcjest taka sama jak we wzorze
2.5,
 gsr- procedura reortonormalizacji Grama-Schmidta opisana w definicji 1.2.1, która
dodatkowo zwraca wartości �1 , �2 , . . . w postaci wektorafbeta,
 retrieve- liczy ile razy wektor h(x) zbliżył się na odległość Hamminga Hi = 0 do
jednego ze wzorców, jako wynik otrzymujemy wektorrvectoro wymiarze równym
ilości zapamiętanych wzorców.
Opis metod używanych w klasieTn2na poziomepublicsłużących do analizowania
sieci:
 qenergy- funkcja opisana wzorem 2.3,
 ham- funkcja opisana wzorem 1.14,
 lyapspectrum- jako argument podajemy numer wykładnika Lapunowa a rezulta-
tem jest wartość tego wykładnika opisana w podrozdziale 1.2.
Na poziomie dostępnościprivateznajdują się jeszcze:fda" fD,fca" fC,ga" fC -1,
oraznorma" norma Euklidesowa z wektora.
Rozdział 3. Implementacje 29
3.2 Algorytm
unit neuro;
interface
uses math;
type matrix = array of array of real;
vector = array of real;
Tn2 = class
private
t,ftau:integer;
fkf,fkr,falfa,fsmalleps,fa:real;
fn,fpm,flap:integer;
fbeta:matrix;
fcont:boolean;
wmatrix:matrix;
pattern:matrix;
ymatrix:matrix;
etavector:vector;
zetavector:vector;
property kf:real read fkf write fkf;
property kr:real read fkr write fkr;
property alfa:real read falfa write falfa;
property n:integer read fn write fn;
property pm:integer read fpm write fpm;
property lap:integer read flap write flap;
property smalleps:real read fsmalleps write fsmalleps;
property a:real read fa write fa;
procedure etazeta (axvector:vector;var aetavector:vector;
var azetavector:vector);
procedure x (var axvector:vector);
procedure initw (apattern:matrix;var awmatrix:matrix);
procedure initIS (axvector:vector;var aetavector:vector;
var azetavector:vector);
procedure inity (var aymatrix:matrix);
procedure newymatrix(aetavector:vector;azetavector:vector;
var aymatrix:matrix);
procedure gsr(var abeta:matrix;var aymatrix:matrix);
procedure retrieve(axvector:vector;var arvector:vector);
Rozdział 3. Implementacje 30
function norm(v:vector):real;
function fc(u:real):real;
function dfc(u:real):real;
function fd(u:real):real;
function g(u:real):real;
public
rvector:vector;
constructor Create;
property cont:boolean read fcont write fcont;
property tau:integer read ftau;
function qenergy (axvector:vector):real;
function ham (apm:integer;axvector:vector;apattern:matrix):real;
function lyapspectrum(ai:integer):real;
procedure Start (an,apm,alap:integer;asmalleps,aa:real;akf:real;
akr:real;aalfa:real;apattern:matrix;axvector:vector);
procedure Step (var axvector,aetavector,azetavector:vector);
end;
var n2 : Tn2;
implementation
constructor Tn2.Create;
begin
inherited Create;
t:=0;
ftau:=10;
randomize;
end;
//private
procedure Tn2.gsr(var abeta:matrix;var aymatrix:matrix);
var i,j,k,l:integer;
nymatrix:matrix;
v:vector;
sumv:vector;
sum:real;
begin
Setlength(sumv,lap-1);
Rozdział 3. Implementacje 31
Setlength(nymatrix,lap);
for i:=0 to lap-1 do
Setlength(nymatrix[i],2*n);
Setlength(v,2*n);
l:=length(abeta);
l:=l+1;
setlength(abeta,l);
setlength(abeta[l-1],lap);
i:=0;
for j:=0 to 2*n-1 do begin
nymatrix[i,j]:=aymatrix[i,j];
v[j]:=aymatrix[i,j];
end;
abeta[l-1,i]:=norm(v);
for j:=0 to 2*n-1 do
nymatrix[i,j]:=nymatrix[i,j]/abeta[l-1,i];
for i:=1 to lap-1 do begin
for k:=0 to i-1 do begin
sum:=0;
for j:=0 to 2*n-1 do begin
sum:=sum+aymatrix[i,j]*nymatrix[k,j];
end;
sumv[k]:=sum;
end;
for j:=0 to 2*n-1 do begin
nymatrix[i,j]:=aymatrix[i,j];
for k:=0 to i-1 do
nymatrix[i,j]:=nymatrix[i,j]-sumv[k]*nymatrix[k,j];
v[j]:=nymatrix[i,j];
end;
abeta[l-1,i]:=norm(v);
for j:=0 to 2*n-1 do
nymatrix[i,j]:=nymatrix[i,j]/abeta[l-1,i];
end;
aymatrix:=nymatrix;
end;
procedure Tn2.newymatrix(aetavector:vector;azetavector:vector;
var aymatrix:matrix);
var i,j,k:integer;
Rozdział 3. Implementacje 32
nmatrix:matrix;
fymatrix:matrix;
sum:real;
begin
Setlength(fymatrix,lap);
for k:=0 to lap-1 do
Setlength(fymatrix[k],2*n);
Setlength(nmatrix,2*n);
for i:=0 to 2*n-1 do
Setlength(nmatrix[i],2*n);
for i:=0 to n-1 do begin
if cont=true then begin
for j:=0 to n-1 do begin
nmatrix[i,j]:=wmatrix[i,j]*dfc(aetavector[j]+azetavector[j]);
nmatrix[i,n+j]:=wmatrix[i,j]*dfc(aetavector[j]+azetavector[j]);
end;
nmatrix[i,i]:=nmatrix[i,i]+kf;
nmatrix[i+n,i]:=-alfa*dfc(aetavector[i]+azetavector[i]);
nmatrix[n+i,n+i]:=kr-alfa*dfc(aetavector[i]+azetavector[i]);
end
else begin
nmatrix[i,i]:=kf;
nmatrix[n+i,n+i]:=kr;
end;
end;
for k:=0 to lap-1 do begin
for i:=0 to 2*n-1 do begin
sum:=0;
for j:=0 to 2*n-1 do begin
sum:=sum+nmatrix[i,j]*aymatrix[k,j]
end;
fymatrix[k,i]:=sum;
end;
end;
aymatrix:=fymatrix;
end;
procedure Tn2.inity(var aymatrix:matrix);
var i,j:integer;
abeta:matrix;
Rozdział 3. Implementacje 33
begin
for i:=0 to lap-1 do
for j:=0 to 2*n-1 do begin
aymatrix[i,j]:=random;
end;
gsr(abeta,aymatrix);
end;
function Tn2.norm(v:vector):real;
var i,l:integer;
sum:real;
begin
sum:=0;
l:=length(v);
for i:=0 to l-1 do
sum:=sum+sqr(v[i]);
norm:=sqrt(sum);
end;
procedure Tn2.x (var axvector:vector);
var i:integer;
begin
for i:=0 to n-1 do
if cont=true then
axvector[i]:=fc(etavector[i]+zetavector[i]) else
axvector[i]:=fd(etavector[i]+zetavector[i]);
end;
procedure Tn2.initw (apattern:matrix;var awmatrix:matrix);
var i,j,k:integer;
sum:real;
begin
for i:=0 to n-1 do
begin
for j:=0 to n-1 do
begin
sum:=0;
for k:=0 to pm-1 do
sum:=sum+(2*apattern[i,k]-1)*(2*apattern[j,k]-1);
awmatrix[i,j]:=sum/pm;
Rozdział 3. Implementacje 34
end;
end;
end;
procedure Tn2.etazeta (axvector:vector;var aetavector:vector;
var azetavector:vector);
var i,j:integer;
sum:real;
begin
for i:=0 to n-1 do
begin
sum:=0;
for j:=0 to n-1 do
sum:=sum+wmatrix[i,j]*axvector[j];
aetavector[i]:=kf*aetavector[i]+sum;
end;
for i:=0 to n-1 do
begin
azetavector[i]:=kr*azetavector[i]-alfa*axvector[i]+a;
end;
end;
procedure Tn2.initIS (axvector:vector;var aetavector:vector;
var azetavector:vector);
var i:integer;
begin
for i:=0 to n-1 do
begin
aetavector[i]:=g(axvector[i]*0.9+0.05)-a;
azetavector[i]:=a;
end;
end;
function Tn2.fc(u:real):real;
begin
fc:=1/(1+exp(-u/smalleps));
end;
function Tn2.dfc(u:real):real;
begin
Rozdział 3. Implementacje 35
dfc:=(exp(-u/smalleps)/sqr((1+exp(-u/smalleps))))*(1/smalleps);
end;
function Tn2.fd(u:real):real;
begin
if u>=0 then fd:=1 else fd:=0;
end;
function Tn2.g(u:real):real;
begin
g:=-smalleps*Ln((1/u)-1);
end;
procedure Tn2.retrieve(axvector:vector;var arvector:vector);
var i:integer;
begin
for i:=0 to pm-1 do
begin
if ham(i,axvector,pattern)=0 then arvector[i]:=arvector[i]+1;
end;
end;
//public
procedure Tn2.Start (an,apm,alap:integer;asmalleps,aa:real;akf:real;
akr:real;aalfa:real;apattern:matrix;axvector:vector);
var i:integer;
begin
setlength(fbeta,0);
lap:=alap;
n:=an;
pm:=apm;
smalleps:=asmalleps;
a:=aa;
kf:=akf;
kr:=akr;
alfa:=aalfa;
Setlength(etavector,n);
Setlength(zetavector,n);
Rozdział 3. Implementacje 36
Setlength(wmatrix,n);
for i:=0 to n-1 do
Setlength(wmatrix[i],n);
Setlength(ymatrix,lap);
for i:=0 to lap-1 do
Setlength(ymatrix[i],2*n);
inity(ymatrix);
initw(apattern,wmatrix);
initIS(axvector,etavector,zetavector);
end;
procedure Tn2.Step (var axvector,aetavector,azetavector:vector);
begin
t:=t+1;
x(axvector);
etazeta(axvector,etavector,zetavector);
aetavector:=etavector;
azetavector:=zetavector;
newymatrix(aetavector,azetavector,ymatrix);
if t mod ftau = 0 then gsr(fbeta,ymatrix);
retrieve(axvector,rvector);
end;
function Tn2.qenergy (axvector:vector):real;
var i,j:integer;
s2,s3:real;
begin
s3:=0;
s2:=0;
for i:=0 to n-1 do
s3:=s3+a*axvector[i];
for i:=0 to n-1 do
for j:=0 to n-1 do
begin
if j=i then s2:=s2 else
s2:=s2+wmatrix[i,j]*axvector[i]*axvector[j];
end;
qenergy:=-0.5*s2-s3;
end;
Rozdział 3. Implementacje 37
function Tn2.ham(apm:integer;axvector:vector;apattern:matrix):real;
var i:integer;
h:real;
begin
h:=0;
for i:=0 to n-1 do
h:=h+abs(axvector[i]-apattern[i,apm]);
ham:=h/n;
end;
function Tn2.lyapspectrum(ai:integer):real;
var i,l:integer;
sum:real;
begin
l:=length(fbeta);
if ai=1 then begin
sum:=0;
for i:=0 to l-1 do
sum:=sum+ln(fbeta[i,ai-1]);
lyapspectrum:=(1/(l*ftau))*sum;
end
else begin
sum:=0;
for i:=0 to l-1 do
sum:=sum+ln(fbeta[i,ai-1]);
lyapspectrum:=(1/(l*ftau))*sum;
end;
end;
end.
Rozdział 4
FILOZOFICZNE WNIOSKI
4.1 Kognitywistyka - problem korelatu świadomości
Jednym z głównych działów filozofii jest epistemologia, czyli teoria poznania. Można
ją podzielić na teorię poznania naukowego (metodologię) i teorię poznania podmiotu
poznającego (kognitywistykę).
Wraz z rozwojem nauk szczegółowych rozwijała się filozofia, która zadawała coraz
to precyzyjniejsze pytania. Od około 50 lat podejmowane są próby, aby odpowiadać
na pytania dotyczące ludzkiego poznania posługując się językiem nauk szczegółowych.
W ten sposób zrodziła interdyscyplinarna nauka, która ma ambicje odpowiedzieć nie-
filozoficznie na filozoficzne pytania dotyczące ludzkiego poznania.
Propozycja 4.1.1: Kognitywistyka1 są to programy badawcze, które stawiają sobie na ce-
lu wyjaśnienie zdolności poznawczych człowieka, to znaczy zdolności do przetwarzania
informacji [Chu].
W obrębie kognitywistyki można wyróżnić wiele ujęć tego samego problemu ze wzglę-
du na aparat pojęciowy, jakim się dane ujęcie posługuje przy wyjaśnianiu i opisywaniu
postawionego problemu. Jednym z nich jest koneksjonizm. Program koneksjonizmu został
sformułowany przez D. E. Rumelharta [Rum99]:
Propozycja 4.1.2: Koneksjonizm jest to program badawczy zajmujący się badaniem syste-
mów połączeń inspirowanych neuronalnie, które składają się z następujących elementów:
 zbioru jednostek przetwarzających,
 stanu aktywacji określonego na tym zbiorze,
 funkcji aktywacji określonej dla każdej jednostki, która stanowi jej aktywacji przy-
porządkowuje wartość sygnału wyjściowego,
 struktury połączeń między jednostkami,
1
Z ang. cognitive science [Chl99].
Rozdział 4. Filozoficzne wnioski 39
 reguły, która przyporządkowuje wartościom sygnałów wejściowych i stanowi akty-
wacji jednostki nową wartość stanu aktywacji,
 reguły uczenia się sieci
 środowiska, w którym sieć operuje.
Wszystkie definicje, twierdzenia, modele oraz metody analizy przedstawione w tej pra-
cy zaliczają się do języka koneksjonizmu. Novum w koneksjonizmie jest analiza sieci
neuronowych za pomocą pojęć teorii chaosu [ATT90]. Połączenie tych dwóch aparatów
pojęciowych dało wiele nowych wyników naukowych. Zobaczymy jakie konsekwencje dla
kognitywistyki może mieć wzbogacenie koneksjonizmu o teorie układów dynamicznych.
Centralnym pojęciem w kognitywistyce jest umysł. Każdy układ przetwarzający in-
formację i ją wykorzystujący do działania może być pojęty jako umysł [Den97]. Innym
pojęciem badanym przez kognitywistykę jest świadomość. Można powiedzieć, że tylko
niektóre umysły są wyposażone w świadomość. Uważa się, że świadomość posiadają,
prócz człowieka, niektóre ssaki naczelne i jest ona jakoś związana ze skomplikowaną
strukturą centralnego układu nerwowego. W latach 90-tych pojawił się problem neuro-
nalnych korelatów świadomości(NCCs)2. Wielu z badaczy neurobiologicznych ma własną
koncepcje, gdzie w mózgu może znajdować się ośrodek odpowiedzialny za powstawanie
świadomości. Powstało pytanie  co zrobić z faktem, iż zmiany stanów świadomości rów-
nocześnie powodują obserwowalne zmiany procesów mózgowych i na odwrót? W Polsce
ukazały się książki na ten temat [Cri97] oraz [Dam99]. Stricte metodologiczne podejście
do tego tematu ukazało się całkiem niedawno w [Cha98b] i [Cha00].
Jak dotąd jednak nie pokazano, co może nowego wnieść koneksjonizm do problemu
korelatu świadomości. Najpierw przedstawmy poglądy D. J. Chalmersa na temat NCCs,
który wyróżnia pięć pytań definiujących problem NCCs.
Problem 4.1.3: Pytanie  Co rozumiemy przez NCC? rozpada się na następujące zagad-
niena [Cha00]:
1. Co rozumiemy przez  świadomość ?
2. Co rozumiemy przez  neuronalny korelat świadomości (NCC) ?
3. Jak możemy znalez
ć NCCs ?
4. Co NCC wytłumaczy ?
5. Czy świadomość jest redukowalna do neuronalnych korelatów ?
W tej pracy potrzebna będzie nam odpowiedz
tylko na trzy pierwsze pytania.
Na pierwsze pytanie D. J. Chalmers podał odpowiedz
w [Cha95] i [Cha98a].
2
Z ang. neural correlates of consciousness.
Rozdział 4. Filozoficzne wnioski 40
Propozycja 4.1.4: Świadomość to
 zdolność do rozróżniania, kategoryzowania i reagowania na otoczenie,
 integracja informacji przez układ poznawczy (podmiot poznający),
 raportowalność stanów mentalnych,
 dostęp do własnych stanów wewnętrznych,
 skupianie uwagi,
 zamierzona kontrola działań,
 doświadczanie czegoś (qualia).
Specyfika świadomości nie pozwala nam podać formalnej definicji. Przyczyną jest
prywatność świadomości. Nikt inny prócz mnie nie ma dostępu do mojej świadomo-
ści, dlatego potrzebne są prawa pomostowe. To one umożliwiają nam jakikolwiek opis
świadomości. Możliwość istnienia takich praw zapewnia nam drugi i trzeci punkt defi-
nicji 4.1.4. Istnienie takich praw pomostowych umożliwia nam szukanie NCC tak jak to
przedstawiono na diagramie 4.1.
prawa
globalna

(4.1)
świadomość
pomostowe
dost�
epność


praca
empiryczna

proces
neuronalny N
Nie rozstrzyga to faktu czy takie korelaty w ogóle istnieją, ale odpowiada to na trzecie
pytanie  jak znalez
ć NCC? Mamy zatem potencjalny falsyfikator tej hipotezy: jeże-
li zbadamy cały mózg i stwierdzimy, że nie ma ani jednego układu neuronów, którego
zawartość zgadzałaby się z zawartością świadomości to stwierdzimy, że nie istnieją żad-
ne neuronalne korelaty mózgu. Wtedy pozostaje nam co najwyżej kognitywny korelat
świadomości (CCC?)3 [Cha98b].
kognitywne
prawa praca
globalna

(4.2)
świadomość korelaty
pomostowe
filozoficzna
dost�
epność
świadomości
Odpowiedz
na drugie pytanie jest trudniejsza. Wymaga to podania explicite definicji
NCC. Potrzebne do tego będzie nam kilka pomocniczych pojęć [Cha00].
Możemy wyróżnić następujące stany świadomości:
3
Z ang. cognitive correlate of consciousness.
Rozdział 4. Filozoficzne wnioski 41
 świadomość jako bycie świadomym to cecha, którą można przypisać podmiotowi,
jeżeli w danej chwili dokonuje choć jednej czynności opisanej w definicji 4.1.4,
 świadomość jako tło świadomości to bycie na jawie, w hipnozie, posiadanie marzeń
sennych i tym podobne,
 świadomość jako zawartości świadomości4 to treści subiektywnego doświadczenia,
rozróżnialne i kategoryzowalne przez podmiot poznający (mogą to być detale do-
świadczenia wzrokowego (konkretny kształt lub kolor), doświadczenia słuchowego,
jakieś konkretne myśli, uczucia i temu podobne).
Tutaj rozważymy tylko definicję korelatu zawartości świadomości, gdyż dla tego stanu
świadomości pokażemy rolę koneksjonizmu w szukaniu tego korelatu.
Należy się zastanowić jakie formalne wymagania możemy stawiać definicji NCC, to
znaczy jak będziemy rozumieć relację korelacji:
 korelacja może być konieczna i wystarczająca, czyli pewien stan neuronów N od-
powiada5 jedno-jednoznacznie z pewnym stanem świadomości,
 korelacja może być tylko wystarczająca, czyli mogą istnieć dwa różne miejsca w
mózgu N i M każde w jakimś swoim stanie, takie że zarówno N jak i M odpowiada
jakiemuś jednemu stanowi świadomości,
 korelacja może być wystarczająca i minimalna, czyli N + M jest wystarczające,
aby odpowiadać stanowi świadomości oraz żadna część O �" N + M nie jest wy-
starczająca aby odpowiadać temu samemu stanowi świadomości.
D. J. Chalmers uważa, że pierwszy wariant to za dużo, bo może się okazać, że jakieś dwa
układy są korelatami świadomości; drugi za mało, bo można by wtedy wziąć cały mózg
jako korelat. Natomiast trzeci zapobiega włączaniu niepotrzebnych układów neuronów
do korelatu. Diagram 4.3 obrazuje podstawową idee korelacji.
korelacja

proces wystarczaj�
aca
stany

(4.3)
neuronalny N
minimalna świadomości

korelacja
Ostatecznie określimy warunki, w jakich mogą funkcjonować neuronalne korelaty, by
nadal mogły spełniać funkcję korelatu.
4
Z ang. contents of consciousness.
5
Z ang. to be relevant.
Rozdział 4. Filozoficzne wnioski 42
 Jakiekolwiek warunki, czyli stany N są skorelowane z pewnym stanami świadomości
bez względu na to jak uwarunkowany jest mózg i jego otoczenie,
 zwyczajne funkcjonowanie mózgu w zwyczajnym środowisku, czyli stany N są sko-
relowane z pewnym stanem świadomości wtedy i tylko wtedy gdy mózg funkcjonuje
normalnie w naturalnym środowisku,
 zwyczajne funkcjonowanie mózgu, ale nietypowe są dane, wejściowe (np. podmio-
towi poznającemu pokazywane są jakieś proste rysunki a mózg jest podłączony
do np. elektroencefalografu (EEG)), czyli reprezentacja w N (podzbiór N) jest
skorelowana z reprezentacją danych wejściowych w świadomości,
 normalny mózgu i jego stymulacje, czyli stany N stymulowane laboratoryjnie są
skorelowane ze stanami świadomości, które podczas tych stymulacji podlegają
zmianie,
 nietypowo funkcjonujący mózg z powodu lezji6, czyli braki pewnych stanów świa-
domości skorelowane są z brakiem pewnych ośrodków w mózgu.
Badania neurobiologiczne często dotyczą trzech ostatnich przypadków i słusznie zadaje
się pytanie, czy można je rozszerzyć na przypadek pierwszy, to znaczy czy zasadne jest
twierdzenie, iż korelat znaleziony w przypadku np. trzecim będzie taki sam w naturalnym
środowisku. Zatem w definicji należy umieścić pod jakim warunkiem wskazujemy dany
korelat.
Propozycja 4.1.5: Neuronalny korelat zawartości świadomości(NCCC)7 to minimalny u-
kład neuronów N taki, że reprezentacja zawartości w N wystarcza, pod warunkiem C,
do reprezentowania zawartości w świadomości [Cha00].
4.2 Założenia metodologiczne NCCs
W poprzednim podrozdziale odpowiedzieliśmy na trzy pytania, które definiują pro-
blem neuronalnego korelatu świadomości. Przyjmiemy, iż wszelkie modele kognitywne są
formułowane na gruncie szeroko pojętej kognitywistyki oraz zawęzimy pojęcie procesu
mentalnego do procesu, który sobie uświadamiamy. Rozważmy metodologiczne podstawy
problemu korelatu świadomości.
D. J. Chalmers zauważył, iż nie jesteśmy pewni, czy NCC w ogóle istnieje. Nawet
nie ma zgody co do formy takiego korelatu, to znaczy nie wiadomo czy jest to miejsce
w mózgu (konkretny zbiór neuronów), właściwość dynamiczna (np. jakaś częstotliwość
6
Miejscowe uszkodzenia mózgu.
7
Z ang. neural correlate of the content of consciousness.
Rozdział 4. Filozoficzne wnioski 43
wyładowań neuronów), czy też właściwość dynamiczna pewnego miejsca w mózgu (np.
częstotliwość wyładowań pewnego zbioru neuronów). Możemy postawić dodatkowe py-
tanie.
Problem 4.2.1: Czy jesteśmy w stanie określić formę
NCC na tym etapie badań neurobiologicznych oraz ko-
gnitywistycznych?
Mimo że badania neurobiologiczne niebezpośrednio stawiają sobie na celu znalezienie
NCC, to jednak często interpretacje wyników badań są na ten cel ukierunkowane. Nie-
stety propozycje formułowane przez tych badaczy znacznie odbiegają od siebie [Cha98b],
[Cha00]. Poza tym wyniki odkryć mają cały czas charakter lokalny i współwystępowanie
pewnych procesów neuronalnych (lub ich brak) jest tylko luz
nie związany z odpowied-
nimi stanami świadomości (lub ich brakiem), zatem trudno mówić na tym etapie badań
o korelacji. Możemy zapytać:  skoro w badaniach neurobiologicznych nie odnajdujemy
NCC, to jak się ma to, co odnajdujemy do NCC? Nazwiemy to biologicznymi modelami
procesów neuronalnych.
Z drugiej strony D. J. Chalmers pisze, że jeżeli nie znajdziemy NCC to pozostają nam
kognitywne korelaty świadomości (CCC?). Nie tłumaczy on explicite, co CCC znaczy, ale
implicite jest to aparat pojęciowy uzyskany za pomocą praw pomostowych, który opisuje
naturę świadomości. Jednak prace kognitywistyczne z zakresu problematyki świadomości
(również umysłu) też są rozbieżne ze względu na ujęcie tematu [Chl99]. Poza tym zawsze
mamy do czynienia z modelem świadomości, który w jakimś stopniu odbiega od tego co
modeluje. Nawet nie ma zgody na to, które dokładnie ssaki mogą posiadać świadomość
i na jakim etapie ewolucji się ona pojawiła. Znowu możemy zadać pytanie:  skoro z
globalnej dostępności nie dostajemy pełnego i wystarczającego opisu świadomości, to
jak się ma to, co dostajemy do świadomości? Nazwiemy to kognitywnymi modelami
procesów mentalnych8.
Utworzymy diagram z powyższych rozważań uwzględniając diagramy 4.1 oraz 4.2 z
poprzedniego podrozdziału.
kognitywne
prawa globalna praca
stany

(4.4)
korelaty
pomostowe
filozoficzna
dost�
epność
świadomość

świadomości
?
?
?


centralny biologiczne
praca

układ modele procesów
empiryczna
nerwowy neuronalnych
8
Zastrzegliśmy sobie, iż  mentalny odnosi się do tego co umysłowe oraz uświadamiane.
Rozdział 4. Filozoficzne wnioski 44
Praktyka badawcza związana jest z idealizacją, generalizacją oraz abstrakcją. Efekty
badań opisujemy i o ile to możliwe modelujemy. Powstały w ten sposób opis lub model
zawsze jest jakoś oddalony od tego co opisujemy lub modelujemy. Czym bardziej opis lub
model jest skomplikowany, czyli czym więcej uwzględnia cech opisywanego lub modelo-
wanego zjawiska, tym to oddalenie jest mniejsze. Diagram 4.4 uwzględnia to  oddalenie .
Jak należy zatem rozumieć relację między globalną dostępnością a procesami neuronalny-
mi lub ich modelami? Jeżeli modele (opisy) pośredniczą w rozumieniu zjawiska to relacja
też musi być pośrednia. Na podstawie obserwacji praktyki badawczej neurobiologów i ko-
gnitywistów możemy stwierdzić, że istnieje relacja między wynikami ich pracy (opisy lub
modele). Jest to relacja interpretacji i inspiracji. Neurobiolodzy interpretują swoje wyni-
ki przyporządkowując modelowane procesy neuronalne modelom kognitywnym procesów
mentalnych. Natomiast część kognitywistów tworzy modele procesów mentalnych, które
są inspirowane przez wyniki badań neurobiologicznych.
interpretacja

inspiracja inspiracja



kognitywne
biologiczne
procesy
minimalna stany

korelacja
modele procesów
modele procesów
konieczna
neuronalne
świadomości


mentalnych
neuronalne





komplikacja komplikacja

inspiracja
(4.5)
NCC jest szczególnym przypadkiem biologicznego modelu pewnych procesów neuronal-
nych. Natomiast dotychczasowe propozycje NCC to opisy lub modele pewnych procesów
neuronalnych, które przyporządkowuje się pewnym opisom lub modelom pewnych proce-
sów mentalnych na zasadzie swobodnej interpretacji. Opis procesów mentalnych wymaga
komplikacji tak, aby jak najwierniej opisywał stany świadomości. Można powiedzieć, że
modele kognitywne są inspirowane przez globalną dostępność stanów świadomości. Do-
piero po dłuższym okresie badań interpretacja pokryje się z definiowaną powyżej kore-
lacją 4.1.5. Wtedy interpretacja wystarczająco skomplikowanego modelu procesu neuro-
nalnego będzie oznaczała to samo co korelacja, o ile model procesów mentalnych będzie
też wystarczająco skomplikowany.
4.3 Koneksjonizm - problem korelatu zawartości świadomości
Zastanówmy się jaką rolę mógłby odegrać koneksjonizm wraz z językiem teorii ukła-
dów dynamicznych w zrozumieniu problemu korelatu świadomości. Poszerzymy diagram
4.4 o koneksyjne modele procesów neuronalnych, czyli takie modele jak przedstawiłem w
rozdziałach 1 oraz 2.
Rozdział 4. Filozoficzne wnioski 45
kognitywne
prawa globalna praca
stany

(4.6)
korelaty
pomostowe
filozoficzna
dost�
epność
świadomość
świadomości

inspiracja
centralny biologiczne
praca praca
koneksyjne korelaty

układ modele procesów
empiryczna matematyczna
świadomości
nerwowy neuronalnych
Opis empiryczny procesów neuronalnych umożliwia nam ich matematyczne modelowa-
nie. Na diagramie 4.6 widać relację pomiędzy wymienionymi dotąd elementami. Jeżeli
dodamy koneksyjne modele procesów neuronalnych (np. model pamięci asocjacyjnej) na-
leżałoby umieścić je pomiędzy kognitywnymi modelami procesów mentalnych (np. opis
symboliczny kojarzenia i rozpoznawania wzorców) a samymi procesami neuronalnymi
(np. procesy zachodzące między korą mózgową a hipokampem [Duc00]). Otrzymamy w
ten sposób poszerzoną wersje diagramu 4.5.
inspiracja interpretacja inspiracja

korelacja
biologiczne koneksyjne kognitywne
�
stany
wystarczajaca
modele procesów modele procesów modele procesów
konieczna
świadomości

neuronalnych neuronalnych mentalnych






komplikacja komplikacja

inspiracja
(4.7)
Interpretacja faktów empirycznych na gruncie kognitywistyki może być trafna lub nie.
A
atwiej jest pod względem metodologicznym w badaniach tworzyć modele (opisy) na
zasadzie inspiracji oraz komplikacji. Oczywiście zarówno koneksjonizm jak i kognitywi-
styka są inspirowane przez odkrycia neurobiologiczne. Pozbywamy się interpretacji, ale
zostawiamy inspirację. Proces badawczy przedstawiony w diagramie 4.7 będzie pole-
gał na komplikacji modelu biologicznego (4.5), koneksyjnego oraz kognitywnego. Wpro-
wadzenie modelu koneksyjnego do problemu korelatu świadomości pozwala odwzoro-
wać9jednoznacznie reprezentacje zawartości sztucznej sieci neuronowej na reprezentacje
zawartości w modelu kognitywnym. Wtedy relacja korelacji między modelem kognityw-
nym a koneksyjnym jest wystarczająca i konieczna. Właściwości sieci neuronowej będą
odpowiedzialne za wierne odtwarzanie procesów poznawczych natomiast modele neuro-
nów oraz ich połączeń powinny przybliżać pracę neuronów biologicznych. Przykładami
prac, w których jednoznaczne można odwzorować modele koneksyjne z modelami kogni-
tywnymi mogą być badania sieci neuronowych modelujących zaburzenia neuropsycholo-
giczne [Duc00]. Innymi przykładami bardziej pasującymi do  nowego koneksjonizmu to
9
Z ang. to map, mapping, patrz [Cha00].
Rozdział 4. Filozoficzne wnioski 46
prace wskazujące, że dynamika chaotyczna może modelować coraz to bardziej skompli-
kowane procesy neuronalne [Tsu02a], [Tsu02b], [Fre92], [HUKK97] lub [AA97]. Możemy
wyprowadzić stąd wniosek filozoficzny (metodologiczny) na temat formy NCC.
Zastanówmy się jak wyglądają reprezentacje zawartości w koneksyjnym modelu pro-
cesów neuronalnych. Pojęcia teorii chaosu wprowadzają szersze rozumienie atraktora w
sieciach neuronowych, niż standardowe koneksjonistyczne ujęcie (tam się rozważa tylko
atraktory punktowe i ich baseny przyciągania [Bor02]). Wiele prac neurobiologicznych
wskazuje na istotność procesów chaotycznych w mózgu [Tsu02a], [Tsu02b], [Fre92]. Są
też bezpośrednie dowody na to, że szeregi czasowe EEG mają właściwości chaotyczne
[PLPB97], [ALK+97]. Można powiedzieć, że następnym etapem komplikacji koneksyj-
nych modeli procesów neuronalnych jest wprowadzenie chaotycznych modeli sieci neu-
ronowych. Wtedy dla modelu koneksyjnego pamięci asocjacyjnej można jednoznacznie
skorelować pewne podzbiory atraktora z odpowiednią zawartością w modelu kognityw-
nym pamięci asocjacyjnej. Schematycznie przedstawia to diagram 4.8.
reprezentacje reprezentacje
zawartości zawartości

korelacja
(4.8)
w modelu w modelu
koneksyjnym kognitywnym





podzbiory
zapami�
etane

atraktora, gdzie korelacja
lub rozpoznane
Hi(t) = 0
wzorce
Komplikując modele koneksyjne w stronę biologicznych modeli zamiast atraktorów punk-
towych otrzymujemy atraktory o wiele bardziej skomplikowanej naturze. Baseny przy-
ciągania tych atraktorów są też o wiele ciekawsze w swojej budowie. Możemy uogólnić
naszą tezę o pamięci asocjacyjnej na inne przypadki sieci neuronowych i powiedzieć, że
reprezentacje zawartości w modelu koneksyjnym korelują się jednoznacznie z reprezen-
tacjami zawartości w modelu kognitywnym. Reprezentację zawartości w modelu konek-
syjnym rozumiemy jako trajektorię układu dynamicznego, którym jest sieć neuronowa.
Właściwości trajektorii korelują się z właściwościami reprezentacji zawartości w modelu
kognitywnym. Idee tą przedstawia diagram 4.9.
dynamiczne interakcje
własności składników

korelacja
(4.9)
trajektorii w procesu
sieci neuronowej poznawczego
Możemy zatem na tym etapie badań neurobiologicznych i koneksyjnych powiedzieć coś
na temat formy NCC.
Rozdział 4. Filozoficzne wnioski 47
Propozycja 4.3.1: NCC jest to trajektoria (orbita) zre-
konstruowana z pewnej populacji biologicznych neuro-
nowów.
Częstotliwość 40 Hz wyładowań pewnego ośrodka w mózgu [Cri97] mogłaby tu pasować,
jednak ze względu na szum i możliwy chaotyczny charakter badanych trajektorii może
być to tylko koniecznym warunkiem, ale nie minimalnym ani wystarczającym [Cha00].
Teoria dynamicznych układów wymienia wiele innych właściwości trajektorii. Badania
mózgu pod względem dynamicznych właściwości tego skomplikowanego układu są cał-
kiem nowe i należy jeszcze poczekać na wiążące rezultaty.
Podstawowym minusem takiego ujęcia koneksjnego problemu korelatu świadomości
jest możliwość badania sztucznych sieci neuronowych tylko o małej rozległości w stosunku
do już istniejących rozbudowanych modeli kognitywnych. Wiążą się z tym głównie pro-
blemy natury technicznej (zbyt wolne obliczenia i błędy numeryczne) oraz merytorycznej
(brak twierdzeń matematycznych). Trudno symulować pracę rozległej sieci ze względu
na brak kontroli nad szybko mnożącymi się błędami np. zaokrągleń. Takie sieci nawet w
najszybszych komputerach mogą wolno pracować. Poza tym jak dotąd nie ma dobrych
metod badawczych dla wielowymiarowych układów dynamicznych. Wiele twierdzeń ma-
tematycznych oraz numerycznych nie stosuje się w takich przypadkach. Komplikując
sztuczne sieci neuronowe tak, aby przypominały biologiczne wymaga wprowadzenia szu-
mu. Niestety trudno uzyskać dobry generator liczb losowych, taki aby po pewnym czasie
trwania symulacji nie fałszował wyników.
Drugi minus związany jest z badaniem dynamicznych własności samego mózgu. Jest
to silnie nieliniowy układ dynamiczny z szumem. Nadal istnieją trudności z badaniem
dynamiki mając same szeregi czasowe np. EEG. Rekonstruowanie trajektorii z szeregu
czasowego jest wymaga odszumienia surowych danych a potem ich wielokrotne przetwa-
rzanie. Nadal mamy zarówno barierę techniczną (dostępność do badanego mózgu) jak i
merytoryczną. Szczególnie ten drugi aspekt może mieć wpływ na nie znalezienie NCC.
Tak jak wyżej wspomniałem nie ma dobrych metod badawczych dla układów wielowy-
miarowych.
Należy zauważyć wymienione trudności związane badaniami układów dynamicznych
sprowadzają się do rozważań na temat rozwoju nauk ścisłych. Przezwyciężenie tych trud-
ności lub stwierdzenie, że są one nie do ominięcia związane jest z dalszym rozwojem na-
uk. Zatem przedstawiona propozycja formy NCC jest narażona na te same trudności co
dalsze neurobiologiczne odkrycia. Od kilku lat obserwuje się wprowadzanie metod ma-
tematycznych (numerycznych) do neurobiologii [Tsu02a], [Tsu02b], [Fre92], [PLPB97],
[ALK+97].Z czasem prawdopodobnie rozwój neurobiologii będzie uzależniony całkowicie
od rozwoju matematyki a tym samym forma NCC stanie się faktem.
ZAKOC
CZENIE
W rozdziale 1 przedstawiliśmy minimalny zestaw definicji i twierdzeń potrzebnych do
zrozumienia podstawowych idei teorii układów dynamicznych. Podana numeryczna meto-
da obliczania wykładników Lapunowa pozwala wraz z wykresem bifurkacyjnym określić,
czy układ jest chaotyczny czy też nie. Definicje i twierdzenia w całym rozdziale zostały
przewidziane do tego by zrozumieć tylko klasę dyskretnych układów dynamicznych oraz
sieci neuronowych z dyskretnym czasem. Tak samo przedstawione definicje i twierdzenia
teorii grafów pomagają zrozumieć tylko podstawy teorii obliczeń neuronowych oraz po-
dają warunek na to by graf skierowany mógł być szkieletem dla układu dynamicznego.
Prócz matematycznych podstaw teorii obliczeń neuronowych wprowadziliśmy podstawy
biologiczne. A
atwo pokazać jak badania nad sztucznymi sieciami neuronowymi są inspi-
rowane i komplikowane przez neurobiologię. Podaję również przykład prostego zadania
(pamięć asocjacyjna), które jest rozwiązywalne przez sieć neuronową i może być uważane
za elementarną funkcję układu poznawczego.
W rozdziale 2 wykorzystuje przedstawione w 1.4 modele neuronów [ATT90], [NS72]
oraz architekturę sieci [AA97] do zbudowania dwóch układów dynamicznych. Porównuję
ich właściwości dynamiczne oraz zdolność do rozpoznawania wzorców. Okazuje się, że te
dwa układy dynamiczne są do siebie podobne pod pewnymi względami podobne, mimo iż
jeden w ogóle nie przejawia zdolności chaotycznych. Na koniec podaję z
ródło programu,
który implementuje pracę dwóch opisanych sieci neuronowych oraz ich metody analizy.
Podsumowując wnioski filozoficzne możemy stwierdzić, że badania przedstawione w
rozdziale 2 istotnie pomagają zrozumieć formę NCC. Podałem w rozdziale 4 dotychcza-
sowe filozoficzne rozważania na temat NCC D. J. Chalmersa, aby w następnym kroku
rozważyć jakie miejsce tych rozważaniach zajmuje koneksjonizm. Nowe ujęcie koneksyjne
wyposaża nas w aparat pojęciowy teorii układów dynamicznych, który może pomóc lepiej
zrozumieć naturę neuronalnego korelatu świadomości. Modele koneksyjne i ich własności
dynamiczne pozwalają na pośrednie badania NCC. Taki proces badawczy wymaga wpro-
wadzenia pośrednich korelatów świadomości to znaczy koneksyjnych oraz kognitywnych.
Przyczynia się to do lepszego symulowania zdolności poznawczych podmiotu poznającego
oraz symulowania coraz to bardziej skomplikowanych procesów neuronalnych.
Dodatek A
NIECHAOTYCZNY DZIWNY ATRAKTOR
Fig. A.1: Wykres bifurkacyjny (kr, ś1(t)), gdzie 0.85 < kr < 1 oraz 150000 < t < 151000
t t
w przypadku: a) (X, FC), b) (X, FD).
Dodatek A. Niechaotyczny dziwny atraktor 50
Fig. A.2: Histogram dla ś1(t), gdzie 150000 < t < 300000 a kr jest równe po kolei od
t
lewej 0.91, 0.92, 0.93, 0.94, 0.95, 0.96, 0.97, 0.98 w przypadku: a) (X, FC), b)
t
(X, FD).
BIBLIOGRAFIA
[AA97] M. Adachi, K. Aihara. Associative dynamics in a chaotic neural networks.
Neural Networks, 10(1):83 98, 1997.
[ALK+97] L. I. Aftanasa, N. V. Lotovaa, V. I. Koshkarova, V. L. Pokrovskajaa, S. A.
Popova, V. P. Makhneva. Non-linear analysis of emotion eeg: calculation
of kolmogorov entropy and the principal lyapunov exponent. Neuroscience
Letters, 226:1316, 1997.
[Arn75] W.I. Arnold. Równania różniczkowe zwyczajne. Państwowe Wydawnictwo
Naukowe, Warszawa, 1975.
[ATT90] K. Aihara, T. Takabe, M. Toyoda. Chaotic neural networks. Physics Letters
A, 144:333 340, 1990.
[BG98] G. L. Baker, J. P. Gollub. Wstęp do dynamiki układów chaotycznych. Wy-
dawnictwo Naukowe PWN, Warszawa, 1998.
[Bor02] B. Borowik. Pamięci asocjacyjne. Wydawnictwo MIKOM, Warszawa, 2002.
[CA95] L. Chen, K. Aihara. Chaotic simulated annealing by a neural network model
with transient chaos. Neural Networks, 8:915 930, 1995.
[CA97] L. Chen, K. Aihara. Chaos an asymptotical stability in discrete-time neural
networks. Phisica D, 104:286 325, 1997.
[Cha95] D. J. Chalmers. Facing up to the problem of consciousness. Internet, 1995.
Department of Philosophy, University of Arizona, Tucson, USA.
[Cha97] D. J. Chalmers. A computational foundation for the study of cognition.
Internet, 1997. Department of Philosophy, University of Arizona, Tucson,
USA.
[Cha98a] D. J. Chalmers. Moving forward on the problem of consciousness. Internet,
1998. Department of Philosophy, University of Arizona, Tucson, USA.
Bibliografia 52
[Cha98b] D. J. Chalmers. On the search for the neural correlate of consciousness.
Internet, 1998. Department of Philosophy, University of Arizona, Tucson,
USA.
[Cha00] D. J. Chalmers. What is a neural correlate of consciousness? Internet, 2000.
Department of Philosophy, University of Arizona, Tucson, USA.
[Chl99] Z. Chlewiński. Wprowadzenie. Z. Chlewiński, redaktor, Modele Umysłu.
Zbiór tekstów, strony 7 15. Wydawnictwo Naukowe PWN, Warszawa, 1999.
[Chu] A. Chuderski. Wykorzystanie metod sztucznej inteligencji w badaniach nad
umysłem. Internet. http://kognitywistyka.prv.pl/.
[Cri97] F. Crick. Zdumiewająca hipoteza, czyli nauka w poszukiwaniu duszy. Pró-
szyński i S-ka, Warszawa, 1997.
[Dam99] A. R. Damasio. Błąd Kartezjusza. Dom Wydawniczy REBIS, Poznań, 1999.
[Den97] D. C. Dennett. Natura umysłów. Wydawnictwo CIS, Warszawa, 1997.
[DLZ02] Z. Ding, H. Leung, Z. Zhu. A study of the transiently neural network for com-
binatorial optimization. Mathematical and Computer Modelling, 36:1007
1020, 2002.
[Dor01] J. R. Dorfman. Wprowadzenie do teorii chaosu w nierównowagowej mecha-
nice statystycznej. Wydawnictwo Naukowe PWN, Warszawa, 2001.
[Duc00] W. Duch. Sieci neuronowe w modelowaniu zaburzeń neuropsychologicznych
i chorób psychicznych. W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusie-
wicz, redaktorzy, Sieci Neuronowe, wolumen 6, strony 589 616. Akademicka
Oficyna Wydawnicza EXIT, Warszawa, 2000.
[FKS87] S. W. Fomin, I. P. Kornfeld, J. G. Sinaj. Teoria ergodyczna. Państwowe
Wydawnictwo Naukowe, Warszawa, 1987.
[Fre92] W. J. Freeman. Tutorial on neurobiology: from single neurons to brain chaos.
International Journal of Bifurcation and Chaos, 2:451 482, 1992.
[GOPY84] C. Grebogi, E. Ott, S. Pelikan, J. A. Yorke. Strange attractors that are not
chaotic. Physica D, 13:261 268, 1984.
[HIA02] M. Hasegawa, T. Ikeguchi, K. Aihara. Solving large scale traveling salesman
problems by chaotic neurodynamics. Neural Networks, 15:271 283, 2002.
[HKP95] J. Hertz, A. Krogh, R. G. Palmer. Wstęp do teorii obliczeń neuronowych.
Wydawnictwa Naukowo-Techniczne, Warszawa, 1995.
Bibliografia 53
[HUKK97] O. Hoshino, N. Usuba, Y. Kashimori, T. Kambara. Role of iterancy as
dynamical map in distributed coding scheme. Neural Networks, 10:1375
1390, 1997.
[Jan80] L. Janiszewski. Czynności komórki nerwowej. Traczyk, redaktor, Neurofizjo-
logia, strony 63 84. PWN, Warszawa, 1980.
[Kor78] B. Korzan. Elementy teorii grafów i sieci. Metody i zastosowania. Wydaw-
nictwa Naukowo-Techniczne, Warszawa, 1978.
[Lon90] C. G. Longton. Computation at the edge of chaos: phase transition and
emergent computation. Physica D, 42:12 37, 1990.
[Mań00] J. Mańdziuk. Sieci neuronowe typu Hopfielda. Teoria i przykłady zastosowań.
Akademicka Oficyna Wydawnicza EXIT, Warszawa, 2000.
[MP90] W. S. McCulloch, W. Pitts. A logical calculus of the ideas immanent in
nervous activity. J. A. Anderson, E. Rosenfeld, redaktorzy, Neurocomputing:
foundations of research, strony 18 28. The MIT Press, Cambridge, MA, 1990.
[MRS90] B. Muller, J. Reinhardt, M. T. Strickland. Neural networks. An Inroduction.
Springer-Verlag, Berlin, 1990.
[NS72] J. Nagumo, S. Sato. On a response characteristic of a mathematica neuron
model. Kybernetic, 10:155 164, 1972.
[NS02] I. Nemoto, K. Saito. A complex-valued version of nagumo-sato model of a
single neuron and its behavior. Neural Networks, 15:833 853, 2002.
[Ott97] E. Ott. Chaos w układach dynamicznych. Wydawnictwa Naukowo - Tech-
niczne, Warszawa, 1997.
[PJS97a] H.-O. Peitgen, H. J�rgens, D. Saupe. Granice chaosu. Fraktale, wolumen II.
Wydawnictwo Naukowe PWN, Warszawa, 1997.
[PJS97b] H.-O. Peitgen, H. J�rgens, D. Saupe. Granice chaosu. Fraktale, wolumen I.
Wydawnictwo Naukowe PWN, Warszawa, 1997.
[PLPB97] H. Prei�l, W. Lutzenberger, F. Pulverm�ller, N. Birbaumer. Fractal dimen-
sions of short eeg time series in humans. Neuroscience Letters, 226:1316,
1997.
[Pyl89] Z. Pylyshyn. Computing in cognitive science. Foundations of Cognitive
Science. Bradford Books/MIT Press, Cambridge, MA, 1989.
Bibliografia 54
[Rei01] K. Reisdorph. Delphi 6. Przewodnik dla wszystkich zainteresowanych pro-
blematyką efektywnego tworzenia profesjonalnych aplikacji. Wydawnictwo
HELION, Gliwice, 2001.
[Rum99] D. E. Rumelhart. Architektura umysłu. podejście koneksyjne. Z. Chlewiń-
ski, redaktor, Modele Umysłu. Zbiór tekstów, strony 240 273. Wydawnictwo
Naukowe PWN, Warszawa, 1999.
[Sch95] H. G. Schuster. Chaos deterministyczny. Wprowadzenie. Wydawnictwo Na-
ukowe PWN, Warszawa, 1995.
[Szl82] W. Szlenk. Wstęp do teorii gładkich układów dynamicznych. Państwowe
Wydawnictwo Naukowe, Warszawa, 1982.
[Tsu02a] I. Tsuda. The plausibility of a chaotic brain theory. Departament of Mathe-
matics, Graduate School of Science, Hokkaido University, Sapporo, Japan,
2002.
[Tsu02b] I. Tsuda. Towards an interpretation of dynamic neural activity in terms of
chaotic dynamical systems. Departament of Mathematics, Graduate School
of Science, Hokkaido University, Sapporo, Japan, 2002.
[WSSV85] A. Wolf, J. B. Swift, H. L. Swinney, J. A. Vastano. Determining lyapunov
exponents from a time series. Phisica D, 16:285 317, 1985.