Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieci samoorganizujące

się

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wykrywanie grup

(clustering)

Przez grupowanie (clustering) rozumiemy
kojarzenie obiektów podobnych i oddzielanie różnych

Grupowanie prowadzi do zdefiniowania klas i jest
działaniem pierwotnym w stosunku do
klasyfikacji, czyli ustalania przynależności danego
obiektu do klasy uprzednio zdefiniowanej.

Sieć uczy się rozpoznawać
cechy wspólne sygnałów
wejściowych bez
nauczyciela.

Samouczenie może
doprowadzić do znalezienia
granic pomiędzy klasami
obrazów wejściowych

Podstawy Sztucznej Inteligencji

Jan Kusiak

Regularności, linie podziału na klasy, cechy
charakterystyczne sieć musi wykryć sama. Zmiana
parametrów sieci w czasie wykrywania tych cech jest
rodzajem samoorganizacji

Wykrywanie grup

Zbiór danych wejściowych musi być wystarczająco
liczny, by sieć mogła sama znaleźć klasy obiektów
(nadmiarowość danych wejściowych).

Zdolność sieci samouczących do wykrywania skupisk
obrazów wejściowych jest wykorzystywana do
wykrywania grup, gdy klasy nie są znane. Każda
informacja o liczbie grup (klas) lub podobieństwie
obrazów jest bardzo przydatna.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samouczenie może
doprowadzić do
znalezienia granic
pomiędzy klasami
obrazów
wejściowych

Z uwagi na brak informacji a priori o skupiskach, musi
być wbudowany mechanizm autoadaptacyjny.

Taką regułą adaptacji jest przykładowo zasada, że obraz
dodawany jest do tego skupiska, od centrum którego
leży najbliżej.

Wykrywanie grup

Podstawy Sztucznej Inteligencji

Jan Kusiak

Regularności, linie podziału na klasy, cechy
charakterystyczne sieć musi wykryć sama. Zmiana
parametrów sieci w czasie wykrywania tych cech jest
rodzajem samoorganizacji

Wykrywanie grup

Zbiór danych wejściowych musi być wystarczająco
liczny, by sieć mogła sama znaleźć klasy obiektów.

Zdolność sieci samouczących do wykrywania skupisk
obrazów wejściowych jest wykorzystywana do
wykrywania grup, gdy klasy nie są znane. Każda
informacja o liczbie grup (klas) lub podobieństwie
obrazów jest bardzo przydatna.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Istnieją sytuacje, gdy sieć
nie może się sama nauczyć,
bez nauczyciela lub bez
dodatkowej informacji o
analizowanym problemie.

Przykładem mogą być obrazy
występujące w zwartym
skupisku, bez wyraźnych
granic pomiędzy klasami.

Wykrywanie grup

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła jest prosta:

Im mniejsza odległość, tym większe

podobieństwo.
Po obliczeniu odległości pomiędzy wszystkimi parami
obrazów można wybrać odległość progową T,
dyskryminującą grupy. Na rysunku są 2 grupy i
odległość progowa T (odległość euklidesowa) jest
większa niż maksymalna odległość wewnątrz grupy i
mniejsza od odległości między obiektami należącymi
do tych grup.

Wykrywanie grup

Najpopularniejszą miarą
podobieństwa obrazów jest
odległość euklidesowa:

)

(

)

(

i

T

i

i

x

x

x

x

x

x









Przez grupowanie rozumiemy kojarzenie obiektów podobnych.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Gdy cos y

2

> cos y

1

(y

2

< y

1

), obraz x jest bardziej

podobny do x

2

niż do x

1

i należy go zaliczyć do grupy

drugiej. W tym celu należy wybrać kąt progowy
odpowiadający maksymalnej rozwartości kątowej
grupy. Powyższe kryterium podobieństwa jest
skuteczne tylko wtedy, gdy długości wektorów są
znormalizowane x, x

1

i x

2

Istnieje szereg algorytmów

wykrywania grup.

W sytuacji jak na rysunku
lepsza jest kątowa miara
podobieństwa:

Wykrywanie

grup



cos



i



x

T

x

i

x x

i

)

(

cos

cos

1

2

1

2













Podstawy Sztucznej Inteligencji

Jan Kusiak

A co będzie w następującej
sytuacji?

Wykrywanie

grup

x nie jest bardziej podobny
do pozostałych punktów w
grupie.

1

cos

czyli

2

1















Aby tego uniknąć, sygnały
wejściowe należy poddać
normalizacji

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne

Uczenie rywalizacyjne (competitive learning) jest
również metodą uczenia sieci samoorganizujących.

Neurony na początku mają przypadkowe wartości
wag. Następnie, na podstawie prezentowanych
danych, „uczą się” rozpoznawać te dane i zbliżają
się odpowiednio do obszarów zajmowanych przez
te dane.

Po każdej prezentacji wzorca x(k) zwycięzcą zostaje
tylko jeden neuron, najbliższy (w sensie ustalonej
metryki) prezentowanemu wzorcowi.

Neurony rywalizują między sobą, a„neuron
wygrywając” jest jedynym pobudzanym przy
konkretnej obserwacji wejściowej.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne

1

K

k

y

1

y

k

y

K

x

1

x

j

x

J

.

.

.

.

.

.

.

.

.

.

.

.

neuron

"zwycięski"

W zależności od aktualnych wartości
wag, sygnały wyjściowe różnią się
między sobą.
Wartości tych sygnałów są
porównywane i zwycięża ten neuron,
którego wartość jest największa.
Neuron „zwycięzca” przyjmuje na
swoim wyjściu stan 1, a pozostałe
neurony (neurony „przegrywające”)
stan 0.

Grupa współzawodniczących K neuronów otrzymuje te same
sygnały wejściowe x.

Wagi neuronu „zwycięzcy” są dostrajane w danym kroku
uczenia.
Taka metoda uczenia jest przykładem tzw. nauki z rywalizacją
(competitive learning) bez nauczyciela.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przypuśćmy, że w tej konkurencji zwyciężył neuron o
numerze c. Ma on prawo uaktualnić swoje wagi wg
jednej z dwóch zasad:
• WTM – Winner Takes Most
• WTA – Winner Takes All

Uczenie rywalizacyjne

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne WTA

Zasada WTA - tylko neuron zwycięski (oznaczany
indeksem c, od conqueror) uaktualnia swe wagi, tzn.
zbliża się do wektora x(k). Wagi zwycięskiego
neuronu mogą zostać uaktualnione np. na podstawie
wzoru Kohonena:

€

wc(k+1) =wc(k)+η(k) x(k)−wc(k)

[

]

Współczynnik uczenia η(k) jest na ogół malejącą
funkcją numeru iteracji k

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne WTA i WTM

• W efekcie współzawodnictwa następuje

samoorganizacja procesu uczenia.

• Neurony dopasowują swoje wagi w ten sposób, że przy

prezentacji grup wektorów wejściowych zbliżonych do
siebie zwycięża zawsze ten sam neuron. Neuron,
poprzez zwycięstwo we współzawodnictwie
rozpoznaje swoją kategorię.

• Ogólnie: Przy podaniu na wejście sieci wielu wektorów

zbliżonych do siebie będzie zwyciężać ciągle ten sam
neuron, w wyniku czego jego wagi będą odpowiadać
uśrednionym wartościom wektorów wejściowych, dla
których dany neuron był zwycięzcą.

• Neurony nie wygrywające nie zmieniają swoich wag –

pozostają martwe

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła uczenia WTA

1

K

k

y

1

y

k

y

K

x

1

x

j

x

J

w

11

w

k1

w

K1

w

1j

w

1J

w

k1

w

kj

w

Kj

w

kJ

w

KJ

.

.

.

.

.

.

.

.

.

.

.

.

neuron

"zwycięski"

Numer k wygrywającego neuronu ustala
się na podstawie kryterium:



w

k

T

x  max

i1,2,...,K

(w

i

T

x)

Zależność ta wykrywa największy
spośród skalarnych iloczynów
wektorów wag z wektorem
wejściowym, czyli wskazuje wektor
wag najbliższy wejściowemu.

€

a=wTx= w x cos(ϕ)

x

w

φ

Gdy φ = 0, cos(φ ) = 1 = max

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła uczenia WTA

1

K

k

y

1

y

k

y

K

x

1

x

j

x

J

w

11

w

k1

w

K1

w

1j

w

1J

w

k1

w

kj

w

Kj

w

kJ

w

KJ

.

.

.

.

.

.

.

.

.

.

.

.

neuron

"zwycięski"

Numer k wygrywającego neuronu ustala
się na podstawie kryterium:



w

k

T

x  max

i1,2,...,K

(w

i

T

x)

Zależność ta wykrywa największy
spośród skalarnych iloczynów
wektorów wag z wektorem
wejściowym, czyli wskazuje wektor
wag najbliższy wejściowemu.

W myśl tej reguły następuje korekta wektora wag sygnałów
zbiegających się do wejścia zwycięskiego neuronu k (linie
pogrubione na rysunku)

€

wk = wk1,wk2,K ,wkJ

[

]T

Podstawy Sztucznej Inteligencji

Jan Kusiak

Algorytm uczenia WTA

1. Na wstępie przyjmuje się losowe, znormalizowane względem 1

wartości wag poszczególnych neuronów.

2. Po podaniu pierwszego wektora wejściowego x wyłaniany jest

zwycięzca o numerze k.

Wektor wag neuronu zwycięzcy jest zwiększany o ułamek różnicy x-
w, w wyniku czego w następnych krokach lepiej odtwarza
rozpatrywany wektor wejściowy (α > 0 jest dodatnim
współczynnikiem, malejącym w miarę postępu nauki)



w

kj

(t1) w

kj

(t)



[x

j

 w

kj

(t)]

x

w(t)

w(t+1)

α(x-w(t))

x-w(t)

3. Aktualizacja wag neuronu zwycięzcy

(neurony przegrywające mają na
wyjściu stan zero, co blokuje proces
aktualizacji ich wag).
Aktualizacja wag według tzw. reguły
Kohonena :

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła uczenia WTA

Przed rozpoczęciem uczenia wektory wag są
normalizowane:

p

i

i

i

i

,

,

2

,

1

,

ˆ







w

w

w

Do korekcji kwalifikowany jest wektor taki, że:

m

w

ˆ

Korekcja wektora

ma na celu zbliżenie go do

typowego reprezentanta grupy m.

m

w

ˆ

i

p

i

m

w

x

w

x

ˆ

min

ˆ

,

2

,

1







 

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła uczenia WTA

Sygnał wyjściowy a

i

i-tego neuronu, można opisać zależnością

wektorową:

€

a

i

=wTx= w x cos(ϕ)

Neurony przegrywające nie zmieniają swoich wag, dopóki nie
zwyciężą przy następnej prezentacji wektora wejściowego.

Ponieważ ||w|| = ||x|| = 1, o wartości sygnału
wyjściowego a

i

decyduje różnica kątowa między

wektorami x oraz w,
bo a

i

= cos(φ

i

).

x

w

φ

Zwycięża zatem ten neuron, którego wektor wag
jest najbliższy aktualnemu wektorowi uczącemu
x.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Reguła uczenia WTA

Przy podaniu na wejście sieci wielu wektorów zbliżonych do
siebie, zwyciężać będzie ciągle ten sam neuron, w wyniku czego
jego wagi odpowiadać będą uśrednionym wartościom wektorów
wejściowych, dla których dany neuron był zwycięzcą.

W wyniku takiego współzawodnictwa następuje samoorganizacja
się sieci.

Neurony dopasowują swoje wagi w ten sposób, że przy
prezentacji grup wektorów wejściowych zbliżonych do siebie
zwycięża zawsze ten sam neuron.

W trybie pracy normalnej, odpowiedni neuron poprzez
zwycięstwo we współzawodnictwie rozpoznaje swoją
kategorię.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieć złożona z 4 neuronów typu WTA do klasyfikacji
wektorów dwuelementowych (wg książki Osowskiego)

x

1

x

2

w

11

w

21

w

31

w

41

y

1

y

2

y

3

y

4

w

12

1

2

3

4

1

2

Wektory uczące,
znormalizowane:

Przykład WTA1



X

1



0.97

0.2









 X

2



1.00

0.0











X

3



 0.72

0.7









 X

4



 0.67

0.74











X

5



 0.8

0.6









 X

6



0.0

 1.0











X

7



0.2

 0.97









 X

8



 0.3

 0.95

































Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład WTA1, c.d.

Przebieg uczenia:

- Kółka oznaczają kolejne

położenia wektorów wag
neuronów
zwyciężających,

- linie oznaczają wektory.
Widać, że jedynie 3
neurony zwyciężały w
procesie uczenia. Neuron
czwarty pozostał martwy
(nigdy nie zwyciężył) i nie
dopasował się do żadnej
kategorii wektorowej.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład WTA1, c.d.

Uczenie sieci ze współczynnikiem uczenia =0.05
pozwoliło po 320 cyklach uczących uzyskać wagi 3
pierwszych neuronów:

€

W1=

0.9904

−0.0656

⎡
⎣

⎢

⎤
⎦

⎥ W2 =

−0.7314

0.6786

⎡
⎣

⎢

⎤
⎦

⎥ W2 =

0.0276

−0.9790

⎡
⎣

⎢

⎤
⎦

⎥

Odzwierciedlają one 3
kategorie wektorów
wejściowych: (x

1

,x

2

),

(x

3

,x

4

, x

5

), (x

6

,x

7

, x

8

) na

które samoczynnie
podzielony został zbiór
wejściowy.



X

1



0.97

0.2









 X

2



1.00

0.0











X

3



 0.72

0.7









 X

4



 0.67

0.74









 X

5



 0.8

0.6











X

6



0.0

 1.0









 X

7



0.2

 0.97









 X

8



 0.3

 0.95





























Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład WTA1, c.d.

Przebieg procesu
uczenia:

Kółkami zaznaczono
kolejne położenia
wektorów wag
neuronów
zwyciężających we
współzawodnictwie, a
liniami - wektory
liniowe. Jedynie 3
neurony zwyciężały w
procesie uczenia.
Neuron czwarty
pozostał martwy i nie
dopasował się do
żadnej kategorii.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zbiór 80 danych o wartościach losowych, ale
pogrupowanych
w 8-miu kategoriach

Przykład WTA2

Zadaniem sieci WTA
jest sklasyfikowanie
tych punktów w klasy

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieć ma dwa neurony wejściowe (dane wejściowe są
dwuwymiarowe – współrzędne punktów
reprezentujących dane wejściowe).

Przykład WTA2, c.d.

Początkowe wartości
wag wynoszą 0.5

Warstwa wyjściowa
ma 8 neuronów.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Po ok. 100 iteracjach, współrzędne wag wskazują
grupy danych wejściowych

Przykład WTA2, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieć Kohonena (1988) klasyfikuje wektory wejściowe na
p kategorii wykrytych podczas grupowania zbioru
uczącego.

Klasyfikator Kohonena

W wyniku rywalizacji
podczas uczenia, sieć
podlega samoorganizacji (w
każdym kroku korygowany
jest tylko wektor wag
najbardziej podobny do
uczącego – metoda WTA)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Załóżmy, że w danym kroku znormalizowany wektor
wejściowy daje największy iloczyn skalarny z
wektorem .

m

w

x ˆ



m

w

ˆ

m

w

ˆ

'

m

w

Klasyfikator Kohonena

xˆ

części różnicy
otrzymujemy wektor
skorygowany obrócony
w kierunku x, lecz o
długości mniejszej niż 1.

Przed kolejnym krokiem
uczenia trzeba go
znormalizować.

Po dodaniu do

Podstawy Sztucznej Inteligencji

Jan Kusiak

Po zakończeniu uczenia
znormalizowane wektory
wag wskazują środki
ciężkości wykrytych grup
obrazów ze zbioru
uczącego, a więc sieć
organizuje się z
uwzględnieniem
prawdopodobieństwa
(częstości) pojawiania się
obrazów wejściowych, jak
na rysunku dla wektorów
trójwymiarowych
należących do 3 klas.

Klasyfikator Kohonena

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przebieg uczenia się
podziału obrazów na 2
grupy. Znormalizowany
zbiór uczący złożony z 5
wektorów:



















































































8

.

0

6

.

0

,

9397

.

0

3420

.

0

,

707

.

0

707

.

0

,

9848

.

0

1736

.

0

,

6

.

0

8

.

0

,

,

,

,

5

4

3

2

1

x

x

x

x

x

Przykład K1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zadaniem 2 neuronów jest identyfikacja dwóch
możliwych grup. Wartości początkowe
znormalizowanych wektorów wag:





























0

1

0

1

0

2

0

1

w

w

Podczas uczenia ciąg uczący jest podawany
wielokrotnie we wskazanej kolejności. Stosujemy
regułę Kohonena z a=0.5.

Przykład K1, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

W pierwszym kroku uczenia zwyciężył pierwszy
neuron i jego wagi zostały skorygowane. Otrzymujemy
wartości wektorów wag:





























0

1

316

.

0

948

.

0

1
2

1

1

w

w

Można to lepiej zobaczyć stosując zapis we
współrzędnych biegunowych. Zbiór uczący ma postać:



































13

.

53

1

,

70

1

,

45

1

,

80

1

,

87

.

36

1

,

,

,

,

5

4

3

2

1

x

x

x

x

x

Przykład K1, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Dla dużej liczby iteracji k wektory wag stabilizują się
na wartościach:

)

(

2

1

75

1

)

(

3

1

45

1

4

2

2

5

3

1

1

x

x

w

x

x

x

w

























czyli wskazują środki ciężkości wykrytych 2 grup.

Przykład K1, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przebieg procesu uczenia
można prześledzić w tabeli:

Przykład K1, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wektor w

1

przyjmując wartość

W drugim kroku ponownie zwycięża pierwszy neuron,
w wyniku czego

A wektor w

2

ma nadal wartość







46

.

18

1

1

1

w

obrócił się od położenia początkowego



0

1

ku potencjalnej grupie w pierwszym kwadrancie.
Wektor w

2

pozostał nie zmieniony.









77

.

30

1

2

1

w









180

1

2

2

w

Przykład K1, c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie rywalizacyjne WTM

Zasada WTM - neuron zwycięski oraz neurony
sąsiadujące z neuronem zwycięskim, czyli należące
do sąsiedztwa N

c

(k), aktualizują swoje wagi według

zasady:

€

wi(k+1) =wi(k)+η(k)G(i,c) x(k)−wi(k)

[

], i ∈ Nc(k)

Funkcja G oznacza tu wpływ sąsiedztwa.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład uczenia się neuronów dla danych należących
do R

2

może być zrealizowany dla danych należących

do dowolnego zbioru punktów w R

d

. W trakcie

procesu uczenia neurony starają się uplasować pośród
tych punktów–danych i stać się ich reprezentantami.
W ten sposób cała przestrzeń zostaje podzielona na
obszary atrakcji odzwierciedlające strefy wpływów
poszczególnych neuronów. W przypadku używania
metryki euklidesowej są to obszary wypukłe, które są
nazywane są czasem wielobokami Voronoia, a
reprezentujące je wektory — wektorami Voronoia.
Obszary Voronoia V

i

są zdefiniowane jako miejsce

geometryczne punktów x spełniających następujący
warunek:

Kwantyzacja przestrzeni danych
(wieloboki Voronoi)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wieloboki Voronoia utworzone przez 7 wektorów
kodowych na prostokącie z metryką euklidesową

Kwantyzacja przestrzeni danych
(wieloboki Voronoi)

Używanie różnych metryk daje różne postaci
obszarów atrakcji.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Kohonen nazwał proces tworzenia reprezentantów
danych kwantowaniem wektorowym (Vector
Quantization), lub dokładniej: adaptacyjnym
kwantowaniem wektorowym (LVQ, Learning Vector
Quantization).
Wektory wagowe neuronów zostały przez Kohonena
nazwane słowami kodowymi, codebook vectors, a ich
zbiór — książką
kodową, codebook
W ten sposób cała przestrzeń danych została
skwantowana; a wektory danych należące do jednego
wieloboku Voronoia można zastąpić odpowiadającym
mu słowem kodowym.

Kwantyzacja przestrzeni danych
(wieloboki Voronoi)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieci Kohonena

(samoorganizujące się)

(Self Organizing Maps – SOM)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieci SOM

Sieci samoorganizujące (SOM-y, Self Organizing
Maps) realizują głównie dwa zadania:

•Wektorowej kwantyzacji (kompresji danych),

•Odtwarzanie przestrzennej organizacji danych

wejściowych

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieci Kohonena

Przykładem sieci
samoorganizującej
się jest sieć
Kohonena.

Sieci Kohonena
(1988), to sieci
samoorganizujące
się, które uczą się
przy pomocy
algorytmu Kohonena

Jest to sieć jednokierunkowa, złożona z jednej
warstwy (matrycy, mapy) w której neurony ułożone
są w pewnym porządku topologicznym (np. wiersze i
kolumny). Mapa jednowymiarowa to po prostu jeden
wiersz (kolumna) neuronów.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizująca się Mapa cech

(SOM)

Mapa cech ilustruje istotne statystycznie parametry (cechy)
przestrzeni sygnałów wejściowych. Nauczona sieć działa w ten
sposób, że po prezentacji wektora wejściowego x, mapa cech Φ
wskazuje neuron I(x) w przestrzeni wyjść, a wektor wag w

I(x)

dostarcza informacji o współrzędnych obrazu tego neuronu w
przestrzeni wejściowej. Zadaniem jest nauczenie sieci będącej mapą
cech i reprezentującej ciągłą przestrzeń wektorów wejściowych.

Mapa cech ma niższy
wymiar i jest mapą
dyskretną w
przestrzeni wyjściowej
utworzonej z
neuronów
uporządkowanych w
postaci matrycy.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizująca się Mapa cech

(SOM)

Sieci samorganizujące się (SOMy), opracowane przes
prof. Tuevo Kohonena, wykorzystywane są często do
wizualizacji danych wielowymiarowych. Pozwalają na
zredukowanie wymiaru analizowanych danych poprzez
samouczenie się sieci.
• SOMy stanowią narzędzie ułatwiające zrozumienie

(analizę) danych wielowymiarowych (nasze zmysły
odczytują jedynie wizualizację max. trzech
wymiarów).

• SOMy dokonują redukcji wymiarów danych poprzez

tworzenie map, zazwyczaj jedno- lub dwu-
wymiarowych, które przedstawiają graficznie
podobieństwo analizowanych danych grupując
podobne dane razem.

• SOMy realizują więc dwa zadania: redukują wymiar

danych i ilustrują graficzne podobieństwo między
nimi.

wg Tom Germano

Podstawy Sztucznej Inteligencji

Jan Kusiak

Mapa cech - ilustracja

Przykład

(Larose: Data Mining)

Sieć samoorganizująca do
grupowania rekordów względem
dwóch zmiennych (atrybutów): wiek
i dochód

Wartości zmiennych są normalizowane.

Każda wartość z każdej zmiennej jest
kierowana do każdego neuronu
warstwy wyjściowej (tutaj: krata 2 x 2)

Te wartości, łącznie z wagami poszczególnych połączeń
wyznaczają wartość tzw. funkcji decyzyjnej (np. odległość
euklidesowa pomiędzy wektorem wejściowym a wektorem wag)
dla każdego neuronu wyjściowego.

Neuron wyjściowy z „najlepszą” wartością funkcji decyzyjnej
staje się neuronem wygrywającym

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizująca sieć (SOM) –WE

i WY

• WE: dane uczące – wektory x

- Wektory o długości n, złożone z liczb rzeczywistych

€

x1,1 x1,2 K x1,n

x2,1 x2,1 K x2,n

M

xp,1 xp,2 K xp,n

⎫

⎬

⎪

⎪

⎪

⎭

⎪

⎪

⎪

pwektorów

uczacych

• WY:

- Wektor y o długości m: (y

1

, y

2

, ..., y

m

)

- Każdy z p wektorów danych uczących x jest

klasyfikowany do jednej z m klas (klasterów)

Zadania sieci:

• Do jakiej klasy zostanie przypisany dany wektor

uczący?

• Generalizacja: Do jakiej klasy zostanie

zakwalifikowany nowy wektor (x

j,1

, x

j,2

, ..., x

j,p

)

wg Hackl

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM – architektura

Jeden wektor wag o długości n skojarzony z każdym z
neuronów wyjściowych

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM

Wg Fausett (1994)

n=4, m=2

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

Zadaniem sieci jest klasteryzacja danych wejściowych.
Ile jest klas wśród danych wejściowych?

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM - Działanie

Dane uczące:

i1: (1, 1, 0, 0)
i2: (0, 0, 0, 1)
i3: (1, 0, 0, 0)
i4: (0, 0, 1, 1)

Wagi:

Neuron1:
Neuron2:

€

0

0 0.5 1.0

1.0 0.5 0

0

⎡
⎣

⎢

⎤
⎦

⎥

Podobieństwo (odległość) poszczególnych sygnałów
wejściowych i neuronów. Odległość Euklidesowa

€

d2 =

ii,k −wj,k(t)

(

)

2

k=1

n

∑

Sygnał wejściowy i1:
Odległość sygnału i1 oraz neuronu 1:
(1-0)

2

+ (1-0)

2

+ (0-0.5)

2

+ (0-1.0)

2

= 3.25

Odległość sygnału i1 oraz neuronu 2:
(1 - 1)

2

+ (1-0.5)

2

+ (0-0)

2

+ (0-0)

2

= 0.25 (

neuron zwycięzca)

i – nr sygnału WE,
j – nr neuronu WY,

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM - Działanie

Dane uczące:

i1: (1, 1, 0, 0)
i2: (0, 0, 0, 1)
i3: (1, 0, 0, 0)
i4: (0, 0, 1, 1)

Wagi:

Neuron1:
Neuron2:

€

0

0 0.5 1.0

1.0 0.5 0

0

⎡
⎣

⎢

⎤
⎦

⎥

Sygnał wejściowy i2:
Odległość sygnału i2 oraz neuronu 1:
(0-0)

2

+ (0-0)

2

+ (0-0.5)

2

+ (1-1.0)

2

= 0.25 (

neuron zwycięzca)

Odległość sygnału i2 oraz
neuronu 2:
(0 - 1)

2

+ (0-0.5)

2

+ (0-0)

2

+ (1-

0)

2

= 2.25

Podobnie: odl. I3 vs. N1 - 2.25; i3 vs. N2 –

0.25

odl. I4 vs. N1 –

0.25

; i4 vs. N2 – 3.25

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM - Działanie

Dane uczące:

i1: (1, 1, 0, 0)
i2: (0, 0, 0, 1)
i3: (1, 0, 0, 0)
i4: (0, 0, 1, 1)

Wagi:

Neuron1:
Neuron2:

€

0

0 0.5 1.0

1.0 0.5 0

0

⎡
⎣

⎢

⎤
⎦

⎥

Sygnał WE

WY - Neuron 1

WY – Neuron 2

i1

zwycięski

i2

zwycięski

i3

zwycięski

i4

zwycięski

Wniosek:
Sieć dzieli dane wejściowe: i2, i4 – klasa1; i1 i i3 – klasa2;

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM - Działanie

Dane uczące:

i1: (1, 1, 0, 0)
i2: (0, 0, 0, 1)
i3: (1, 0, 0, 0)
i4: (0, 0, 1, 1)

Wagi:

Neuron1:
Neuron2:

€

0

0 0.5 1.0

1.0 0.5 0

0

⎡
⎣

⎢

⎤
⎦

⎥

Jak sieć zadziała na inne sygnały niż sygnały uczące?

Nowy wektor wejściowy: i5: (1, 1, 1, 0)

Odległość sygnału i5 oraz neuronu 1:
(1 - 0)

2

+ (1- 0)

2

+ (1- 0.5)

2

+ (0 -1)

2

= 3.25

Wniosek: Sieć sklasyfikuje i5 do klasy 2 (tej samej
co i1 i i3).
(Prawidłowo, bo i5 jest bliższe do i1 oraz i3 wg normy
euklidesowej)

Do której klasy zostanie zakwalifikowany przez sieć?

Odległość sygnału i5 oraz neuronu 2:
(1 - 1)

2

+ (1-0.5)

2

+ (1-0)

2

+ (0-0)

2

= 1.25 (neuron

zwycięzca

)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie sieci

samoorganizujących się

Sieci samoorganizujące się (SOM) podlegają trzem
charakterystycznym procesom:

1. Rywalizacja. Neurony wyjściowe rywalizują ze sobą, by

uzyskać najlepszą wartość danej funkcji decyzyjnej
(najczęściej odległości decyzyjnej – odległości między danymi
wejściowymi a wagami). Wynikiem jest znalezienie neuronu
zwycięzcy.

2. Współdziałanie. Neuron zwycięzca staje się środkiem

sąsiedztwa pobudzonych neuronów.

3. Adaptacja. Neurony z otoczenia neuronu wygrywającego

uczestniczą w adaptacji, czyli w uczeniu się. Wagi tych
neuronów są tak dopasowywane, aby zwiększyć jak
najbardziej wartość funkcji decyzyjnej. W ten sposób
neurony te będą miały większe szanse na ponowne wygranie
rywalizacji w przypadku pojawienia się podobnego rekordu
wejściowego

Podstawy Sztucznej Inteligencji

Jan Kusiak

Algorytm Kohonena uczenia SOM

• Wybór topologii warstwy wyjściowej sieci

• Dobór promienia sąsiedztwa G(0) (wartość

dodatnia)

• Inicjacja wartości wag pomiędzy WE i WY (małe,

wartości losowe)

• t=1

• Dopóki warunek stopu nie jest spełniony, wykonuj:
{

1. Wybierz pierwszy wektor wejściowy i

l

2. Oblicz kwadrat odległości euklidesowej

pomiędzy i

l

a wektorem wag w

j

związanych z

każdym z węzłów warstwy wyjściowej:

€

d2 =

il,k −wj,k(t)

(

)

2

k=1

m

∑

3. Wybór węzła wyjścia j* dla którego wektor wag

daje najmniejszą wartość odległości obl. w kroku
2.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Algorytm Kohonena uczenia SOM

3. Uaktualnienie wag wszystkich węzłów

znajdujących się w odległości topologicznej G(t)
od węzła j* wg zależności:

€

wj(t+1) =wj(t)+η(t)(il −wj,k(t))

4. t = t + 1
}

Współczynnik prędkości uczenia zwykle maleje:

€

0<η(t) <η(t−1) <1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Wg Fausett (1994)

n=4, m=2

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

Czego spodziewamy się na wyjściu sieci?

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Jakie są odległości euklidesowe pomiędzy danymi wejściowymi
(uczącymi)?

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

Czego spodziewamy się na wyjściu sieci?

i1

i2

i3

i4

i1

0

i2

3

0

i3

1

2

0

i4

4

1

3

0

Najbliższe sobie są i1- i3; i2 – i4

€

d2 =

il,k −ij,k

(

)

2

k=1

n

∑

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

•Zakładamy, że sąsiedztwo wynosi D=0. Czyli tylko

wagi połączone z neuronem zwycięskim będą
aktualizowane.

• Przyjmujemy następujące prędkości uczenia:

€

η(t) =0.6; 1≤t ≤4

η(t) =0.5η(1); 5≤t ≤8

η(t) =0.5η(5); 9≤t ≤12

M

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

€

d2 =

il,k −wj,k(t)

(

)

2

k=1

n

∑

•Zakładamy, przypadkowe wartości macierzy wag

(między 0 i 1)

Neuron1:
Neuron2:

€

0.2 0.6 0.5 0.9
0.8 0.4 0.7 0.3

⎡
⎣

⎢

⎤
⎦

⎥

• Aktualizacja wag neuronu zwycięskiego:

€

wj(t+1) =wj(t)+η(t)(il −wj,k(t))

Zadanie: Policzyć aktualizacje wag dla czterech kolejnych iteracji

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Dane uczące:

I1: (1, 1, 0, 0)
I2: (0, 0, 0, 1)
I3: (1, 0, 0, 0)
I4: (0, 0, 1, 1)

•Sygnał i1, Neuron 1:

Neuron1:
Neuron2:

€

0.2 0.6 0.5 0.9
0.8 0.4 0.7 0.3

⎡
⎣

⎢

⎤
⎦

⎥

• Aktualizacja wag neuronu zwycięskiego:

(1 – 0.2)

2

+ (1-0.6)

2

+ (0-0.5)

2

+ (0-0.9)

2

=

1.86

•Sygnał i1, Neuron 2:

(1 – 0.8)

2

+ (1-0.4)

2

+ (0-0.7)

2

+ (0-0.3)

2

= 0.98

(

neuron zwycięzca

)

[0.8 0.4 0.7 0.3] + 0.6([1 1 0 1] – [0.8 0.4 0.7 0.3]) =
= [.92 .76 .28 .12]

itd.............

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład SOM – Uczenie sieci

Neuron1:
Neuron2:

€

0.0 0.0 0.5 1.0

1.0 0.5 0.0 0.0

⎡
⎣

⎢

⎤
⎦

⎥

Neurony zwycięskie po czterech iteracjach (prezentacji
4 danych uczących)

Time (t)

1

2

3

4

D(t)

h

Neuron

2

0

0.6

Neuron1

0

0.6

Neuron

2

0

0.6

Neuron

1

0

0.6

Wynik uczenia (kilkadziesiąt epok uczenia)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład 1D

Jednowymiarowa SOM.
Zadanie – mapa ma reprezentować dane z przestrzeni wejściowej.
Matryca (o 10 węzłach) ma odwzorowywać topologię sygnałów
przestrzeni wejść.

Dane wejściowe – 100 punktów rozłożonych równomiernie na
promieniu okręgu

WE: x=(0.95, 0.1)

WY: a = 1 dla węzła 10

10

1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład 1D – realizacja MATLAB

%% Przykład 1D działania SOM
% Generowanie 100 punktów na promieniu r=1

angles = 0:0.5*pi/99:0.5*pi;
P = [sin(angles); cos(angles)];
plot(P(1,:),P(2,:),'+r')
hold on;
% Mapa SOM 1D o 10-ciu neuronach
net = newsom([0 1;0 1],[10]);
net.trainParam.epochs = 10;
net = train(net,P);
plotsom(net.iw{1,1},net.layers{1}.distances)
pause;
% Testowanie SOM
p = [0.95;0.1];
a = sim(net,p)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech
istotnych

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Ekstrakcja cech jest istotna w zagadnieniach
obróbki obrazów podlegających klasyfikacji lub
rozpoznawaniu.

W jej wyniku dane wejściowe transformowane są z
wielowymiarowej przestrzeni obrazów w
małowymiarową przestrzeń ich cech
charakterystycznych.

Wykorzystanie samoorganizujących się sieci do
wydobywania i odwzorowywania istotnych cech
obrazów wejściowych (tzw. Self Organizing Feature
Mapping SOFM).

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Obrazy w przestrzeni obrazowej mogą być ułożone
na dwa sposoby:
- mogą wykazywać pewną zauważalną, harmonijną
strukturę

- lub jej nie wykazywać

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Odwzorowywanie cech istotnych interesuje nas w 2
aspektach:

• redukcji wymiarów przy przenoszeniu wektorów

wejściowych z przestrzeni obrazów do przestrzeni
cech

• uzyskanie w przestrzeni cech możliwie

harmonijnej struktury danych, niezależnie od
złożoności struktury danych pierwotnych.

Podstawą koncepcji sieci odwzorowującej cechy jest
uporządkowanie neuronów wzdłuż linii lub na
płaszczyźnie.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych – Mapy SOM Kohonena

Dla prawidłowego działania sieci odwzorowanie
powinno zachowywać topologię, czyli relację
sąsiedztwa: podobne obrazy wejściowe powinny
aktywizować sąsiednie neurony i odwrotnie: z
pobudzenia sąsiednich neuronów musi wynikać
podobieństwo obrazów wywołujących to pobudzenie
(podobieństwo topologiczne)

Węzły, które są “blisko” reagują inaczej, niż te
“dalekie” sobie.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie przebiega iteracyjnie wg następującego algorytmu (N -
liczba iteracji):

1. Budowa matrycy. Inicjacja wag każdego węzła.
2. Prezentacja wektora wejściowego wybranego losowo spośród

zbioru danych uczących.

3. Każdy węzeł matrycy jest sprawdzany pod kątem

podobieństwa wag do wektora wejściowego. Węzeł, którego
wagi są najbliższe wektorowi wejściowemu staje się węzłem
zwycięskim BMU (Best Matching Unit).

4. Obliczany jest promień sąsiedztwa BMU. Wartość tego

promienia początkowo jest stosunkowo duża (zazwyczaj
odpowiada promieniowi kratownicy), a następnie w
zmniejszana w kolejnych iteracjach. Każdy z węzłów
znajdujących się wewnątrz obszaru wyznaczonego przez ten
promień uważany jest jako sąsiad BMU.

5. Wagi każdego z sąsiadujących węzłów (znalezionych w kroku

4) są uaktualniane tak, by były jak najbardziej podobne do
wektora wejściowego. Im dany węzeł jest bliżej BMU, tym
większa jest poprawka wag.

6. Punkty 2-5 powtarzane są N razy.

Algorytm Kohonena

Podstawy Sztucznej Inteligencji

Jan Kusiak

Algorytm Kohonena uczenia SOM

Uwagi:

• Topologia warstwy wyjściowej sieci decyduje o

tym, które neurony są w sąsiedztwie

• Funkcja D(t) definiuje zakres sąsiedztwa

danego neuronu w funkcji iteracji (czasu)
algorytmu uczenia. Np.:

Jeżeli D(t) =1 i gdy neuronem zwycięzcą jest
B, wówczas uaktualniane są wagi neuronów B
i A.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych – Mapy SOM Kohonena

Np. Jeżeli x1 i x2 są dwoma wektorami wejściowymi, a
t1 i t2 są wyjściami odpowiadającymi zwycięskim
węzłom wyjściowym, wówczas t1 i t2 powinny być
położone blisko siebie, jeżeli x1 i x2 są do siebie
podobne.
Sieć, która realizuje taki rodzaj mapowania, jest
nazywana mapą cech. W mózgu neurony dążą do
łączenia się w klastry. Połączenia wewnątrz klastra są
znacznie silniejsze niż z tymi spoza grupy. Sieć
Kohonena stara się to naśladować w stosunkowo prosty
sposób.

Celem jest wytrenowanie
sieci w ten sposób, by
położone blisko siebie
węzły wyjściowe (neurony)
odpowiadają sąsiednim
wejściom.
Ale co oznacza “daleki” i
“bliski”?

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Odwzorowania przestrzeni obrazów w przestrzeń cech
dokonuje tak zwana mapa cech – liniowa lub planarna
warstwa neuronów, z których każdy połączony jest z
wejściem i którego odpowiedź jest funkcją
podobieństwa między jego wektorem wag a aktualnym
wektorem wejściowym.
Liczba składowych wektora
wejściowego wynosi n i może
być duża.

Wymiarowość przestrzeni cech
przyjęto jako dwa (z nadzieją,
że odpowiada naturalnej
wymiarowości obrazu
wyrażającej jego cechy istotne)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Przykład odwzorowania cech obrazu wejściowego x w
prostokąt matrycy neuronów

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Planarna matryca neuronów reaguje „bąblem
aktywności”, którego maksimum wypada w miejscu
maksymalnego pobudzenia wejściowego.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Mapy cech (SOM – 2D)

Mapy SOM często występują w postaci map 2D
o odpowiedniej topologii neuronów wyjściowych

Takie sieci SOM mogą być w pełni
interpretowane jako mapy cech istotnych.

Mapy te reprezentowane są poprzez matryce
neuronów wyjściowych o pewnej, zdefiniowanej
z góry topologii.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Najczęściej stosowane są matryce prostokątne lub
sześciokątne.
(nie ma połączeń pomiędzy neuronami - tylko dla
ilustracji rozmieszczenia neuronów)

Budowa matrycy

Podstawy Sztucznej Inteligencji

Jan Kusiak

Na wstępie procesu uczenia, wszystkim wagom
każdego z węzłów muszą być przypisane pewne
wartości początkowe.

Zazwyczaj, wartości te są wybierane w sposób losowy
w zakresie 0<w<1.

Inicjacja wag

Podstawy Sztucznej Inteligencji

Jan Kusiak

Aby znaleźć zwycięski neuron (BMU – Best Matching
Unit) przeszukujemy wszystkie węzły dla których
obliczamy odległość euklidesową pomiędzy wektorem
wag każdego z węzłów i aktualnie prezentowanym
wektorem wejściowym. Węzeł którego wektor wag jest
najbliższy wektorowi wejściowego typowany jest jako
węzeł zwycięski (BMU).

Odległość euklidesowa określana jest zależnością:

Poszukiwanie neuronu zwycięzcy

(BMU)

€

d=

(x

i

−w

i

)

2

i=1

n

∑

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład:

Obliczyć odległość pomiędzy wektorem wejściowym
(1,0,0) i losowo wybranego wektoru wagi (0.1, 0.4,
0.5)

d = sqrt( (1 - 0.1)

2

+ (0 - 0.4)

2

+ (0 - 0.5)

2

)

= sqrt( (0.9)

2

+ (-0.4)

2

+ (-0.5)

2

)

= sqrt( 0.81 + 0.16+ 0.25 )
= sqrt(1.22)
d = 1.106

Poszukiwanie neuronu zwycięzcy

(BMU)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sąsiedztwo BMU

Różny promień sąsiedztwa

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sąsiedztwo BMU

Podstawy Sztucznej Inteligencji

Jan Kusiak

W każdej iteracji, po
znalezieniu neuronu
zwycięzcy BMU, wyznaczane
jest jego sąsiedztwo.

Wagi wszystkich węzłów
znajdujących się wewnątrz
tego promienia są
uaktualniane w kolejnym
kroku.

Definiujemy wartość tego
promienia, a następnie
sprawdzamy, który z węzłów
znajduje się w jego wnętrzu.

Wyznaczenie sąsiedztwa BMU

Podstawy Sztucznej Inteligencji

Jan Kusiak

Neuron zwycięski jest środkiem obszaru sąsiedztwa
W algorytmie Kohonena uczenia sieci, obszar
sąsiedztwa kurczy się w kolejnych iteracjach.

Można to zrealizować poprzez zastosowanie
następującej funkcji (tzw. rozpadu wykładniczego):

σ

0

– początkowa szerokość kratownicy, λ – stała

czasowa, t – aktualna chwila czasu (iteracja). Wartość λ
zależy od σ oraz założonej liczby iteracji.

Wyznaczenie sąsiedztwa BMU

€

σ(t)=σ

0

exp−

t

λ

⎛
⎝

⎜

⎞
⎠

⎟

t =1,2,3K

W praktyce BMU zmienia
pozycję w kolejnych
prezentacjach sygnałów
wejściowych

Podstawy Sztucznej Inteligencji

Jan Kusiak

W ostateczności, sąsiedztwo skurczy się do wymiaru
jednego węzła …. neuronu zwycięzcy.

Wyznaczenie sąsiedztwa BMU

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wagi każdego węzła z sąsiedztwa BMU (w tym
również BMU) są aktualizowane zgodnie z
zależnością:

L(t) – tzw.prędkość uczenia (malejąca) jest pewną
zmienną, której wartość maleje w funkcji czasu
(liczby iteracji).

Aktualizacja wag

€

W(t+1)=W(t)+L(t)(X(t)−W(t))

€

L(t)=L

0

exp−

t

λ

⎛
⎝

⎜

⎞
⎠

⎟

t =1,2,3K

L

0

– wartość początkowa, zazwyczaj 0.1 (maleje do

zera)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Aby uwzględnić wpływ położenia danego węzła od
centrum, czyli BMU, w sposób podobny do rozkładu
Gaussa, wzór uaktualniania wag przyjmuje postać:

Aktualizacja wag

€

W(t+1)=W(t)+Θ(t)L(t)(X(t)−W(t))

€

Θ(t)=exp−

d

2σ

2

(t)

⎛
⎝

⎜

⎞
⎠

⎟

t =1,2,3K

d – odległość węzła od BMU, σ – promień sąsiedztwa

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych

Warunki samoorganizacji kohonenowskiej mapy cech
są następujące:

każdy z neuronów jest pobudzany wystarczającą

liczbę razy,

korekcji podlegają tylko wagi w pobudzonym

sąsiedztwie,

korekcja jest proporcjonalna do pobudzenia

neuronu.

Jeżeli w rzeczywistych sytuacjach występuje jakaś
naturalna kolejność pojawiania się obrazów, to należy
to uwzględnić przy konstrukcji ciągu uczącego.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych

Dygresja

Normalizacja zmiennych

Zmienne ciągłe:



x* 

x x

min

x

max

 x

min

Zmienne lingwistyczne:
Np.: Pogoda: słońce, pochmurno, deszcz
(1; 0.5; 0)

Zmienne lingwistyczne:
Np.: Stan cywilny: żonaty, rozwiedziony, w separacji,
kawaler, wdowiec, stan nieznany
(1; 0.8; 0.6; 0.4; 0.2; 0)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy
cech istotnych

(SOFM – Self-Organizing Feature
Maps)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieci SOM oraz SOFM zostały opracowane przez
Kohonena.

Są to narzędzia pozwalające na odwzorowanie
wielowymiarowych danych w obrazy o znacznie
mniejszym wymiarze – zazwyczaj jedno- lub dwu-
wymiarowe.

Proces redukcji wymiaru wektorów jest równoważny
kompresji danych (kwantyzacja wektorów).

Sieć Kohonena przechowuje informacje w ten
sposób, że zachowany jest każdy topologiczny
związek istniejący pomiędzy zbiorem danych
uczących.

Idea SOM

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład mapowania kolorów opisanych przy pomocy
trójwymiarowego wektora trzech podstawowych składowych
RGB (czerwony, zielony, niebieski) na obszar dwu- wymiarowy.

Idea SOM - przykład

Sieć SOM była trenowana
tak, by rozpoznać 8
różnych kolorów (prawa
strona). Kolory były
prezentowane sieci w
postaci wektorów 3D
(składowe wektora to
wartości RGB). Sieć
nauczyła się tych kolorów,
przedstawiając je na
płaszczyźnie (2D).

Kolory zostały pogrupowane (sklasteryzowane) w wyraźnie osobne
grupy. Grupy o zbliżonych cechach znajdują się w bliskim
sąsiedztwie. Jest to cecha map Kohonena

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sieć 2D:

- Sieć składa sią z warstwy

wejściowej i wyjściowej (nie ma
warstwy ukrytej)

- Warstwa wyjściowa stanowi

“matrycę” 2D złożoną z “węzłów”

- Każdy węzeł połączony jest z

warstwą wejściową

Prosta sieć Kohonena
WE – wektor
dwuwymiarowy,
WY- sieć 4 x 4 węzły

Architektura sieci

Podstawy Sztucznej Inteligencji

Jan Kusiak

Jeżeli dane wejściowe złożone są z
n wymiarowych wektorów X:

x

1

, x

2

, ... x

n

wówczas każdy węzeł ma
przypisany wektor wag W o
rozmiarze n (o tym samym
rozmiarze jak wektor wejściowy):

w

1

, w

2

, ... w

n

Prosta sieć Kohonena
WE – wektor
dwuwymiarowy,
WY- sieć 4 x 4 węzły

Architektura sieci

Linie pomiędzy węzłami ilustrują
jedynie sąsiedztwo, a nie oznaczają
połączeń między nimi. Węzły nie są
połączone między sobą w
płaszczyźnie matrycy na której się
znajdują.

Każdy węzeł ma topologicznie
uwarunkowaną specyficzną
pozycję (współrzędne x, y na
płaszczyźnie siatki (matrycy).

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM posiada siatkę o
wymiarach 40x40.

Każdemu z węzłów siatki
odpowiadają 3 wagi powiązane
z elementami wektora
wejściowego: czerwony,
zielony i niebieski.

Każdy z węzłów jest
reprezentowany przez
prostokątną komórkę.

Architektura sieci

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM należą do sieci samouczących (nie znają wzorców).

Jeżeli wagi danego węzła odpowiadają wektorowi wejściowemu,
odpowiadający obszar kratownicy podlega optymalizacji
(ulepszeniu) tak, by jeszcze lepiej odzwierciedlać klasę, do której
należy ten wektor wejściowy.

Uczenie sieci

Początkowo wagi mają wartości przypadkowe. Po kolejnych
iteracjach SOM zazwyczaj osiąga stan stabilnych obszarów.
Każdy z obszarów jest klasyfikatorem danej cechy. W ten sposób
wyjście graficzne może być traktowane jako pewnego rodzaju
mapę cech przestrzeni wektorów wejściowych.

Bloki podobnych kolorów są
reprezentowane przez indywidulne
strefy. Jakikolwiek nowy, nie
prezentowany wcześniej sieci wektor
wejściowy pobudzi węzły w strefie o
zbliżonych wagach.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

SOM mogą być stosowane do wizualizacji zależności
pomiędzy danymi wielowymiarowymi. Przykład - Mapa
biedy (bogactwa) świata.Polega na sklasyfikowaniu
(pogrupowaniu w klastry) danych statystycznych
opisujących różne parametry jakości życia – zdrowie,
wyżywienie, dostęp do edukacji, itp.

SOM utworzono przy pomocy sześciokątnej siatki.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

http://www.ai-junkie.com/a
nn/som

Kraje o zbliżonym poziomie życia są sklasyfikowane w odrębne
klastry. Kraje o wyższym poziome znajdują się w lewym górnym
rogu, a najbiedniejsze w prawym, dolnym rogu.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Po utworzeniu SOM łatwo przenieść otrzymaną
klasyfikację na mapę geograficzną świata:

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Mapa Kohonena obrazująca
zgrupowania 49 województw
polskich ze względu na 9 cech
socjo-ekonometrycznych.
Niektóre węzły mapy pozostały
puste, inne wektory kodowe
zdołały przyciągnąć po kilka
punktów-województw

Siatka składa się z obszarów heksagonalnych, w
których środkach znajdują się wektory referencyjne
odpowiadające wektorom kodowym umiejscowionym
w R

9

.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Odległości między wektorami w

i

są obrazowane odcieniami
szarości na mapie: obszary
bliskie są jasne,
ciemny kolor oznacza duże
odległości, a więc może
oznaczać granice
klastrów z R

9

.

Na utworzonej mapie właściwe heksagony (j)
zawierające węzły mapy (6 x 6) są otoczone
dodatkowymi heksagonami pokazującymi
kolorystycznie, jaka jest średnia odległość wektora
kodowego (j) od sąsiadujących z nim wektorów
kodowych.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Mając klucz do województw
możemy próbować
interpretować powstałe
zgrupowania. Punkty 1 i 24 to
województwa Warszawskie i
Łódzkie. Punkty 18 i 47 to
Kraków i Wrocław; punkt 32:
Poznań; punkt 3 i 22 to
Białystok i Lublin; punkt 10:
Gdynia-Gdańsk.

Wszystkie te punkty to miasta uniwersyteckie z
pewną tradycją. Tworzą one wyraźny klaster,
oddzielony od pozostałych punktów zatoką pustych
węzłów.
Pozostałym, widocznym na mapie klastrom, można
przypisać również ciekawą interpretację.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Mapa na siatce 10 x 10
otrzymana z tych samych
danych. W obu mapach
początkowe wagi (czyli
prototypy danych) były
inicjowane losowo. W
rezultacie powstałe mapy
są do pewnego stopnia
"podobne" (są podobne
topologicznie).

Położenie "geograficzne"
punktów na mapie jest
odmienne na obu mapach.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Punkty 43 i 25 są położone w przeciwległych
narożnikach. Punkty 8, 15, 30, 38 z północno-
zachodniego narożnika mapy 6 x 6 pojawily się w
przeciwległym narożniku drugiej mapy ulegając
rozbiciu: tylko punkty (8, 30) znalazły się w narożniku
południowo-zachodnim tej mapy

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Tabela klasyfikacji zwierząt - 16 zwierząt, 13 cech (wg
Yuji Matsumoto, Motohide Umano and Masahiro
Inuiguchi)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Zastosowanie SOM

Wizualizacja klasyfikacji zwierząt

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład 2D

Sieć SOM 2D.
Zadanie – Sieć ma nauczyć się odwzorowania 1000 punktów
rozmieszczonych w prostokącie. Matryca 5 x 6 (30 węzłów)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład 2D, c.d.

Wynik uczenia

po 1 epoce

Po 100 epokach

WE: x=(0, 0)
WY: a = 1 dla węzła 18

18

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład 2D – realizacja MATLAB

%% Przykład SOM 2D
% Zadanie - klasyfikacja 1000 dwu-el. wektorów z obszaru
prostokątnego

P = rands(2,1000);
plot(P(1,:),P(2,:),'+r')
% Sieć neuronowa zbudowana z matrycy 5 x 6
net = newsom([0 1; 0 1],[5 6]);
plotsom(net.iw{1,1},net.layers{1}.distances)
net.trainParam.epochs = 1;
net = train(net,P);
plotsom(net.iw{1,1},net.layers{1}.distances)
% Test sieci SOM
p = [0.0;0.0];
a = sim(net,p)

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM - podsumowanie

Gdy sieć SOM została nauczona, mapa cech przedstawia
statystyczne istotne cechy przestrzeni wejściowej. Po zadaniu
wektora wejściowego x, mapa cech odpowiada neuronem
zwycięzcą I(x) w przestrzeni wyjściowej (matrycy), a wektor w
odpowiada współrzędnym obrazu tego neuronu w przestrzeni
wejść.

.

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM - własności

1. Aproksymacja przestrzeni wejściowej

Mapa cech reprezentowana przez wektory wag {w

i

}

w przestrzeni wyjść stanowi dobrą aproksymację
przestrzeni wejść.

SOM można potraktować jako reprezentację licznego zbioru
wektorów wejściowych{x} poprzez określenie mniej licznego
zbioru prototypów {w

i

} które stanowią dobrą aproksymację

oryginalnej przestrzeni wejść.

Można to porównać do “kwantyzacji wektora”, polegającej na
redukcji wymiaru (kompresji danych).

Jakość aproksymacji można ocenić poprzez

€

D = x−w

I(x)

2

x

∑

Podstawy Sztucznej Inteligencji

Jan Kusiak

SOM – własności (2)

2. Topologiczny porządek

Mapa cech utworzona przez SOM zachowuje
porządek topologiczny w tym sensie, że położenie
neuronu w warstwie wyjściowej odpowiada
odpowiedniej własności wzorca wejściowego.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Tyle na dzisiaj

Opracowane na podstawie:
Osowski
Bullinaria
Bartkowiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Kolejne slajdy
- junk do wykorzystania

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych

Uczenie w samoorganizujących się mapach cech
istotnych przebiega wg zasad rywalizacji.

Prawa zwycięzcy przypadają też neuronom z
sąsiedztwa S

m

.

Promień sąsiedztwa S

m

powinien maleć w trakcie

procesu uczenia.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych

Algorytm uczenia (Kohonen, 1990) dla planarnej
warstwy neuronów z sześciokątnym sąsiedztwem.
Algorytm nie przewiduje połączeń lateralnych, a efekt
„kapelusza meksykańskiego” uzyskuje się przez
odpowiednią korektę wag wokół „zwycięzcy”:



x w

m

min x w

i





i

a promień sąsiedztwa S

m

maleje wraz z uczeniem.

Reguła modyfikacji wag ma postać:



w

i

(t) 



(S

i

,t) x(t) w

i

(t)





,

i  S

m

(t)

Gdzie funkcja uczenia a przybiera wartości z przedziału



0



(S

i

,t) 1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych, przykład

Przykład:
Odwzorowanie pięciowymiarowych wektorów. Zbiór
uczący zawiera 32 wektorów:

Prostokątna mapa cech składa się z 70 neuronów,
każdy połączony pięcioma wagami ze składowymi x

1

,

x

2

, ,..., x

5

.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych, przykład

Uczenie polegało na podawaniu przypadkowo
wybranych wektorów x

A

,

..., x

6

.

Po 10 000 kroków wagi
ustabilizowały się i sieć
została wykalibrowana, tzn.
w trakcie podawania
kolejnych wektorów ten z
neuronów, który na dany
wektor zareagował najsilniej,
został opisany jego
symbolem. 32 neurony
zostały oznakowane, a 38
pozostało „martwych”.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Neuron typu INSTAR został zdefiniowany przez
Grossberga w roku 1983.







N

j

j

ij

i

x

w

s

1

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

 - stała uczenia,
Dane wejściowe x podaje się zazwyczaj w postaci
unormowanej tak, aby ||x|| = 1.

W zależności od przyjętej funkcji aktywacji na wyjściu
neuronu wytwarzany jest sygnał wyjściowy y

i

= f(s

i

). W

instarze często funkcja aktywacji jest liniowa i wtedy y

i

=s

i

.

Uczenie instara odbywa się według reguły
Grossberga:

)]

(

[

)

(

)

1

(

k

w

x

y

k

w

k

w

ij

j

i

ij

ij











2

2

2

2

1

N

j

j

x

x

x

x

x











Instar Grossberga





 (0,1)

Normalizacja składowych wektora x:

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wynik uczenia metodą Grossberga jest zależny od stałej
uczenia h.

Przy wyborze h = 1 wagi w

ij

przyjmują wartości x

i

już po

pierwszej iteracji. Podanie następnego wektora
wejściowego x powoduje dopasowanie wag do nowego
wektora i pełne zapomnienie poprzednio nauczonej
wartości. Wybór wartości h < 1 powoduje, że w wyniku
uczenia wagi w

ij

przyjmują wartości uśrednione

wektorów uczących x.

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

Załóżmy, że i-ty instar został wytrenowany na danym
znormalizowanym względem jedności wektorze
wejściowym x

1

.

W tym przypadku wektor wag równy jest wektorowi
uczącemu x

1

. Wektor wag spełnia relację:

)]

(

[

k

w

x

y

w

ij

j

i

ij









Instar Grossberga

1

2

1

]

,

,

,

[

x

w





T

iN

i

i

w

w

w



wynika to z reguły Grossberga, wg
której:

Podstawy Sztucznej Inteligencji

Jan Kusiak

W trybie testowania, po podaniu wektora
wejściowego x

2

instar o liniowej funkcji aktywacji

wytwarza sygnał:

Ponieważ amplitudy wektorów wejściowych są
unormowane, więc równanie przyjmuje postać:

Jeżeli zachodzi warunek x

2

= x

1

, odpowiedzią instara

będzie n

i

= 1.

W przypadku różnicy między wektorami wejściowymi,
odpowiedź instara będzie proporcjonalna do cosinusa
kąta między obydwoma wektorami wejściowymi. Dla
wektorów ortogonalnych względem siebie n

i

= 0.

Instar Grossberga

)

cos(

2

,

1

2

1

2

1

2



x

x

x

x

x

w









T

T

i

i

s

y

)

cos(

2

,

1





i

s

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wytrenowany instar działa jak klasyfikator
wektorowy, porównujący aktualny wektor podany na
wejście z wektorem nauczonym. W przypadku
największej zgodności tych wektorów odpowiedź
instara jest najsilniejsza (najbliższa jedności).

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

Jeżeli instar wytrenowany został na grupie wektorów
zbliżonych do siebie ze stałą h < 1, wówczas jego
wagi przyjmują wartości uśrednione tych wektorów i
w trybie odtworzeniowym będzie on odpowiadał
najsilniej na wektory wejściowe zbliżone do grupy
wektorów, na których był trenowany.

Uczenie instara może również odbywać się z
nauczycielem.

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

Przykład:
Uczenie instara o 4 wejściach i skokowej funkcji
aktywacji. Instar uczony jest z nauczycielem, a
wektory uczące xi t wynoszą:

0

1

3256

.

0

7400

.

0

1000

.

0

5800

.

0

7481

.

0

5

.

0

3482

.

0

2630

.

0

2

1

2

1

























































t

t

x

x

Wartość progową skokowej funkcji aktywacji przyjęto T
= –0.95, co oznacza, że sygnał wyjściowy neuronu
równa się 1, gdy n

i

 0.95, a więc jest bliski wartości

1. Przy zerowych wartościach początkowych wag i
stałej uczenia h = 0.4, w trybie uczenia z nauczycielem
wartość ustalona wag została osiągnięta po 10 cyklach
uczenia.

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

Wynik uczenia:



























7436

.

0

4970

.

0

3461

.

0

2614

.

0

w

Stanowi bliską replikę pierwszego wektora
wejściowego x

1

. Przy wyborze stałej uczenia h = 0.75

neuron został wytrenowany już po 4 cyklach uczenia.
Wektor x

2

w trybie uczenia z nauczycielem, wobec t

2

=0,

nie ma żadnego wpływu na wynik uczenia.
W odtworzeniowym trybie pracy podanie na wejście
wektora x

1

generuje n

1

=0.9940, co odpowiada wartości

sygnału wyjściowego równego 1.
Podając na wejście wektor x

2

otrzymujemy n

2

=0.7961 <

0.95 (wartość progowa T), co daje zerową wartość
sygnału wyjściowego neuronu.

Instar Grossberga

Podstawy Sztucznej Inteligencji

Jan Kusiak

Samoorganizujące się mapy cech istotnych

W wykładach wykorzystano:
J. Żurada, M. Barski, W. Jędruch, Sztuczne sieci
neuronowe, Wydawnictwo Naukowe PWN, Warszawa
1996

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Budowa regularnych sieci neuronowych do ekstrakcji
cech wzorowana jest na biologicznych wzorcach.
Przykład: mapa retinotopowa

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Mapa retinotopowa odwzorowuje
siatkówkę oka w korze mózgowej. Jest
utworzona przez dwuwymiarowe
warstwy neuronów gęsto połączonych
lateralnymi synapsami zwrotnymi.

Charakter sprzężenia zależy od
odległości

Bezpośrednie
sąsiedztwo o
promieniu 50-100
mm to połączenia
pobudzające.
Dalej 200-500 mm –
słabsze, pobudzenia
hamujące

Podstawy Sztucznej Inteligencji

Jan Kusiak

Algorytm Kohonena

Dla każdego wektora wejściowego x wykonaj:
1. Rywalizacja. Dla każdego neuronu wyjściowego j oblicz

wartość funkcji decyzyjnej, np. odległość euklidesową:

Znajdź neuron wygrywający J, który minimalizuje D po
wszystkich neuronach wyjściowych.

2. Współdziałanie. Zidentyfikuj wszystkie neurony wyjściowe j

z otoczenia neuronu J, określone przez sąsiedztwo R. Dla tych
węzłów wykonaj adaptację wag dla wszystkich składowych
rekordu wejściowego:

Adaptacja. Aktualizuj wagi:

3. Dopasuj, jeżeli trzeba, współczynnik uczenia i rozmiar

sąsiedztwa

4. Zatrzymaj, jeżeli spełnione są warunki stopu.



D(w

j

,x

n

)

i



(w

ij

 x

ni

)

2



wij(t1)wij(t)



(xij  wij(t))

Podstawy Sztucznej Inteligencji

Jan Kusiak

Regułę Kohonena można zapisać następująco:

k – oznacza krok uczenia

Postać funkcji aktywacji neuronu nie ma znaczenia dla
reguły Kohonena. Zazwyczaj jest to funkcja
sigmoidalna.
Istotną sprawą jest dobór początkowych wartości wag i
stałej uczenia.

m

i

k

i

k

i

k
m

k
m

k
m

k
m

k

k
m

k
m























,

ˆ

ˆ

ˆ

ˆ

ˆ

),

ˆ

(

ˆ

1

1

1

1

1

w

w

w

w

w

w

x

w

w



Klasyfikator Kohonena

Podstawy Sztucznej Inteligencji

Jan Kusiak

Rozkład prawdopodobieństwa obrazów w grupie nie jest
jednak znany i w konkretnym kroku uczenia mamy do
czynienia tylko z pojedynczą realizacją wektora x.
Dlatego poprawki dokonuje się przy użyciu tylko części
obserwowanej różnicy x -

m

w

ˆ

Klasyfikator Kohonena

Poprawka wag wynosi:

)

ˆ

(

ˆ

m

m

w

x

w









Gdzie a jest stałą uczenia, 0.1 < a < 0.7.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Odwzorowywanie cech istotnych

Dla prawidłowego działania sieci odwzorowanie
powinno zachowywać topologię, czyli relację
sąsiedztwa: podobne obrazy wejściowe powinny
aktywizować sąsiednie neurony i odwrotnie: z
pobudzenia sąsiednich neuronów musi wynikać
podobieństwo obrazów wywołujących to
pobudzenie.

W przypadku jednowymiarowym można to
formalnie zapisać następująco: jeżeli zbiór obrazów
wejściowych

€

{x

i

:i =1,2,K }

jest uporządkowany w sposób rosnący ze względu
na pewną cechę oraz



{y

j

i

 max

j1,2,3,K n

y

j

(x

i

)}

to zachodzą relacje:

€

j

1

<j

2

<j

3

<K