Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Jak to wszystko działa?

Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Zacznijmy od początku,

…czyli od perceptronu

Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron o dwóch wejściach

Uwaga:
Binarna funkcja aktywacji nadaje
perceptronowi własności klasyfikatora
sygnałów wejściowych.

czyli:
Dzieli przestrzeń wektora wejściowego na
dwa obszary.

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron o dwóch wejściach

b = -1

w

1,1

= -1; w

1,2

= +1

Niech

:

n = w

T

p=[-1 1]p - 1 =

0

Granica decyzyjna jest
wyznaczona przez:

Granica ta jest prostopadła do wektora wag W i
przesunięta o wartość b.

Wektor W wskazuje obszar wartości dodatnich sygnału
wyjściowego.

€

a=hardlimsw

1,1

w

1,2

[

]

p

1

p

2

⎡
⎣

⎢

⎤
⎦

⎥ +b

⎛
⎝

⎜

⎞
⎠

⎟

€

n=Wp+b=0

Gdy perceptron ma R wejść, wówczas dzieli R-
wymiarową przestrzeń wektorów wejściowych p
na dwie półprzestrzenie.

Są rozdzielone R-1- wymiarową
hiperpłaszczyzną, nazywaną granicą decyzyjną
o równaniu:

0

1









b

p

w

i

R

i

i

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron (granica decyzyjna)

Czy perceptron można użyć do sortowania jabłek i pomarańczy?

3 sygnały wejściowe:

• p

1

- kształt,

• p

2

- tekstura skórki,

• p

3

- waga

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator



p

i

 [ 1, 1]

Wzorzec pomarańczy: P

T

= [1 -1 -1]

T

Wzorzec jabłka: P

T

= [1 1 -1]

T

a = 1

a = -1

Perceptron jako prosta maszyna do sortowania
owoców.

Budowa:
1 neuron o 3 wejściach (bipolarna, binarna
funkcja aktywacji hardlims):

W = [0 1 0]
b = 0

Wzorzec pomarańczy: p

T

= [1 -1 -1]

T

;

a = hardlims(n) = harlims( [0 1 0]p + 0) =
-1

Wzorzec jabłka: p

T

= [1 1 -1]

T

a = hardlims(n) = harlims( [0 1 0]p + 0) = 1

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator

Płaszczyzna decyzyjna: p

2

= 0



ahardlimsw

1,1

w

1,2

w

1,3





p

1

p

2

p

3

















 b

















Prosta maszyna do sortowania owoców – jabłka i pomarańcze

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator

nnd3
pc

Podstawy Sztucznej

Inteligencji

10

Jan Kusiak

Perceptron o dwóch wejściach - podsumowanie

Sygnał wyjściowy:

€

a =hardlims

(n) =hardlims

(Wp+b) =

=hardlims

(wT p+b)

=hardlims

(w

1,1

p

1

+w

1,2

p

2

+b) =0

Granica decyzyjna (linia na płaszczyźnie
sygnałów wejściowych) jest określona przez
wektor sygnałów wejściowych, dla których
sygnał n = 0, czyli

€

n =wT p+b=w

1,1

p

1

+w

1,2

p

2

+b=0

€

n=

Wp+b

=0

Podstawy Sztucznej

Inteligencji

13

Jan Kusiak

Perceptron o dwóch wejściach – przykład (1)

Przykład perceptronu realizującego bramkę AND
(o 2 wejściach)
Pary sygnałów WE/WY oznaczamy jako (p

i

, t

i

)

mają wartości:

















































































































1

,

1

1

,

0

,

0

1

,

0

,

1

0

,

0

,

0

0

4

4

3

3

2

2

1

1

t

t

t

t

p

p

p

p

Podstawy Sztucznej

Inteligencji

15

Jan Kusiak

Graficznie bramkę AND przedstawia
rysunek. Czarny punkt wskazuje
sygnał wyjściowy t = 1, a puste
punkty wartość 0.

Spróbujmy wyznaczyć granicę
decyzyjną, czyli linię
oddzielającą białe punkty od
czarnych.

Następnie musimy wyznaczyć wektor
wag, który jest prostopadły do
granicy decyzyjnej. Wektor wag
może mieć dowolną długość. Niech:

€

w =

2
2

⎡
⎣

⎢

⎤
⎦

⎥

w

1

AND

Perceptron o dwóch wejściach – przykład (2)

Podstawy Sztucznej

Inteligencji

16

Jan Kusiak

Na koniec musimy wyznaczyć wartość progową b.
Określimy to wybierając dowolny punkt leżący na
linii decyzyjnej i spełniający równanie:

€

wT p+b=0

Jeżeli, przykładowo wybierzemy:





T

T

0

5

.

1



p

to:

€

wT p+b= 2 2

[

]

1.5

0

⎡
⎣

⎢

⎤
⎦

⎥

+b=3+b=0 ⇒

b=−3

Przetestujemy sieć na jednej z par sygnałów
wejściowych, np. p

2

=[0,1]

T

€

a=hardlim(

w

T

p

2

+b) =hardlim2 2

[

]

0
1

⎡
⎣

⎢

⎤
⎦

⎥ −3

⎛

⎝

⎜

⎞

⎠

⎟ =hardlim(-1)

=0

Perceptron o dwóch wejściach – przykład (3)

Podstawy Sztucznej

Inteligencji

17

Jan Kusiak

Perceptron o dwóch wejściach

Przykład granicy decyzyjnej nnd4db

Podstawy Sztucznej

Inteligencji

18

Jan Kusiak

Perceptron działa poprawnie, gdy wagi
przyjmują odpowiednią wartość,

czyli gdy

perceptron jest nauczony.

Proces uczenia wiąże się z modyfikowaniem
wag synaptycznych.

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Działanie perceptronu

Podstawy Sztucznej

Inteligencji

19

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Jak uczyć neuron?

Podstawy Sztucznej

Inteligencji

20

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie neuronu

Uczenie z nauczycielem (nadzorowane)

Na wejściu sieci pokazuje się wektor sygnałów
wejściowych, natomiast na wyjściu pokazuje się oczekiwane
wartości sygnałów wyjściowych.

Zadaniem uczenia sieci jest dokonanie takiej korekty
współczynników wagowych, aby zmniejszyć różnicę pomiędzy
oczekiwaną, a rzeczywistą odpowiedzią sieci.

Uczenie bez nauczyciela

Prezentuje się jedynie wektor sygnałów wejściowych.

Zadaniem sieci jest samodzielne utworzenie kategorii do
których będą klasyfikowane prezentowane wektory,
samodzielnie odnajdując przy tym podobieństwa pomiędzy
poszczególnymi obiektami - klasyfikacja obiektów.

Podstawy Sztucznej

Inteligencji

21

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej

Inteligencji

Jan Kusiak

Proces uczenia polega na korygowaniu wartości
współczynników wagowych.

Uczenie neuronu

Początkowe wartości składowych wektora wag nie
mają większego znaczenia i z reguły nadaje się im
wartości losowe.

Podstawy Sztucznej

Inteligencji

22

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Nadzorowane uczenie neuronu polega na tym, że
neuronowi prezentowane jest pewne zadanie z
gotowym rozwiązaniem.

Uczenie neuronu

"Nauczyciel" uczący neuron zna prawidłowe
odpowiedzi na zadane sygnały wejściowe i porównuje
je z sygnałami wyjściowymi neuronu.

Zadaniem neuronu jest rozpoznanie sygnału
wejściowego i generowanie odpowiedniego sygnału
wyjściowego. Umiejętność taką neuron zdobywa w
trakcie uczenia.

Podstawy Sztucznej

Inteligencji

23

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej

Inteligencji

Jan Kusiak

W procesie uczenia, "nauczyciel" dysponuje określonym
ciągiem uczącym złożonym z par sygnałów wejście -
wyjście:

gdzie:
(p

i

, t

i

) - i-ta para danych uczących

p

i

- wektor sygnałów wejściowych i-tego elementu zbioru uczącego,

t

i

- oczekiwana (zadana) wartość odpowiedzi neuronu na i-ty wektor

wejścia uczącego,
Q - liczba elementów ciągu uczącego U.

Uczenie neuronu



U{(p

1

,t

1

),(p

2

,t

2

),...,(p

Q

,t

Q

)}

Korekta wag ma na celu zmniejszenie różnicy
pomiędzy oczekiwaną wartością odpowiedzi t, a
rzeczywistą odpowiedzią neuronu a.

Podstawy Sztucznej

Inteligencji

24

Jan Kusiak

Ogólna zasada uczenia neuronu:

Wektor wag w

i

= [w

i1

, w

i2

,...,w

in

]

T

rośnie

proporcjonalnie do iloczynu sygnałów
wejściowego x i uczącego r

(Amari, Żurada).

x

1

x

2

w

i1

.

.

.
.

.

.

i-ty neuron

w

ij

w

i2

w

in

x

j

x

n

y

i

generator

sygnału

uczącego

d

i

x

w

i

x

c

r

t

i

Podstawy Sztucznej

Inteligencji

25

Jan Kusiak

c - stała uczenia c > 0, (c wpływa na szybkość
uczenia).

Wektor zmodyfikowanych wag w kolejnym kroku
czasowym k+1 wynosi więc:

€

r =r(w

i

,x,t

i

)

Sygnał uczący r jest w ogólności funkcją w

i

,

x oraz sygnału nauczyciela t

i

:

Zgodnie z ogólną regułą uczenia, przyrost
wektora w

i

w kolejnym kroku uczenia

zachodzącym w chwili k wynosi:

€

Δw

i

k

=cr(w

i

k

,x

k

,t

i

k

)x

k

€

w

i

k+1

=w

i

k

+cr(w

i

k

,x

k

,t

i

k

)x

k

Ogólna zasada uczenia neuronu:

Podstawy Sztucznej

Inteligencji

26

Jan Kusiak

Początkowa wartość składowych wektora wag nie ma
większego znaczenia. Z reguły nadaje się im wartości
losowe (nie mogą być zbyt duże, gdyż może to
spowodować ich rozbieganie się).

Ogólna zasada uczenia neuronu:

Podstawy Sztucznej

Inteligencji

27

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie perceptronu

Podstawy Sztucznej

Inteligencji

28

Jan Kusiak

Reguła perceptronowa jest jedną z metod
uczenia nadzorowanego, stosowaną do sieci z
neuronami dyskretnymi.

Reguła uczenia perceptronowego

Sygnał uczący r jest różnicą pomiędzy
odpowiedzią pożądaną a odpowiedzią
uzyskiwaną z sieci (Rosenblatt, 1958);

€

r =t

i

−y

i

)

( x

w

sign

y

T

i



+

x

1

x

2

w

i1

.

.

.
.

.

.

w

ij

w

i2

w

in

x

j

x

n

y

i

d

i

x

w

i

x

-1

1

s

+

d

i

- y

i

+

-

c(d

i

- y

i

)x

c

s

i

t

i

c(t

i

- y

i

)x

t

i

- y

i

Podstawy Sztucznej

Inteligencji

29

Jan Kusiak

Korygowanie współczynników wag synaptycznych
(dla bipolarnej funkcji aktywacji) odbywa się
według zależności:

€

Δw=c(t−y) =c[t−sign(w

T

x)]x

Ponieważ sygnał odpowiedzi perceptronu
przyjmuje wartość albo 1, albo -1, algorytm
"doregulowania" wag redukuje się do postaci:

przy czym znak plus dotyczy przypadku, gdy
t

i

= 1 zaś minus w przypadku przeciwnym.

cx

w

i

2







Reguła uczenia perceptronowego

Dostrojenie wag następuje tylko wtedy,
kiedy występuje błąd odwzorowania przez
neuron.

Podstawy Sztucznej

Inteligencji

30

Jan Kusiak

1. Wybieramy losowo początkowe wartości wag.
2. Podajemy na wejście neuronu wektor uczący

x=x(τ)=[x

0

(τ), x

1

(τ),..., x

n

(τ)]

T

,

τ=1,2,....

3. Obliczenie wartości wyjściowej perceptronu

y.

4. Porównanie wartości wyjściowej y(τ) z

wartością wzorcową (uczącą) t=t(x(τ)).

5. Modyfikacja wag:

w

i

(τ+1) = w

i

(τ) + (t – y)x

i

(τ)

6. Powrót do punktu 2.

Algorytm uczenia perceptronu

Algorytm powtarzany jest dopóty, dopóki błąd
na wyjściu nie będzie mniejszy od
założonego, dla wszystkich wektorów ciągu
uczącego.

(Warunek: dane uczące reprezentują klasy

liniowo separowalne

)

Podstawy Sztucznej

Inteligencji

32

Jan Kusiak

Liniowa separowalność

Definicja. Dwa zbiory
punktów A i B z n
wymiarowej przestrzeni
wejściowej s są
liniowo separowalne
jeżeli istnieje n + 1
wartości w

0

, . . . ,w

n

takich,
że dla każdego punktu
x A zachodzi:







n

i

i

i

w

x

w

1

0

a dla każdego punktu x B zachodzi:







n

i

i

i

w

x

w

1

0

B

A

x

2

X

1

Podstawy Sztucznej

Inteligencji

33

Jan Kusiak

Liniowa separowalność - przykład

Funkcja logiczna AND:

€

y = f (s) =sgnw

0

+w

1

x

1

+w

2

x

2

(

)

x

1

x

2

Y

0 0 -1
0 1 -1
1 0 -1
1 1 1

Podstawy Sztucznej

Inteligencji

34

Jan Kusiak

Liniowo nieseparowalna funkcja - przykład

Funkcja logiczna XOR:

x

1

x

2

Y

0 0 -1
0 1 1
1 0 1
1 1 -1

Uwaga: Perceptron nie
może się
nauczyć funkcji liniowo
nieseparowalnej (ale
może to zrobić sieć)

€

y = f (s) =sgnw

0

+w

1

x

1

+w

2

x

2

(

)

Podstawy Sztucznej

Inteligencji

35

Jan Kusiak

Przykład uczenia perceptronu:

Początkowe wartości wag: w

1

= [1, -1, 0, 0.5]

T

(indeks górny oznacza numer kroku uczenia).
Stała uczenia przyjmuje wartość
c = 0.1.

Lp

.

x

1

x

2

x

3

x

4

t

1

1

-1

0

-
1

-
1

2

0

1.

5

-

0.

5

-
1

-
1

3

-
1

1

0.

5

1

1

Zbiór uczący składa się z następujących wartości:

Podstawy Sztucznej

Inteligencji

36

Jan Kusiak

Krok 1: Na wejściu
prezentacja
pierwszego sygnału
uczącego x

1

:

5

.

1

1

0

1

1

]

5

.

0

,

0

,

1

,

1

[

)

(

1

1





































x

w

s

T

Przykład uczenia perceptronu:

Ponieważ sygnał wyjściowy y

1

= sign(s

1

) =

sign(1.5) = 1 jest różny od sygnału uczącego t

1

= -1, musi nastąpić korekcja współczynników
wagowych. Nowy wektor wag obliczony zostaje
zgodnie z regułą perceptronową:































































































7

.

0

0

8

.

0

8

.

0

1

0

1

1

2

.

0

5

.

0

0

1

1

)

1

1

(

1

.

0

1

1

2

x

w

w

Podstawy Sztucznej

Inteligencji

37

Jan Kusiak

Krok 2: Na wejściu prezentacja kolejnego,
drugiego sygnału uczącego x

2

:

Ponieważ sygnał wyjściowy y

2

= sign(s

2

) =

sign(-1.1) = -1 jest zgodny z sygnałem
uczącym t

2

= -1, nie następuje korekcja wag i

w

3

= w

2

.

1

.

1

1

5

.

0

5

.

1

0

]

7

.

0

0

8

.

0

8

.

0

[

)

(

2

2

2







































x

w

s

T

Podstawy Sztucznej

Inteligencji

38

Jan Kusiak

Krok 3: Na wejściu prezentacja kolejnego,
trzeciego sygnału uczącego x

3

:

Sygnał wyjściowy y

3

= sgn(s

3

) = sgn(-2.3) = -1

jest różny od wartości sygnału uczącego d

3

= 1,

musi nastąpić korekcja wag. Skorygowany wektor
wag przyjmuje wartość:

3

.

2

1

5

.

0

1

1

]

7

.

0

0

8

.

0

8

.

0

[

)

(

3

3

3







































x

w

s

T





























































































5

.

0

1

.

0

6

.

0

6

.

0

1

5

.

0

1

1

2

.

0

7

.

0

0

8

.

0

8

.

0

)

1

1

(

1

.

0

3

3

4

x

w

w

Podstawy Sztucznej

Inteligencji

39

Jan Kusiak

Ponieważ zbiór uczący składa się z 3
prezentacji, pierwszy cykl uczenia na tym się
kończy.

Błąd uczenia perceptronu trudno jest oszacować
z uwagi na binarne wartości sygnału
wyjściowego. Dlatego jakość wytrenowania można
ocenić obserwując sygnał pobudzenia s.
Spróbujmy obliczyć wartość pobudzenia s

4

po

podaniu sygnału x

1

na wejście nauczonego w

powyższy sposób perceptronu. Sygnał pobudzenia
przyjmie wartość:

i jest znacznie bliższy wartości ujemnej
sygnału oczekiwanego, niż to miało miejsce na
początku uczenia (wtedy s

4

= 2.5).

Przeprowadzenie kolejnego cyklu uczenie
pozwoli na zmniejszenie błędu uczenia.

7

.

0

)

(

1

4

2





x

w

s

T