Podstawy Sztucznej 

Inteligencji

1

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Jak uczyć neuron?

Podstawy Sztucznej 

Inteligencji

2

Jan Kusiak

Ogólna zasada uczenia neuronu: 

Wektor wag w

i

 = [w

i1

, w

i2

,...,w

in

]

T

 rośnie 

proporcjonalnie do iloczynu sygnałów 
wejściowego x i uczącego r 

(Amari, Żurada). 

x

1

x

2

w

i1

.

.

.
.

.

.

i-ty neuron

w

ij

w

i2

w

in

x

j

x

n

y

i

generator

sygnału

uczącego

d

i

x

w

i

x

c

r

t

i

Podstawy Sztucznej 

Inteligencji

3

Jan Kusiak

c - stała uczenia c > 0, (c wpływa na szybkość 
uczenia). 

Wektor zmodyfikowanych wag w kolejnym kroku 
czasowym k+1 wynosi więc: 

  

€ 

r =r(w

i

,x,t

i

)

Sygnał uczący r jest w ogólności funkcją w

i

, 

x oraz sygnału nauczyciela t

i 

: 

Zgodnie z ogólną regułą uczenia, przyrost 
wektora w

i

 w kolejnym kroku uczenia 

zachodzącym w chwili k wynosi: 

  

€ 

Δw

i

k

=cr(w

i

k

,x

k

,t

i

k

)x

k

  

€ 

w

i

k+1

=w

i

k

+cr(w

i

k

,x

k

,t

i

k

)x

k

Ogólna zasada uczenia neuronu: 

Podstawy Sztucznej 

Inteligencji

4

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Uczenie perceptronu

Podstawy Sztucznej 

Inteligencji

5

Jan Kusiak

Reguła perceptronowa jest jedną z metod 
uczenia nadzorowanego, stosowaną do sieci z 
neuronami dyskretnymi. 

Reguła uczenia perceptronowego

Sygnał uczący r jest różnicą pomiędzy 
odpowiedzią pożądaną a odpowiedzią 
uzyskiwaną z sieci (Rosenblatt, 1958); 

€ 

r =t

i

−y

i

)

( x

w

sign

y

T

i



+

x

1

x

2

w

i1

.

.

.
.

.

.

w

ij

w

i2

w

in

x

j

x

n

y

i

d

i

x

w

i

x

-1

1

s

+

d

i 

- y

i

+

-

c(d

i 

- y

i

)x

c

s

i

t

i

c(t

i 

 - y

i

)x

t

i 

 - y

i

Podstawy Sztucznej 

Inteligencji

6

Jan Kusiak

Korygowanie współczynników wag synaptycznych 
(dla bipolarnej funkcji aktywacji) odbywa się 
według zależności: 

€ 

Δw=c(t−y) =c[t−sign(w

T

x)]x

Ponieważ sygnał odpowiedzi perceptronu 
przyjmuje wartość albo 1, albo -1, algorytm 
"doregulowania" wag redukuje się do postaci: 

przy czym znak plus dotyczy przypadku, gdy 
t

i

= 1 zaś minus w przypadku przeciwnym.

cx

w

i

2







Reguła uczenia perceptronowego

Dostrojenie wag następuje tylko wtedy, 
kiedy występuje błąd odwzorowania przez 
neuron. 

Podstawy Sztucznej 

Inteligencji

7

Jan Kusiak

1. Wybieramy losowo początkowe wartości wag.
2. Podajemy na wejście neuronu wektor uczący 

x=x(τ)=[x

0

(τ), x

1

(τ),..., x

n

(τ)]

T

, 

τ=1,2,....

3. Obliczenie wartości wyjściowej perceptronu 

y.

4. Porównanie wartości wyjściowej y(τ) z 

wartością wzorcową (uczącą) t=t(x(τ)).

5. Modyfikacja wag:

w

i

(τ+1) = w

i

(τ) + (t – y)x

i

(τ) 

6. Powrót do punktu 2. 

Algorytm uczenia perceptronu

Algorytm powtarzany jest dopóty, dopóki błąd 
na wyjściu nie będzie mniejszy od 
założonego, dla wszystkich wektorów ciągu 
uczącego.

(Warunek: dane uczące reprezentują klasy 

liniowo separowalne

)

Podstawy Sztucznej 

Inteligencji

9

Jan Kusiak

Liniowa separowalność

Definicja. Dwa zbiory 
punktów A i B z n 
wymiarowej przestrzeni 
wejściowej s są 
liniowo separowalne 
jeżeli istnieje n + 1 
wartości w

0

, . . . ,w

n 

 

takich, 
że dla każdego punktu 
x A zachodzi:







n

i

i

i

w

x

w

1

0

a dla każdego punktu x B zachodzi:







n

i

i

i

w

x

w

1

0

B

A

x

2

X

1

Podstawy Sztucznej 

Inteligencji

10

Jan Kusiak

Liniowa separowalność - przykład

Funkcja logiczna AND:

€ 

y = f (s) =sgnw

0

+w

1

x

1

+w

2

x

2

(

)

     

x

1 

     x

2

        Y

     0       0        -1
     0       1        -1
     1       0        -1
     1       1         1

Podstawy Sztucznej 

Inteligencji

11

Jan Kusiak

Liniowo nieseparowalna funkcja - przykład

Funkcja logiczna XOR:

     

x

1 

     x

2

        Y

     0       0       -1
     0       1        1
     1       0        1
     1       1        -1

Uwaga: Perceptron nie 
może się
nauczyć funkcji liniowo 
nieseparowalnej (ale 
może to zrobić sieć)

€ 

y = f (s) =sgnw

0

+w

1

x

1

+w

2

x

2

(

)

Podstawy Sztucznej 

Inteligencji

12

Jan Kusiak

Przykład uczenia perceptronu:

Początkowe wartości wag: w

1

 = [1, -1, 0, 0.5]

T

 

(indeks górny oznacza numer kroku uczenia). 
Stała uczenia przyjmuje wartość 
c = 0.1. 

Lp

.

x

1

x

2

x

3

x

4

t

1

1

-1

0

-
1

-
1

2

0

1.

5

-

0.

5

-
1

-
1

3

-
1

1

0.

5

1

1

Zbiór uczący składa się z następujących wartości:

Podstawy Sztucznej 

Inteligencji

13

Jan Kusiak

Krok 1: Na wejściu 
prezentacja 
pierwszego sygnału 
uczącego x

1

:

5

.

1

1

0

1

1

]

5

.

0

,

0

,

1

,

1

[

)

(

1

1





































x

w

s

T

Przykład uczenia perceptronu:

Ponieważ sygnał wyjściowy y

1

 = sign(s

1

) = 

sign(1.5) = 1 jest różny od sygnału uczącego t

1

 

= -1, musi nastąpić korekcja współczynników 
wagowych. Nowy wektor wag obliczony zostaje 
zgodnie z regułą perceptronową: 































































































7

.

0

0

8

.

0

8

.

0

1

0

1

1

2

.

0

5

.

0

0

1

1

)

1

1

(

1

.

0

1

1

2

x

w

w

Podstawy Sztucznej 

Inteligencji

14

Jan Kusiak

Krok 2: Na wejściu prezentacja kolejnego, 
drugiego sygnału uczącego x

2

:

Ponieważ sygnał wyjściowy y

2

 = sign(s

2

) = 

sign(-1.1) = -1 jest zgodny z sygnałem 
uczącym t

2

 = -1, nie następuje korekcja wag i 

w

3

 = w

2

. 

1

.

1

1

5

.

0

5

.

1

0

]

7

.

0

0

8

.

0

8

.

0

[

)

(

2

2

2







































x

w

s

T

Podstawy Sztucznej 

Inteligencji

15

Jan Kusiak

Krok 3: Na wejściu prezentacja kolejnego, 
trzeciego sygnału uczącego x

3

:

Sygnał wyjściowy y

3

 = sgn(s

3

) = sgn(-2.3) = -1 

jest różny od wartości sygnału uczącego d

3

 = 1, 

musi nastąpić korekcja wag. Skorygowany wektor 
wag przyjmuje wartość: 

3

.

2

1

5

.

0

1

1

]

7

.

0

0

8

.

0

8

.

0

[

)

(

3

3

3







































x

w

s

T





























































































5

.

0

1

.

0

6

.

0

6

.

0

1

5

.

0

1

1

2

.

0

7

.

0

0

8

.

0

8

.

0

)

1

1

(

1

.

0

3

3

4

x

w

w

Podstawy Sztucznej 

Inteligencji

16

Jan Kusiak

Ponieważ zbiór uczący składa się z 3 
prezentacji, pierwszy cykl uczenia na tym się 
kończy. 

Błąd uczenia perceptronu trudno jest oszacować 
z uwagi na binarne wartości sygnału 
wyjściowego. Dlatego jakość wytrenowania można 
ocenić obserwując sygnał pobudzenia s. 
Spróbujmy obliczyć wartość pobudzenia s

4

 po 

podaniu sygnału x

1

 na wejście nauczonego w 

powyższy sposób perceptronu. Sygnał pobudzenia 
przyjmie wartość: 

i jest znacznie bliższy wartości ujemnej 
sygnału oczekiwanego, niż to miało miejsce na 
początku uczenia (wtedy s

4

 = 2.5). 

Przeprowadzenie kolejnego cyklu uczenie 
pozwoli na zmniejszenie błędu uczenia.

7

.

0

)

(

1

4

2





x

w

s

T

Podstawy Sztucznej 

Inteligencji

17

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Perceptron jako 

klasyfikator

Podstawy Sztucznej 

Inteligencji

18

Jan Kusiak

Podstawy Sztucznej Inteligencji

Jan Kusiak

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron o dwóch wejściach 

Uwaga:
Binarna funkcja aktywacji nadaje 
perceptronowi własności klasyfikatora 
sygnałów wejściowych. 

czyli:
Dzieli przestrzeń wektora wejściowego na 
dwa obszary.

Podstawy Sztucznej 

Inteligencji

19

Jan Kusiak

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron o dwóch wejściach 

b = -1

w

1,1

 = -1; w

1,2

 = +1

Niech

: 

n = w

T

p=[-1 1]p - 1 = 

0

Granica decyzyjna jest 
wyznaczona przez: 

Granica ta jest prostopadła do wektora wag W i 
przesunięta o wartość b. 

Wektor W wskazuje obszar wartości dodatnich sygnału 
wyjściowego.

€ 

a=hardlimsw

1,1

w

1,2

[

]

p

1

p

2

⎡ 
⎣ 

⎢ 

⎤ 
⎦ 

⎥ +b

⎛ 
⎝ 

⎜ 

⎞ 
⎠ 

⎟ 

€ 

n=Wp+b=0

Podstawy Sztucznej 

Inteligencji

20

Jan Kusiak

Gdy perceptron ma R wejść, wówczas dzieli R- 
wymiarową przestrzeń wektorów wejściowych p 
na dwie półprzestrzenie.

Są rozdzielone R-1- wymiarową 
hiperpłaszczyzną, nazywaną granicą decyzyjną 
o równaniu:

0

1









b

p

w

i

R

i

i

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron (granica decyzyjna)

Podstawy Sztucznej 

Inteligencji

21

Jan Kusiak

Czy perceptron można użyć do sortowania jabłek i pomarańczy?

3 sygnały wejściowe:

•  p

1  

- kształt, 

•  p

2 

- tekstura skórki,

•  p

3 

- waga

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator



p

i

 [ 1, 1]

Wzorzec pomarańczy: P

T

= [1 -1 -1]

 T

  

Wzorzec jabłka: P

T

=  [1 1 -1]

 T

a = 1

a = -1

Podstawy Sztucznej 

Inteligencji

22

Jan Kusiak

Perceptron jako prosta maszyna do sortowania 
owoców.

Budowa: 
1 neuron o 3 wejściach (bipolarna, binarna 
funkcja aktywacji hardlims):

W = [0 1 0]
b = 0 

Wzorzec pomarańczy: p

T

= [1 -1 -1]

 T

;

a = hardlims(n) = harlims( [0 1 0]p + 0) = 
-1

Wzorzec jabłka: p

T

=  [1 1 -1]

 T

a = hardlims(n) = harlims( [0 1 0]p + 0) = 1

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator

Płaszczyzna decyzyjna: p

2 

= 0



ahardlimsw

1,1

w

1,2

w

1,3





p

1

p

2

p

3

















 b

















Podstawy Sztucznej 

Inteligencji

23

Jan Kusiak

Prosta maszyna do sortowania owoców – jabłka i pomarańcze

Podstawy Sztucznej 

Inteligencji

Jan Kusiak

Perceptron jako klasyfikator

nnd3
pc