Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Budowa

sztucznego neuronu

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Model neuronu

McCullocha-Pittsa

(1943 rok)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sygnały wejściowe x

i

, i=1,...,n mają wartość 1

lub 0, zależnie od tego, czy w danej chwili
pojawił się impuls wejściowy, czy też nie.

Model neuronu McCullocha-Pittsa

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Gdzie:

k=1,2,... kolejne chwile czasu,
w

i

- waga synaptyczna

w

i

= +1 dla synaps pobudzających

w

i

= -1 dla synaps hamujących,

T - wartość progowa poniżej której neuron

nie zadziała

Funkcja aktywacji neuronu
McCullocha-Pittsa

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Bramka logiczna NOR

Przykład realizacji bramki NOR o trzech wejściach

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Bramka logiczna NOR

Przykład realizacji bramki NOR o trzech wejściach

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Przykład realizacji bramki NAND o trzech wejściach

Bramka logiczna NAND

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Przykład realizacji bramki NAND o trzech wejściach

Bramka logiczna NAND

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Budowa

sztucznego neuronu

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sztuczny
neuron

Budowa sztucznego neuronu

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sztuczny neuron
bez sygnału
progowego (bias)

Ogólny schemat sztucznego

neuronu

Sztuczny neuron
z sygnałem
progowym (bias)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcja aktywacji (przejścia)

Funkcja aktywacji f(n) wiąże sygnał wyjściowy a
neuronu z jego wejściem p.

Funkcja aktywacji implikuje typ neuronu.

•Neurony liniowe (liniowa funkcja aktywacji),

•Neurony nieliniowe (nieliniowe funkcje
aktywacji)

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcje aktywacji

Liniowa funkcja aktywacji
f(n)

a = f(n) = purelin(n) = n

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcje aktywacji (nieliniowe)

Funkcja unipolarna



a f(n) 

1

gdyn0,

0 gdyn 0







Funkcje
binarne

Funkcja
bipolarna



a f(n) 

1

gdyn0,

 1 gdyn 0







Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe

Funkcje aktywacji (nieliniowe),

c.d.

Funkcja unipolarna

€

a= f (n) =1/(1+exp(−βn))

Funkcje ciągłe

Funkcja logistyczna (sigmoidalna)

Funkcja
bipolarna

tangens hiperboliczny (tanh)

€

a= f (n) =2/(1+exp(−2βn))−1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe

Funkcje aktywacji (nieliniowe),

c.d.

Funkcje sigmoidalna i tangens hiperboliczny
charakteryzują się ciągłością oraz prostą postacią
pochodnych.

Pochodne funkcji:

sigmoidalna (logsig):

tanh (tansig):



f'(n)  f (n)(1 f(n))



f '(n) (1 f(n))(1 f (n))

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcje aktywacji (nieliniowe),

c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcje aktywacji (nieliniowe),

c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Funkcje aktywacji (nieliniowe),

c.d.

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Często, w realizacji
praktycznej, na wejście
neuronu podawany jest
dodatkowy stały sygnał
θp

0

=1 nazywany

sygnałem progowym
(bazowym, bias).

Sygnał progowy neuronu



a f(wp b)

Sygnał wyjściowy a ma
wtedy postać:

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sygnał progowy neuronu

€

a= f (n) = f (wp+b)

€

n=wp+b

n

a

b= 0

p

a

b ≠ 0

p

a

-b/w

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sygnał progowy neuronu

funkcja aktywacji f(n)

€

a= f (n) = f (wp+b)

€

n=wp+b

€

a=purelin

(n)

Sygnał wyjściowy a

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Sygnał progowy neuronu

€

a= f (n) = f (wp+b)

€

n=wp+b

€

a=logsig

(n)

funkcja aktywacji f(n)

Sygnał wyjściowy a

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Przykład

nnd2n
1

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Neuron o wielu wejściach



n w

1,i

i1

R



p

i

 bWp b

R – liczba składowych
sygnału wejściowego

Wejście – wektor p złożony z R elementów



a f( w

1,i

i1

R



p

i

 b)  f(Wp b)

€

W = w

1,1

w

1,2

...w

1,R

[

]

Uwaga: numer wiersza (pierwszy wskaźnik) to
numer neuronu docelowego, a numer kolumny
(drugi wskaźnik) to numer źródła

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Neuron o wielu wejściach

dim (p) = R x 1



n w

1,i

i1

R



p

i

 bWp b



a f( w

1,i

i1

R



p

i

 b)  f(Wp b)

dim (W) = 1 x R

dim (b) = 1 x 1

dim (n) = 1 x 1

dim (a) = 1 x 1

Funkcje aktywacji f

€

W = w

1,1

w

1,2

...w

1,R

[

]

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Przykład

nnd2n
2

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Ogólny schemat sztucznego
neuronu

Przepływ sygnałów w neuronie odbywa się w jednym
kierunku.

p

0

p

1

p

n

€

n= w

i

i=0

n

∑

p

i

a



a f(n)

w

1

w

2

w

n

Współczynniki w

i

przypisane poszczególnym

sygnałom wejściowym p

i

nazywane są wagami

synaptycznymi.

Wartości tych współczynników określane są w
trakcie procesu uczenia neuronu (sieci).

Podstawy Sztucznej Inteligencji

Jan Kusiak

Sztuczne Sieci Neuronowe 1

Schemat działania sztucznego
neuronu

Sygnał wyjściowy jest funkcją nieliniową sygnału

wejściowego:

f - funkcja aktywacji neuronu.

n = w

T

p - sygnał pobudzający funkcję aktywacji (iloczyn

skalarny wektora sygnałów wejściowych i wektora wag)

Własności oraz działanie neuronu nieliniowego zależą
od postaci nieliniowej funkcji aktywacji f(n).

€

a= f (n) = f

w

i

p

i

i=0

n

∑

⎛

⎝

⎜

⎞

⎠

⎟ = f w

T

p

(

)