formalnie:

Sztuczne sieci neuronowe:

neuron [perceptron]

Dorota Cendrowska

nieformalnie:

Od czegoś trzeba zacząć...

Plan wykładu



„siedlisko” inteligencji ludzkiej



matematyczny model neuronu



interpretacja parametrów neuronu



perceptron/neuron (?)

Inspiracje



neuron biologiczny

Błona komórkowa aksonu i ciała neuronu zawiera kanały jonowe
bramkowane elektrycznie (bramkowane potencjałem), które
pozwalają neuronowi na generowanie i propagację
(przesyłanie) impulsu elektrycznego (potencjał aktywacyjny). Te
impulsy są wytwarzane i przesyłane przez jony obdarzone
ładunkiem
takie jak sód (Na

+

), potas (K

+

), chlor (Cl

-

) oraz wapń (Ca

2+

).

„

Model neuronu



wejścia

Model neuronu



wejścia



NET

Model neuronu



wejścia



NET



funkcja aktywacji



wartość wyjścia

Funkcje aktywacji



dyskretne

?

Funkcje aktywacji



dyskretne (unipolarne)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

x

1

x

2

x

n

...

w

1

w

2

w

n



y

Funkcje aktywacji



dyskretne (bipolarne)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

x

1

x

2

x

n

...

w

1

w

2

w

n



y

Neuron neuronowi (nie)równy



schemat neuronu:



alternatywnie (literatura):

x

1

x

2

x

n

...

w

1

w

2

w

n



y

+

x

1

x

2

x

n

.
.
.

u

w

1

w

2

w

n

w

0

1

f(u)

y

+

x

1

.
.
.

u

w

1

w

0

x

0

=-1

f

y

x

2

w

2

x

n

w

n

+

x

1

x

2

x

n

.
.
.

u

w

1

w

2

w

n

-

f(u)

y



Jeden neuron, wiele schematów (?)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

Jeden neuron, wiele schematów (?)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

Jeden neuron, wiele schematów (?)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

Jeden neuron, wiele schematów (?)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

x

1

x

2

x

n

...

w

1

w

2

w

n



y

-1

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

Jeden neuron, wiele schematów (?)

x

1

x

2

x

n

...

w

1

w

2

w

n



y

x

1

x

2

x

n

...

w

1

w

2

w

n



y

-1

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

Alternatywy cd.... sztuczny neuron w
literaturze



schemat neuronu w piśmiennictwie:

+

x

1

.
.
.

u

w

1

w

0

x

0

=-1

f

y

x

2

w

2

x

n

w

n

L. Rutkowski,
Metody i techniki sztucznej inteligencji

Alternatywy cd.... sztuczny neuron w
literaturze



schemat neuronu w piśmiennictwie:

+

x

1

x

2

x

n

.
.
.

u

w

1

w

2

w

n

w

0

1

f(u)

y

St. Osowski,
Sieci neuronowe w ujęciu algorytmicznym

Alternatywy cd.... sztuczny neuron w
literaturze



schemat neuronu w piśmiennictwie:

+

x

1

x

2

x

n

.
.
.

u

w

1

w

2

w

n

-

f(u)

y



J. Korbicz, A. Obuchowicz, D. Uciński
Sztuczne sieci neuronowe, podstawy i zastosowania

Funkcje aktywacji



ciągłe unipolarne —

sigmoidalne



ciągłe bipolarne —

tangensoidalne

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

1

0

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

-1

1



ciągłe

sigmoidalne

Funkcje aktywacji

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

1

0

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

-1

1

?



ciągłe

sigmoidalne



ciągłe

tangensoidalne

Funkcje aktywacji

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

1

0

x

1

x

2

x

n

...

w

1

w

2

w

n



y

1

-

-1

1

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

Interpretacja geometryczna

x

1

x

2

-3

1

-1

1

-6

x

1

x

2

Interpretacja geometryczna

[-3, 1]

[w

1

, w

2

]

[-3, 1]

-3

1

-1

1

-6

x

1

x

2

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

?

?

?

?

?

?

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

-1

1

-6

-3

1

x

1

x

2

?

Interpretacja geometryczna

-3

1

-1

1

-6

x

1

x

2

-1

1

-6

-3

1

x

1

x

2

Dychotomizator

: „ręczna robota”



?

Dychotomizator

: „ręczna robota”



?

Dychotomizator

: „ręczna robota”



?

[-5, 2]

Dychotomizator

: „ręczna robota”



[w

1

, w

2

]=[-2, -5]

[w

1

, w

2

]=[2, 5]

[-5, 2]

Dychotomizator

: „ręczna robota”



[w

1

, w

2

]=[-2, -5]

[w

1

, w

2

]=[2, 5]

-2
-5

?

?

?

x

1

x

2

2
5

?

?

?

Perceptron…



perceptron:



neuron o dyskretnej funkcji aktywacji



zastosowanie: klasyfikacja



zdolność do uogólniania (?)

Perceptron…



perceptron:



neuron o dyskretnej funkcji aktywacji



zastosowanie: klasyfikacja



zdolność do uogólniania (?)

jak zwykle, zamiast zakończenia...



filozoficznie:

fragment okładki i książki pt.
„Paddington daje sobie
radę”

(autor: Michael Bond)

— Wie pani — powiedział do pani

Bird, gdy przyszła do jadalni, by
sprawdzić,
czy już zjadł grzankę z marmoladą —

nigdy dotąd nie zrobiłem
wszystkiego,
bo gdybym zrobił, to nie
czekałyby mnie już żadne
niespodzianki

.