[Ćwiczenia Nr 1 – 04.03.2013 r.]

1. Przedstawić model i opis matematyczny. Analiza pojedynczego neuronu z funkcją skokową dla danych 2-wymiarowych.

x₁ x₂ f_skok(u)

x₀=1

● ● ● 1

u

w₀ w₁ w₂

● ● ●

∑

u

f_skok(u)

y

n=2

u$\ = \sum_{j = 0}^{n}w_{j}x_{j}$ = w^Tx = |w||x| cos (w, x)

y = f_skok(u) = f_skok($\sum_{j = 0}^{n}w_{j}x_{j})$ = f_skok(w^Tx)

w=[w₀,w₁,…,w_n]^T

x=[1,x₁,x₂,…,x_n]^T

f_skok(u) = 1 dla u >= 0

0 dla u < 0

1. Wyprowadzić równania granic decyzyjnych

Równanie linii: u = w₀ + w₁x₁ + w₂x₂

a) w₀ ≠ 0, w₁ ≠ 0, w₂ ≠ 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₂ = $\frac{- w_{1}}{w_{2}}x1$ - $\frac{w_{0}}{w_{2}}$ linia ukośna

punkty przecięcia:

z osią pionową x₁ = 0 -> w₀ + w₂x₂ = 0 -> x₂₀ = - $\frac{w_{0}}{w_{2}}$

z osią pionową x₂ = 0 -> w₀ + w₁x₁ = 0 -> x₁₀ = - $\frac{w_{0}}{w_{1}}$

b) Jeżeli w₀ = 0, w₁ ≠ 0, w₂ ≠ 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₂ = - $\frac{w_{1}}{w_{2}}$ x₁ (pkt. przecięcia po środku układu współrzędnych x₁₀ = x₂₀ = 0)

c) Jeżeli w₀ ≠ 0, w₁ = 0, w₂ ≠ 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₂ = - $\frac{w_{0}}{w_{2}}$ (pkt. przecięcia z osią pionową x₁₀ = x₂₀ = 0)

x₁ = 0 -> w₀ + w₂x₂ = 0 -> x₂₀ = - $\frac{w_{0}}{w_{2}}$ (pkt. przecięcia z osią poziomą - brak)

d) Jeżeli w₀ = 0, w₁ = 0, w₂ ≠ 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₂ = 0 (pkt. przecięcia x₂₀ = 0)

e) Jeżeli w₀ ≠ 0, w₁ ≠ 0, w₂ ≠ 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₁ = - $\frac{w_{0}}{w_{1}}$ (pkt. przecięcia z osią pionową - brak)

x₂ = 0 -> w₀ + w₁x₁ = 0 -> x₁₀ = - $\frac{w_{0}}{w_{1}}$ (pkt. przecięcia z osią poziomą)

f) Jeżeli w₀ = 0, w₁ ≠ 0, w₂ = 0: w₀ + w₁x₁ + w₂x₂ = 0 -> x₁ = 0 (pkt. przecięcia x₁₀ = 0)

1. Określenie półpłaszczyzn decyzyjnych

x₂

0 1 w₁>0 w₀≠0 1 w₂>0

w₁=0 0

1 0 w₁<0 w₂≠0 0

x₂₀ 1 w₂<0 0 1

1 0

w₀≠0 w₀≠0 x₂₀ w₂<0 w₂>0

w₁≠0 w₁≠0

w₂=0 w₂≠0

x₁₀ x₁₀ x₂₀ x₁₀ 0 1

x₂

1 0

1 w₂>0 w₂<0 w₂>0

0

w₀=0 w₀=0

0 w₁≠0 w₁=0

1 w₂<0 w₂=0 w₂≠0

0 1 w₁>0

1 0 w₁<0

Płaszczyzny decyzyjne: (dla obiektów klasy „1”, czyli u ≥ 0)

1. Jeżeli w₁≠0 i w₂≠0: w₀ + w₁x₁ + w₂x₂ ≥ 0

≥ - $\frac{w_{1}}{w_{2}}x1$ - $\frac{w_{0}}{w_{2}}$ gdy w₂ > 0

x₂ ≤ - $\frac{w_{1}}{w_{2}}x1$ - $\frac{w_{0}}{w_{2}}$ gdy w₂ < 0

w₂x₂ ≥ - w₁x₁ - w₀ / : w₂ dla w₂ ≠ 0

1. Jeżeli w₁=0 i w₂≠0: w₀ + w₂x₂ ≥ 0

≥ - $\frac{w_{0}}{w_{2}}$ gdy w₂ > 0 (NAD LINIĄ)

x₂ ≤ - $\frac{w_{0}}{w_{2}}\text{\ \ }$gdy w₂ < 0 (POD LINIĄ)

1. Jeżeli w₁≠0 i w₂=0: w₀ + w₁x₁ ≥ 0

≥ - $\frac{w_{0}}{w_{1}}$ dla w₁ > 0 (PO PRAWEJ)

x₁ ≤ - $\frac{w_{0}}{w_{1}}\text{\ \ }$dla w₁ < 0 (PO LEWEJ)

1. Przedstawienie algorytmu uczenia, formuła adaptacji wag

Formuła adaptacji wag:

w_j^(t + 1) = w_j^(t) + ɳ[d^(k) - y^(k)] x_j^(k)

^(t + 1) = ^(t) + ɳ[d^(k) - y^(k)] ^(k)

L = {(,  d)^(k)}_k = 1^K = {([x₁, x₂, …, x_n]^T, d)^(k)}_k = 1^K

- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - -

⁽⁰⁾ = [w₀,   w₁,  w₂]^T(0) = [0.1,   − 0.1,   − 0.2]^T, ɳ = 0.1

L = {([x₁, x₂]^T, d)^(k)}_k = 1² = {([0.1,  0.9]^T, 1)⁽¹⁾, ([1.0,  0.1]^T, 0)⁽²⁾}

x₂

₃

²

₁

x₁ d = 1

^{-4 -3 -2 -1} _-1 ^{1 2 3 4} d = 0

^-2 t=1

^-3 t=0

_-4 t=2

Krok 1 (Inicjalizacja):

t=0, k=1, lpd=0

x₁₀ = - $\frac{w_{0}^{(0)}}{w_{1}^{(0)}}$ = $\frac{- \ 0.1}{- \ 0.1}$ = 1, x₂₀ = - $\frac{w_{0}^{(0)}}{w_{2}^{(0)}}$ = $\frac{- \ 0.1}{- \ 0.2}$ = 0.5

Mamy punkty przecięcia, więc teraz rysujemy linie na rysunku u góry (jest to t=0, o wsp. [1 ; 0.5] )

Krok 2(0):

⁽¹⁾ = [1, 0.1, 0.9]^T

Krok 3(0):

y⁽¹⁾ = f_skok(^{(0)T (1)}) = f_skok([0.1, -0.1, -0.2]$\begin{bmatrix} 1 \\ 0.1 \\ 0.9 \\ \end{bmatrix}$) = f_skok(-0.09) = 0 ≠ d⁽¹⁾

Krok 4(0):

⁽¹⁾ = ⁽⁰⁾ + ɳ[d⁽¹⁾ - y⁽¹⁾] ⁽¹⁾ = ⁽⁰⁾ + 0.1 * 1 * ⁽¹⁾ = $\begin{bmatrix} 0.1 \\ - 0.1 \\ - 0.2 \\ \end{bmatrix}$+ 0.1$\begin{bmatrix} 1 \\ 0.1 \\ 0.9 \\ \end{bmatrix}$=$\begin{bmatrix} 0.2 \\ - 0.09 \\ - 0.11 \\ \end{bmatrix}$

lpd=0, x₁₀ = $\frac{- w_{0}^{(1)}}{w_{1}^{(1)}}$ = $\frac{- \ 0.2}{- \ 0.09}$ = 2.22, x₂₀ = $\frac{{- w}_{0}^{(1)}}{w_{2}^{(1)}}$ = $\frac{- \ 0.2}{- \ 0.11}$ = 1.82

Mamy punkty przecięcia, więc teraz rysujemy linie na rysunku u góry (jest to t=1, o wsp. [2.22 ; 1.82] )

Krok 5(0): t=t+1=0+1=1, k=k+1=1+1=2, GOTO Krok 2(1)

Krok 2(1):

⁽²⁾ = [1, 1, 0.1]^T

Krok 3(1):

y⁽²⁾ = f_skok(^{(1)T (2)}) = f_skok([0.2, -0.09, -0.11]$\begin{bmatrix} 1 \\ 1 \\ 0.1 \\ \end{bmatrix}$) = f_skok(0.1) = 1 ≠ d⁽²⁾

Krok 4(1):

⁽²⁾ = ⁽¹⁾ + ɳ[d⁽²⁾ - y⁽²⁾] ⁽²⁾ = ⁽¹⁾ + 0.1 * (-1) * ⁽²⁾ = $\begin{bmatrix} 0.2 \\ - 0.09 \\ - 0.11 \\ \end{bmatrix}$- 0.1$\begin{bmatrix} 1 \\ 1 \\ 0.1 \\ \end{bmatrix}$=$\begin{bmatrix} 0.1 \\ - 0.19 \\ - 0.12 \\ \end{bmatrix}$

lpd=0, x₁₀ = $\frac{- w_{0}^{(2)}}{w_{1}^{(2)}}$ = $\frac{- \ 0.1}{- \ 0.19}$ = 0.53, x₂₀ = $\frac{{- w}_{0}^{(2)}}{w_{2}^{(2)}}$ = $\frac{- \ 0.1}{- \ 0.12}$ = 0.83

Mamy punkty przecięcia, więc teraz rysujemy linie na rysunku u góry (jest to t=2, o wsp. [0.53 ; 0.83] )

Krok 5(1): t=t+1=1+1=2, k=k+1=2+1=3 => k=1, GOTO Krok 2(2)

Krok 2(2):

⁽¹⁾ = [1, 0, 0.9]^T

Krok 3(2):

y⁽¹⁾ = f_skok(^{(2)T (1)}) = f_skok([0.1, -0.19, -0.12]$\begin{bmatrix} 1 \\ 0.1 \\ 0.9 \\ \end{bmatrix}$) = f_skok(-0.03) = 0 ≠ d⁽¹⁾

Krok 4(2):

⁽³⁾ = ⁽²⁾ + ɳ[d⁽¹⁾ - y⁽¹⁾] ⁽¹⁾ = ⁽²⁾ + 0.1 * 1 * ⁽¹⁾ = $\begin{bmatrix} 0.1 \\ - 0.19 \\ - 0.12 \\ \end{bmatrix}$+ 0.1$\begin{bmatrix} 1 \\ 0.1 \\ 0.9 \\ \end{bmatrix}$=$\begin{bmatrix} 0.2 \\ - 0.18 \\ - 0.03 \\ \end{bmatrix}$

lpd=0, x₁₀ = $\frac{- w_{0}^{(3)}}{w_{1}^{(3)}}$ = $\frac{- \ 0.2}{- \ 0.18}$ = 1.11, x₂₀ = $\frac{{- w}_{0}^{(3)}}{w_{2}^{(3)}}$ = $\frac{- \ 0.2}{- \ 0.03}$ = 0.67

Mamy punkty przecięcia, więc teraz rysujemy linie na rysunku u góry (jest to t=3, o wsp. [1.11 ; 0.67] )

Krok 5(2): t=t+1=2+1=3, k=k+1=1+1=2, GOTO Krok 2(3)

Krok 2(3):

⁽²⁾ = [1, 1, 0.1]^T

Krok 3(3):

y⁽²⁾ = f_skok(^{(3)T (2)}) = f_skok([0.2, -0.18, -0.03]$\begin{bmatrix} 1 \\ 1 \\ 0.1 \\ \end{bmatrix}$) = f_skok(0.02) = 1 ≠≠ d⁽²⁾

Krok 4(3):

⁽⁴⁾ = ⁽³⁾ + ɳ[d⁽²⁾ - y⁽²⁾] ⁽²⁾ = ⁽³⁾ + 0.1 * (-1) * ⁽²⁾ = $\begin{bmatrix} 0.2 \\ - 0.18 \\ - 0.03 \\ \end{bmatrix}$- 0.1$\begin{bmatrix} 1 \\ 1 \\ 0.1 \\ \end{bmatrix}$=$\begin{bmatrix} 0.1 \\ - 0.28 \\ - 0.04 \\ \end{bmatrix}$

lpd=0, x₁₀ = $\frac{- w_{0}^{(4)}}{w_{1}^{(4)}}$ = $\frac{- \ 0.1}{- \ 0.28}$ = 0.36, x₂₀ = $\frac{{- w}_{0}^{(4)}}{w_{2}^{(4)}}$ = $\frac{- \ 0.1}{- \ 0.04}$ = 2.5

Mamy punkty przecięcia, więc teraz rysujemy linie na rysunku u góry (jest to t=4, o wsp. [0.36 ; 2.5] )

Krok 5(3): t=t+1=3+1=4, k=k+1=2+1=3=>k=1, GOTO Krok 2(4)

Krok 2(4):

⁽¹⁾ = [1, 0.1, 0.9]^T

Krok 3(4):

y⁽¹⁾ = f_skok(^{(4)T (1)}) = f_skok([0.1, -0.28, -0.04]$\begin{bmatrix} 1 \\ 0.1 \\ 0.9 \\ \end{bmatrix}$) = f_skok(0.04) = 1 = d⁽¹⁾

Krok 4(4):

⁽⁵⁾ = ⁽⁴⁾ = [0.1, -0.28, -0.04]^T

lpd=lpd+1=0+1=1

Krok 5(4): t=t+1=4+1=5, k=k+1=1+1=2, GOTO Krok 2(5)

Krok 2(5):

⁽²⁾ = [1, 1, 0.1]^T

Krok 3(5):

y⁽²⁾ = f_skok(^{(3)T (2)}) = f_skok([0.1, -0.28, -0.04]$\begin{bmatrix} 1 \\ 1 \\ 0.1 \\ \end{bmatrix}$) = f_skok(-0.18) = 0 = d⁽²⁾

Krok 4(5):

⁽⁶⁾ = ⁽⁵⁾ = [0.1, -0.28, -0.04]^T

lpd=lpd+1=1+1=2

Krok 5(5): KONIEC

[Ćwiczenia Nr 2 – 18.03.2013 r.]

Zad 1. Zaprojektować SSN zawierającą minimalną liczbę neuronów ze skokową funkcją aktywacji i odwzorowującą dane przedstawione na rysunku. Należy:

1. Narysować strukturę tej sieci

2. Wyprowadzić zależności opisujące poszczególne współczynniki wagowe

3. Podać przykład wartości współczynników wagowych

x₂ 1;1

2; 1,4 0 1;3

2 _{0 2}

_{obiekty klasy} ¹ 1;2

^{nr 1 (d=y=1)} ₁ 2; 3,2

3; 1,2,4

x₁

^{-2 -1 1 2}

^-1 _{obiekty klasy nr 2}

2; 2,4 ^(d=y=0)

^-2

₁ ⁰ 3;2,3,4

^{0 1} _{obiekty klasy 1 0}

1 3 ^{nr 1 (d=y=1)} 4

1. Struktura sieci

x₁ x₂

x₀=1

● ● ●

₁^[h]= [w₁₀^[h],  w₁₁^[h],   w₁₂^[h]]^T

₂^[h]= [w₂₀^[h],  w₂₁^[h],   w₂₂^[h]]^T

₃^[h]= [w₃₀^[h],  w₃₁^[h],   w₃₂^[h]]^T

₄^[h]= [w₄₀^[h],  w₄₁^[h],   w₄₂^[h]]^T

∑ …∑ ∑ ∑

u₁^[h] u₂^[h] u₃^[h] u₄^[h]

f_skok(u₁^[h]) f_skok(u₂^[h]) f_skok(u₃^[h]) f_skok(u₄^[h])

y₀^[h] = 1 y₁^[h] y₂^[h] y₃^[h] y₄^[h]

w^[0] = w

_∑

u^[0] = u

f_skok(u)

y^[0] = y

1. Wyprowadzenia wzorów na linie z rysunku (zależności opisujące współczynniki wagowe oraz półpłaszczyzny decyzyjne) – trzeba je wypisać na kolokwium!

Część 1 – zależności opisujące współczynniki wagowe

1. Linia ukośna: u = w₀ + w₁x₁+ w₂x₂ = 0

x₂ = $\frac{- w_{1}}{w_{2}}x_{1}$ - $\frac{w_{0}}{w_{2}}$

x₂₀ = $\frac{- w_{0}}{w_{2}}$

x₁₀ = - $\frac{w_{0}}{w_{1}}$ (dla x₂ = 0) w₂ ≠ 0

1. Linia pozioma: u = w₀ + w₂x₂ = 0 (w₁= 0)

x₂ = $\frac{- w_{0}}{w_{2}}$

x₂₀ = $\frac{- w_{0}}{w_{2}}$

1. Linia pionowa: u = w₀ + w₁x₁ = 0 (w₂= 0)

x₁ = $- \frac{w_{0}}{w_{1}}$

x₁₀ = $- \frac{w_{0}}{w_{1}}$

Część 2 – zależności opisujące półpłaszczyzny decyzyjne

1. Linia ukośna: w₀ + w₁x₁+ w₂x₂ ≥ 0

≥ - $\frac{w_{1}}{w_{2}}x1$ - $\frac{w_{0}}{w_{2}}$ gdy w₂ > 0 (NAD LINIĄ)

x₂ ≤ - $\frac{w_{1}}{w_{2}}x1$ - $\frac{w_{0}}{w_{2}}$ gdy w₂ < 0 (POD LINIĄ)

1. Linia pozioma: w₀ + w₂x₂ ≥ 0

≥ - $\frac{w_{0}}{w_{2}}$ gdy w₂ > 0 (NAD LINIĄ)

x₂ ≤ - $\frac{w_{0}}{w_{2}}$ gdy w₂ < 0 (POD LINIĄ)

1. Linia pionowa: w₀ + w₁x₁ ≥ 0

≥ - $\frac{w_{0}}{w_{1}}$ gdy w₁ > 0 (PO PRAWEJ)

x₁ ≤ - $\frac{w_{0}}{w_{1}}$ gdy w₁ < 0 (PO LEWEJ)

Na podstawie wyprowadzeń obliczenia współczynników wagowych (cześć 1 wyprowadzeń wzorów):

Neuron 1: w₁₀^[h] + w₁₁^[h]x₁ + w₁₂^[h]x₂ = 0

x₁₀₍₁₎ =   - $\frac{w_{10}^{\lbrack h\rbrack}}{w_{11}^{\lbrack h\rbrack}}$ = -1

x₂₀₍₁₎ =   - $\frac{w_{10}^{\lbrack h\rbrack}}{w_{12}^{\lbrack h\rbrack}}$ = 1

Neuron 2: w₂₀^[h] + w₂₂^[h]x₂ = 0

x₂₀₍₂₎ =   - $\frac{w_{20}^{\lbrack h\rbrack}}{w_{22}^{\lbrack h\rbrack}}$ = 2

Neuron 3: w₃₀^[h] + w₃₁^[h]x₁ + w₃₂^[h]x₂ = 0

x₁₀₍₃₎ =   - $\frac{w_{30}^{\lbrack h\rbrack}}{w_{31}^{\lbrack h\rbrack}}$ = 1

x₂₀₍₃₎ =   - $\frac{w_{30}^{\lbrack h\rbrack}}{w_{32}^{\lbrack h\rbrack}}$ = - 1

Neuron 4: w₄₀^[h] + w₄₁^[h]x₁= 0

x₁₀₍₄₎ =   - $\frac{w_{40}^{\lbrack h\rbrack}}{w_{41}^{\lbrack h\rbrack}}$ = 1

Na podstawie wyprowadzeń zależności opisujące półpłaszczyzny decyzyjne (cześć 2 wyprowadzeń wzorów):

Neuron 1: Obiekty dla ktorych y₁^[h] = 1 sa nad linia decyzyjna (1) w₁₂^[h] > 0

Neuron 2: Obiekty dla ktorych y₂^[h] = 1 sa pod linia decyzyjna (2) w₂₂^[h] < 0

Neuron 3: Obiekty dla ktorych y₃^[h] = 1 sa pod linia decyzyjna (3) w₃₂^[h] < 0

Neuron 4: Obiekty dla ktorych y₄^[h] = 1 sa po lewej stronie linii decyzyjnej (4) w₄₁^[h] < 0

Obliczenia:

Neuron 1: w₁₂^[h] = w_12dd^[h]

x₂₀₍₁₎ =   - $\frac{w_{10}^{\lbrack h\rbrack}}{w_{12}^{\lbrack h\rbrack}}$ -> w₁₀^[h] = - x₂₀₍₁₎ * w₁₂^[h] = - x₂₀₍₁₎ * w_12dd^[h]= - w_12dd^[h]

x₁₀₍₁₎ =   - $\frac{w_{10}^{\lbrack h\rbrack}}{w_{11}^{\lbrack h\rbrack}}$ -> w₁₁^[h] = $\frac{{- \ w}_{10}^{\lbrack h\rbrack}}{x_{10(1)}}$ = - $\frac{w_{12dd}^{\lbrack h\rbrack}}{x_{10(1)}}$ = - w_12dd^[h]

₁^[h] = [−w_12dd^[h],   −  w_12dd^[h],   w_12dd^[h]]^T

Neuron 2: w₂₂^[h] = w_22du^[h]

x₂₀₍₂₎ =   - $\frac{w_{20}^{\lbrack h\rbrack}}{w_{22}^{\lbrack h\rbrack}}$ -> w₂₀^[h] = - x₂₀₍₂₎ * w₂₂^[h] = - 2w_22du^[h]

₂^[h] =[- 2w_22du^[h],   0,   w_22du^[h]]^T

Neuron 3: w₃₂^[h] = w_32du^[h]

x₂₀₍₃₎ =   - $\frac{w_{30}^{\lbrack h\rbrack}}{w_{32}^{\lbrack h\rbrack}}$ -> w₃₀^[h] = - x₂₀₍₃₎ * w₃₂^[h] = - x₂₀₍₃₎ * w_32du^[h]= w_32du^[h]

x₁₀₍₃₎ =   - $\frac{w_{30}^{\lbrack h\rbrack}}{w_{31}^{\lbrack h\rbrack}}$ -> w₃₁^[h] = $\frac{{- \ w}_{30}^{\lbrack h\rbrack}}{x_{10(3)}}$ = - $\frac{w_{32du}^{\lbrack h\rbrack}}{x_{10(3)}}$ = - w_32du^[h]

₃^[h] = [w_32du^[h],   −  w_32du^[h],   w_32du^[h]]^T

Neuron 4: w₄₁^[h] = w_41du^[h]

x₁₀₍₄₎ =   - $\frac{w_{40}^{\lbrack h\rbrack}}{w_{41}^{\lbrack h\rbrack}}$ -> w₄₀^[h] = - x₁₀₍₄₎ * w₄₁^[h] = - x₁₀₍₄₎ * w_41du^[h]= - w_41du^[h]

₄^[h] =[- w_41du^[h],   w_41du^[h],   0]^T

1. Przykład wartości współczynników wagowych

₁^[h] = [−2,   −  2,   2]^T

₂^[h] =[4,   0,   − 2]^T

₃^[h] = [−2,  2,   − 2]^T

₄^[h] =[2,   − 2,   0]^T

Na tym etapie badamy obszary, wracamy do rysunku i zaznaczamy 3; 1,2 itd.

Obszar 0: w₀ < 0 (1)

Obszar 1: w₀ + w₁ < 0 (2)

w₀ + w₂ < 0 (3)

w₀ + w₃ < 0 (4)

Obszar 2: w₀ + w₁+ w₄ < 0 (5)

w₀ + w₂+ w₄ < 0 (6)

w₀ + w₂+ w₃ < 0 (7)

Obszar 3: w₀ + w₂+ w₂+ w₄ > 0 (8)

w₀ + w₁+ w₂+ w₄ > 0 (9)

(9)+(-1)*(7) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₂+ w₃) > 0 -> w₁ + w₄- w₃ > 0

(9)+(-1)*(6) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₂+ w₄) > 0 -> w₁ > 0 //waga mocna

(9)+(-1)*(5) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₁+ w₄) > 0 -> w₂ > 0 //waga mocna

(9)+(-1)*(4) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₃) > 0 -> w₁ + w₂ + w₄ − w₃ > 0

(9)+(-1)*(3) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₂) > 0 -> w₁ + w₄ > 0

(9)+(-1)*(2) (w₀ + w₁ + w₂ + w₄) – (w₀ + w₁) > 0 -> w₂ + w₄ > 0

(9)+(-1)*(1) (w₀ + w₁ + w₂ + w₄) – (w₀) > 0 -> w₁ + w₂ + w₄ > 0

(8)+(-1)*(7) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₂+ w₃) > 0 -> w₄ > 0 //waga mocna

(8)+(-1)*(6) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₂+ w₄) > 0 -> w₃ > 0 //waga mocna

(8)+(-1)*(5) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₁+ w₄) > 0 ->w₂+ w₃ - w₁ > 0

(8)+(-1)*(4) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₃) > 0 ->w₂+ w₄ > 0

(8)+(-1)*(3) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₂) > 0 ->w₃+ w₄ > 0

(8)+(-1)*(2) (w₀ + w₂ + w₃ + w₄) – (w₀ + w₁) > 0 ->w₂ + w₃+ w₄  −  w₁ > 0

(8)+(-1)*(1) (w₀ + w₂ + w₃ + w₄) – (w₀) > 0 ->w₂ + w₃+ w₄ > 0

(7)+(-1)*(6) (w₀ + w₂ + w₃) – (w₀ + w₂+ w₄) > 0 -> w₃ - w₄ > 0

(7)+(-1)*(5) (w₀ + w₂ + w₃) – (w₀ + w₁+ w₄) > 0 ->w₂+ w₃ - w₄ > 0

(7)+(-1)*(4) (w₀ + w₂ + w₃) – (w₀ + w₃) > 0 -> w₂ > 0

(7)+(-1)*(3) (w₀ + w₂ + w₃) – (w₀ + w₂) > 0 -> w₃ > 0

(7)+(-1)*(2) (w₀ + w₂ + w₃) – (w₀ + w₁) > 0 -> w₂+ w₃ - w₁ > 0

(7)+(-1)*(1) (w₀ + w₂ + w₃) – (w₀) > 0 -> w₂+ w₃ > 0

(6)+(-1)*(5) (w₀ + w₂ + w₄) – (w₀ + w₁+ w₄) > 0 ->w₂ - w₁ > 0

(6)+(-1)*(4) (w₀ + w₂ + w₄) – (w₀ + w₃) > 0 ->w₂ + w₄ − w₃ > 0

(6)+(-1)*(3) (w₀ + w₂ + w₄) – (w₀ + w₂) > 0 -> w₄ > 0

(6)+(-1)*(2) (w₀ + w₂ + w₄) – (w₀  +  w₁) > 0 -> w₂ + w₄ − w₁ > 0

(6)+(-1)*(1) (w₀ + w₂ + w₄) – (w₀) > 0 -> w₂ + w₄ > 0

(5)+(-1)*(4) (w₀ + w₁ + w₄) – (w₀ + w₃) > 0 ->w₁ + w₄ − w₃ > 0

(5)+(-1)*(3) (w₀ + w₁ + w₄) – (w₀ + w₂) > 0 ->w₁ + w₄ − w₂ > 0

(5)+(-1)*(2) (w₀ + w₁ + w₄) – (w₀ + w₁) > 0 ->w₄ > 0

(5)+(-1)*(1) (w₀ + w₁ + w₄) – (w₀) > 0 ->w₁ + w₄ > 0

(4)+(-1)*(3) (w₀ + w₃) – (w₀ + w₂) > 0 ->w₃ − w₂ > 0

(4)+(-1)*(2) (w₀ + w₃) – (w₀ + w₁) > 0 ->w₃ − w₁ > 0

(4)+(-1)*(1) (w₀ + w₃) – (w₀) > 0 -> w₃ > 0

(3)+(-1)*(2) (w₀ + w₂) – (w₀ + w₁) > 0 ->w₂ − w₁ > 0

(3)+(-1)*(1) (w₀ + w₂) – (w₀) > 0 ->w₂ > 0

(2)+(-1)*(1) (w₀ + w₁) – (w₀) > 0 ->w₁ > 0

Zad 2. Zaprojektować SSN zawierającą minimalną liczbę neuronów ze skokową funkcją aktywacji i odwzorowującą dane przedstawione na rysunku. Należy narysować strukturę tej sieci, wyprowadzić zależności opisujące poszczególne współczynniki wagowe, podać przykład wartości współczynników wagowych.

x₂

_{obiekty klasy nr 1}

^(d=y=1)

₁

_{obiekty klasy nr 2 obiekty klasy nr 2}

^{(d=y=0) (d=y=0)} x₁

₁

_{-1 obiekty klasy nr 1}

^(d=y=1)

[Ćwiczenia Nr 3 – 08.04.2013 r.]

Zad 1. Rozważany jest zbiór danych. Czy jest pogoda do gry w golfa czy nie?

Dane: L = {([x1, x2, x3, x4],d)^(k)}k = 1^K = 4= {([S, W, W, SL],2)^(1), * ([S, W, W, SI],2)^(2), * ([P, W, W, SL],1)^3), ([D, S, W, SL],1)^(4), ([D, N, N, SL],1)^(5), ([D, N, N, SI],2)^(6), ([P, N, N, SI],1)^(7), ([S,S,W,SL],2)^(8), * ([S,N,N,SL],1)^(9), * ([D,S,N,SL],1)^(10), ([S,S,N,SI],1)^(11), * ([P,S,W,SI],1)^(12), ([P,W,N,SL],1)^(13), ([D,S,W,SI],2)^(14),}	Atrybuty: x1 – aura ∈ {S, P, D} S – słoneczna P – pochmurna D – deszczowa x2 – temperatura ∈ {N, S, W} N – niska S – średnia W – wysoka x3 – wilgotność ∈ {N, W} N – normalna W – wysoka x4 – wiatr ∈ {SŁ, SI} SŁ – słaby SI – silny	Pożądane odpowiedzi d ∈ C = {1, 2} d = 1 – pogoda do gry w golfa d = 2 – pogoda do pozostania w domu K = 14, n = 4

Wzory na entropie:

• $E_{t = r}\left( P \right) = \sum_{d \in C}^{}{( - \frac{\left| P_{t = r}^{d} \right|}{\left| P_{t = r} \right|}}\log_{2}\ \frac{\left| P_{t = r}^{d} \right|}{\left| P_{t = r} \right|})$ - Entropia zbioru przykładów P ze względu na wynik „r” testu „t”

• E_t(P) = $\sum_{r \in R_{t}}^{}\frac{\left| P_{t = r} \right|}{\left| P \right|}\ E_{t = r}(P)$ - Entropia zbioru przykładów „t” ze względu na test „t”

t, r ∈ R_t

1(1) Kryterium stopu:

• P = L

• P ≠ ∅ ani P nie zawiera wyłącznie rekordów należących do tej samej klasy

• KS nie spełnione, goto 1(2)

1(2) Utworzenie nowego węzła, wybór testu i realizacja rozgałęzień

• P=L, |P|=14

• Zbiór dostępnych testów Z={ tx1, tx2, tx3, tx4}

• Wyznaczanie E_t(P) dla t ∈ Z

Test tx₁, R_tx1 = {S, P, D},

|P_tx1 = S| = 5, |P_tx1 = S¹|=2,        |P_tx1 = S²|=3

|P_tx1 = P| = 4, |P_tx1 = P¹|=4,        |P_tx1 = P²|=0

|P_tx1 = D| = 5, |P_tx1 = D¹|=3,        |P_tx1 = D²|=2

$E_{tx1 = S}\left( P \right) = - \frac{2}{5}$ $\log_{2}\frac{2}{5}$ − $\frac{3}{5}$ $\log_{2}\frac{3}{5}$ = 0.97

$E_{tx1 = P}\left( P \right) = - \frac{4}{4}$ $\log_{2}\frac{4}{4}$ − $\frac{0}{4}$ $\log_{2}\frac{0}{4}$ = 0 $E_{tx1}\left( P \right) = \frac{5}{14}$ $0.97 + 0 + \frac{5}{14}$ 0.97 = 0.69

$E_{tx1 = D}\left( P \right) = - \frac{3}{5}$ $\log_{2}\frac{3}{5}$ − $\frac{2}{5}$ $\log_{2}\frac{2}{5}$ = 0.97

Test tx₂, R_tx2 = {N, S, W},

|P_tx2 = N| = 4, |P_tx2 = N¹|=3,        |P_tx2 = N²|=1

|P_tx2 = S| = 6, |P_tx2 = S¹|=4,        |P_tx2 = S²|=2

|P_tx2 = W| = 4, |P_tx2 = W¹|=2,        |P_tx2 = W²|=2

$E_{tx2 = N}\left( P \right) = - \frac{3}{4}$ $\log_{2}\frac{3}{4}$ − $\frac{1}{4}$ $\log_{2}\frac{1}{4}$ = 0.81

$E_{tx2 = S}\left( P \right) = - \frac{4}{6}$ $\log_{2}\frac{4}{6}$ − $\frac{2}{6}$ $\log_{2}\frac{2}{6}$ = 0.91 $E_{\text{tx}2}\left( P \right) = \frac{4}{14}$ $0.81 + \frac{6}{14}*0.91 + \frac{4}{14}$ 1 = 0.91

$E_{tx2 = W}\left( P \right) = - \frac{2}{4}$ $\log_{2}\frac{2}{4}$ − $\frac{2}{4}$ $\log_{2}\frac{2}{4}$ = 1

Test tx₃, R_tx3 = {N, W},

|P_tx3 = N| = 7, |P_tx3 = N¹|=6,        |P_tx3 = N²|=1

|P_tx3 = W| = 7, |P_tx3 = W¹|=3,        |P_tx3 = W²|=4

$E_{tx3 = N}\left( P \right) = - \frac{6}{7}$ $\log_{2}\frac{6}{7}$ − $\frac{1}{7}$ $\log_{2}\frac{1}{7}$ = 0.59 $E_{tx3}\left( P \right) = \frac{7}{14}$ $0.59 + \frac{7}{14}*0.98 = 0.79$

$E_{tx3 = W}\left( P \right) = - \frac{3}{7}$ $\log_{2}\frac{3}{7}$ − $\frac{4}{7}$ $\log_{2}\frac{4}{7}$ = 0.98

Test tx₄, R_tx4 = {SŁ, SI},

|P_tx4 = SL| = 8, |P_tx4 = SL¹|=6,        |P_tx4 = SL²|=2

|P_tx4 = SI| = 6, |P_tx4 = SI¹|=3,        |P_tx4 = SI²|=3

$E_{tx4 = SL}\left( P \right) = - \frac{6}{8}$ $\log_{2}\frac{6}{8}$ − $\frac{2}{8}$ $\log_{2}\frac{2}{8}$ = 0.81 $E_{tx4}\left( P \right) = \frac{8}{14}$ $0.81 + \frac{6}{14}*1 = 0.89$

$E_{tx4 = SI}\left( P \right) = - \frac{3}{6}$ $\log_{2}\frac{3}{6}$ − $\frac{3}{6}$ $\log_{2}\frac{3}{6}$ = 1

• Wybór testu minimalizującego E_t(P)

$t\hat{}$ = argmin_t ∈ Z E_t(P) = argmin_t ∈ Z {0.69, 0.91, 0.79, 0.89} = tx₁

• Realizacja rozgałęzień

- dla tx₁ = S, goto 2(1) // w drzewku wpisujemy x₁ (aura)

- dla tx₁ = P, …

- dla tx₁ = D, …

2(1) Kryterium stopu

• P : P = {1,2,8,9,11}, |P|=5 //wszystkie dla których x₁ = S

• P ≠ ∅ ani P nie zawiera rekordów należących wyłącznie do tej samej klasy

• KS nie spełnione, goto 2(2)

2(2) Utworzenie nowego węzła, wybór testu i realizacja rozgałęzień

• P : P = {1,2,8,9,11}, |P|=5

• Zbiór dostępnych testów Z={tx2, tx3, tx4} // już nie ma tx1

• Wyznaczanie E_t(P) dla t ∈ Z

Test tx₂, R_tx2 = {N, S, W}, //wybieramy tylko te ze zbioru Z, czyli oznaczone gwiazdkami w zbiorze L

|P_tx2 = N| = 1, |P_tx2 = N¹|=1,        |P_tx2 = N²|=0

|P_tx2 = S| = 2, |P_tx2 = S¹|=1,        |P_tx2 = S²|=1

|P_tx2 = W| = 2, |P_tx2 = W¹|=0,        |P_tx2 = W²|=2

$E_{tx2 = N}\left( P \right) = - \frac{1}{1}$ $\log_{2}\frac{1}{1}$ − $\frac{0}{1}$ $\log_{2}\frac{0}{1}$ = 0

$E_{tx2 = S}\left( P \right) = - \frac{1}{2}$ $\log_{2}\frac{1}{2}$ − $\frac{1}{2}$ $\log_{2}\frac{1}{2}$ = 1 $E_{tx2}\left( P \right) = \frac{1}{5}*$ $0 + \frac{2}{5}*1 + \frac{2}{5}$ *0 = 0.4

$E_{tx2 = W}\left( P \right) = - \frac{0}{2}$ $\log_{2}\frac{0}{2}$ − $\frac{2}{2}$ $\log_{2}\frac{2}{2}$ = 0

Test tx₃, R_tx3 = {N, W},

|P_tx3 = N| = 2, |P_tx3 = N¹|=2,        |P_tx3 = N²|=0

|P_tx3 = W| = 3, |P_tx3 = W¹|=0,        |P_tx3 = W²|=3

$E_{tx3 = N}\left( P \right) = - \frac{2}{2}$ $\log_{2}\frac{2}{2}$ − $\frac{0}{2}$ $\log_{2}\frac{0}{2}$ = 0 $E_{tx3}\left( P \right) = \frac{2}{5}*$ $0 + \frac{3}{5}*0 = 0$ //test najbardziej optymalny (nie ma sensu liczyć dalej)

$E_{tx3 = W}\left( P \right) = - \frac{0}{3}$ $\log_{2}\frac{0}{3}$ − $\frac{3}{3}$ $\log_{2}\frac{3}{3}$ = 0

Ponieważ E_tx3(P) = 0 test tx₄ pomijamy

Dokończyć na podst zeszytu i moniki