Prognozowanie i stymulacje - lab. 21.12.2003

WYKŁAD 4

Dr hab. profesor WSEI

Bartłomiej Beliczyński

http://acn.waw.op/barbel

MODELE ARMA I NARMA

Arma - model liniowy (Auto Regressive Moving .....)

Narma - model nieliniowy (...................................)

WYGŁADZANIE WYKŁADNICZE

y_t = au_t-1 + (1 - a) y_{t -1} → równanie rekurencyjne

model autoregresji

MODEL OGÓLNY

y_t = a₁y_t-1 + a₂y_t-2+ . . . + a_ny_t-n + b₁u_t-1 + b₂u_t-2+ . . . + b_nu_t-n

(+e₁)

oznacza błąd pomiędzy

lewą a prawa stroną

u y

Wejście Wyjście

Zapis macierzowy

Przyjmujemy oznaczenia

φ= fi → wartość zmiennej

θ= teta → parametry

y_t-1 a₁

y_t-2 a₂

. . . . . .

y_t-n a_n

φ_t-1 = u_t-1 θ = b₁

u_t-2 b₂

. . . . . .

u_t-n b_n

1

y_t *= wy_t-1 + wy_t-2+ wy_t-3

model nierekursywny

y y*

Model ARMA

y_t = b₁u_t-1 + b₂u_t-2 + b₃u_t-3 ARMA (0,3)

Model ten jest zawsze stabilny.

MA (3) - model

AR (3) → model autoregresywny o 3 współczynnikach.

y_t = a₁y_t-1 + a₂y_t-2 + a₃y_t-3 ARMA (3,0)

Ten model może być niestabilny - stabilność zależy od współczynników.

WYGŁADZANIE WYKŁADNICZE

y_t = a₁y_t-1 + b₁u_t-1 ARMA (1,1)

1-a a

Model ten jest stabilny jeżeli a należy do przedziału .....................

y_t = a₁y_t-1 ARMA (1,0)

Model ten może być niestabilny, natomiast jeżeli a ∈ [ -1,1] - to model ten jest stabilny.

Jeżeli jest 0 na pierwszym miejscu to model jest stabilny.

Stabilność zależy od a

a₁ w modelu y_t = a₁y_t-1 musi być równe [-1, 1], żeby był ten model stabilny.

y_t = φ^T_t-1 ∙ θ → model liniowy względem parametru.

Model ARMA liniowy.

^T - transponowany

y_t → y_t* → na wyjściu

u_t → y_t → na wejściu

2

y_t = φ^T_t-1 ∙ θ (+e_t )

Przykład

Dane { y_t }^N_i=1 → zbiór y dla i zmieniających się do N.

Model

y_t*= a₁y*_t-1 + b₁u_t-1 + b₂u_t-2 ARMA (1,2)

Szukane

Musimy znaleźć współczynniki:

a₁, b₁,b₂

Model NARMA

y_t = ƒ (y_t-1 ∙ u_t-2 . . . y_t-n ∙ u_t-1 ∙ u_t-2 . . . u_t-n )

ƒ -nieznana funkcja

przybliżenie ƒ nazywa się aproksymacją

SIECI NEWURONOWE

umieć aproksymować ƒ

Aproksymacje funkcji za pomocą sieci neuronowej.

Model neuronu

1957 r. w USA pan o nazwisku Rozenbach zbudował zespół komórek → komórki te zostały nazwane neuronami. Pierwsze były modele elektroniczne (inspiracją były organizmy żywe).

Prof. Gajda - Sieci neuronowe.

Model neuronu

x₁ +1 wektor różnych wartości

V₁ V₀

x₂

∙ u y x y

∙ V₂

∙

x_d V_d

model neuronu

wagi

3

V- wagi

u = v₀ + x₁ ∙ v₁ + x₂ ∙ v₂ + . . . x_d ∙ v_d

_{d -} oznacza ostatnią zmienną (wymiar przestrzeni zmiennej)

g - funkcja

y = g (u)

_d

y = g (v₀ + Σ vi x ) = g (a^T x)

ⁱ⁼¹

v₀ 1

v₁ x₁

a = . . . x = . . .

v_d x_d

y

g

0 u

funkcja sinoidalna

tangens inkorporacyjny

g - dowolna funkcja nie wielomianowa

Uniwersalny aproksymator ( struktura uniwersalna)

g(a₁^Tx)

w_t

x g(a₂^Tx) f

liniowy neuron

warstwa ^. warstwa

wyjściowa . w_n wejściowa

^.

g(a_n^Tx)

warstwa 4

ukryta

Funkcja jest zadana za pomocą przykładów realizacji ?

{xi yi}^N _i=1

xi ∈R^d x należy do wektora .......................

Zadanie

Znalezienie wszystkich parametrów tej sieci neuronowej

a₁, a_{2 . . .} a_n

w₁, w_{2 . . .} w_n

Ile parametrów zawiera neuron ?

Pojedynczy neuron zawiera d + 1 parametrów.

Uniwersalny aproksyman n - neuronów w warstwie ukrytej to znaczy wag (d + 1)n

Razem n + (d +1) ∙ n

Jest to funkcja 5 zmiennych

d = 5

n = 10

Razem 10 + (5 +1) ∙ 10 = 70

x= x₁ g (a₁^T∙x₁) g (a₂^T∙x₁) . . . g (a_n^T∙x₁) w₁ f₁ y₁

x= x₂ g (a₁^T∙x₂) g (a₂^T∙x₂) . . . g (a_n^T∙x₂) w₂ f₂ y₂

⋅ ⋅ ⋅ ⋅

⋅ ⋅ ⋅ = .

⋅ ⋅ ⋅ ⋅

x = x_N g (a₁^T∙x_N) g (a₂^T∙x_N) . . . g (a_n^T∙x_N) w_n f_N y_N

min│F-y│²

względem parametru

a_1, a₂ . . . a_n

w_1, w_{1 . . .}w_n

Oprogramowanie

Prognozowanie - ang. forecasting

Software Programs for Forecasting

25.01.2003 Egzamin z prognozowania i symulacji sala a 6

Egzamin bez notatek

Nauczyć się wzorów - materiały wykładowe + problematyka

5

PYTANIA NA EGZAMIN

Na czym polega aproksymacja funkcji za pomocą sieci neuronowej ?

Funkcja jest określona za pomocą par liczb. Funkcja → argument.

Korzystanie z uniwersalnego aproksymatora. Wybieramy liczbę neuronów warstwy ukrytej. Znajdujemy parametry.

Jeżeli jest za mała dokładność należy zwiększyć liczę neuronów warstwy ukrytej.

Nie należy dodawać zbyt wielu neuronów warstwy ukrytej.

Proszę podać równanie modelu ARMA (1,3) i równanie modelu jego stabilności ?

y_t = a₁y_t-1 + b₁yu_t-1 + b₂yu_t-2 + b₃yu_t-3

Czy może ono być niestabilne → tak może.

Stabilne jest wtedy kiedy spełnia warunek stabilności a ∈ [ -1, +1] .

Jeżeli jest więcej współczynników niż jeden mogą być kłopoty ze stabilnością.

Model ARIMA - oznacza infregreyd.

6

g

Σ

---