TEORIA STEROWNIA

Zajęcia nr 11

Analiza Szeregów Czasowych

SZEREGI CZASOWE

• Szereg czasowy – ciąg obserwacji pewnego zjawiska w kolejnych jednostkach czasu [def. statystyczna].

• Jeżeli zbiór obserwacji jest ciągły szereg czasowy nazywamy ciągłym. Jeśli zbiór jest dyskretny to szereg nazywamy dyskretnym.

• Time-Series Data, Time-related data – dane zmieniające się wraz z upływem czasu; dane zawierające serie (szeregi) wartości / wielkości zmieniających się w czasie.

• Wielkości mierzone na skalach liczbowych, na ogól w równych odstępach czasu; Kształt wykresu niesie istotną informacje.

Dane reprezentowane w postaci szeregów czasowych są popularne w wielu zastosowaniach, np.:

• Analiza danych giełdowych.

• Opracowywanie danych GUS (spójrz Roczniki

• Statystyczne lub Biuletyny Statystyczne).

• Wspomaganie decyzji w zarządzaniu przedsiębiorstwami, w szczególności tworzenie prognozy sprzedaży a także analiza dynamiki procesów produkcyjnych, zaopatrzenia, zapasów, finansów, siły roboczej.

• Analiza danych diagnostycznych i prognozy postępowania w medycynie.

• Analiza wyników eksperymentów naukowych.

• Analiza szeregów czasowych (ang. time series) jest powiązana z metodami prognozowania (ang. forecasting).

• Należy odróżnić time-series data od sequence data.

Szereg dyskretny:

t₁,  t₂,  …, t_N

z(t₁),  z(t₂),  …, z(t_N)

lub

z₁,  z₂,  …, z_N

i mierzone są w odstępach h.

Chwile czasowe można zatem opisać również następująco:

t₀, t₀ + h , t₀ + 2h,  …, t₀ + Nh

Stacjonarne procesy stochastyczne:

proces stochastyczny, w którym wszystkie momenty oraz momenty łączne są stałe.

N – obserwacji

z_t = φ₁z_t − 1 + φ₂z_t − 2 + … + a_t

Średnią procesu stochastycznego wyrażona jest wzorem:

μ = E[z_t] = ∫_−∞^∞zp(z)dz

gdzie p jest funkcją prawdopodobieństwa, a E oznacza wartość oczekiwaną.

Równanie to można zastąpić korzystając ze wzoru na średnią:

$$\overset{\overline{}}{z} = \frac{1}{N}\sum_{t = 1}^{N}z_{t}$$

$$\frac{1}{N^{2}}\sum_{t = 1}^{N}\left( z_{t} - \overset{\overline{}}{z} \right)\left( z_{t - k} - \overset{\overline{}}{z} \right)$$

Wariancja określona jest wzorem:

$$\sigma_{z}^{2} = \frac{1}{N}\sum_{t = 1}^{N}\left( z - \overset{\overline{}}{z} \right)^{2}$$

Autokowariancja:

γ_k = cov[z_t,z_t + k] = E[(z_t−μ)(z_t − k−μ)]

Gdzie k oznacza odstęp między (z_t,z_t + k)

Autokorelacja:

$$\varrho_{k} = \frac{E\left\lbrack \left( z_{t} - \mu \right)\left( z_{t - k} - \mu \right) \right\rbrack}{\sqrt{E\left\lbrack \left( z_{t} - \mu \right)^{2} \right\rbrack}\sqrt{E\left\lbrack \left( z_{t + k} - \mu \right)^{2} \right\rbrack}}$$

Którą można zastąpić wzorem:

$$\begin{matrix} \varrho_{k} = \frac{\gamma_{k}}{\gamma_{0}} \\ \gamma_{0} = 1 \\ \end{matrix}$$

ZADANIA:

1. Niżej podane są pomiary temperatury z w reaktorze chemicznym wykonane co minuta:

200,202,208,204,207,207,204,202,199,201,198,200,202,203,205,207,211,204,206,203,203,201,198, 200,206, 207,206,200,203,203,200,200,195,202,204.

• Wykonać wykres szeregu

• Wykonać wykres zależności z_t i z_t + 1 

• Wykonać wykres zależności z_t i z_t + 2

1. Pierwsze dwie autokorelacje procesu są równe niezerowe, a pozostałe równe zeru. Stwierdzić, Czy proces jest stacjonarny, czy nie?

• 𝜚₁ = 0, 80 𝜚₂ = 0, 55

• 𝜚₁ = 0, 80 𝜚₂ = 0, 28

Aby proces był stacjonarny macierz autokowariancji(symetryczna) $\mathbf{\Gamma}_{\mathbf{p}}\mathbf{=}\left\lbrack \begin{matrix} \begin{matrix} \mathbf{1} & \gamma_{1} \\ \gamma_{1} & \gamma_{0} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \gamma_{n - 1} & \gamma_{n - 2} \\ \end{matrix} \\ \end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix} \begin{matrix} \mathbf{\ldots} & \gamma_{n - 1} \\ \mathbf{\ldots} & \gamma_{n - 2} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \mathbf{\ldots} & \gamma_{0} \\ \end{matrix} \\ \end{matrix} \right\rbrack$

oraz odpowiadająca jej macierz autokorelacji

$$\mathbf{\Gamma}_{\mathbf{p}}\mathbf{=}\left\lbrack \begin{matrix} \begin{matrix} \mathbf{1} & \gamma_{1} \\ \gamma_{1} & \gamma_{0} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \gamma_{n - 1} & \gamma_{n - 2} \\ \end{matrix} \\ \end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix} \begin{matrix} \mathbf{\ldots} & \gamma_{n - 1} \\ \mathbf{\ldots} & \gamma_{n - 2} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \mathbf{\ldots} & \gamma_{0} \\ \end{matrix} \\ \end{matrix} \right\rbrack\mathbf{=}\sigma_{z}^{2}\left\lbrack \begin{matrix} \begin{matrix} \mathbf{1} & \varrho_{1} \\ \varrho_{1} & \varrho_{0} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \varrho_{n - 1} & \varrho_{n - 2} \\ \end{matrix} \\ \end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix} \begin{matrix} \mathbf{\ldots} & \varrho_{n - 1} \\ \mathbf{\ldots} & \varrho_{n - 2} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \mathbf{\ldots} & \varrho_{0} \\ \end{matrix} \\ \end{matrix} \right\rbrack\mathbf{=}\mathbf{P}_{\mathbf{p}}$$

dla n obserwacji muszą być dodatnio określone.

Rozważając funkcję liniową zmiennych losowych z₁, z_t − 1,  …, z_{t − n + 1} mamy:

L_i = l₁z_t + l₂z_t − 1 + … + l₂z_{t − n + 1}

$$var\lbrack L_{i}\rbrack = \sum_{i = 1}^{n}{\sum_{j = 1}^{m}l_{i}}l_{j}\gamma_{\left| j - i \right|}$$

co jest większe od zera, jeżeli nie wszystkie l_i są zerami.

1. Oblicz c₀, c₁, c₂,  r₁, r₂dla szeregu podanego w ćwiczeniu 1. Wykonać wykres r_k,  k = 0, 1, 2.

Model autoregresji (AR) rzędu p

Niech p początkowych wag przyjmuje wartości różne od zera

$${\tilde{z}}_{t} = \varphi_{1}{\tilde{z}}_{t - 1} + \varphi_{2}{\tilde{z}}_{t - 2} + \ldots + \ \varphi_{p}{\tilde{z}}_{t - p} + a_{t}$$

gdzie: φ₁, φ₂, …, φ_p- skończony układ parametrów wagowych

Proces ten nazywamy procesem autoregresji rzędu p lub w skrócie AR(p).

Można również zapisać jako:

$${{(1 + \varphi}_{1}B + \varphi_{2}B^{2} + \ldots + \ \varphi_{p}B^{p})\tilde{z}}_{t} = a_{t}$$

lub

$${\ \varphi(B)\tilde{z}}_{t} = a_{t}$$

gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$

Proces można traktować jako wyjście ${\ \tilde{z}}_{t}$ filtru liniowego z funkcją przenoszenia φ⁻¹(B) , w którym wejściem jest biały szum a_t, dlatego:

$${\ \tilde{z}}_{t} = {\varphi^{- 1}(B)a}_{t}$$

Model średniej ruchomej (MA) rzędu q

Niech p początkowych wag przyjmuje wartości różne od zera

$${\tilde{z}}_{t} = a_{t} - \theta_{1}a_{t - 1} - \theta_{2}a_{t - 2} - \ldots + \ \theta_{q}a_{t - q}$$

gdzie: θ₁, θ₂, …, θ- skończony układ parametrów wagowych

Proces ten nazywamy procesem średniej ruchomej rzędu q lub w skrócie MA(q).

Można również zapisać jako:

$${\tilde{z}}_{t} = {{(1 - \theta}_{1}B - \theta_{2}B^{2} + \ldots + \ \theta_{q}B^{q})a}_{t}$$

lub

$${\ \tilde{z}}_{t} = {\theta(B)a}_{t}$$

gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$

Warunki odwracalności:

$${{a_{t} = \varphi}^{- 1}(B)\ \tilde{z}}_{t}$$

Mieszany model autoregresji i średniej ruchomej (ARMA) rzędu p i q

Niech p początkowych wag przyjmuje wartości różne od zera

$${\tilde{z}}_{t} = {\varphi_{1}{\tilde{z}}_{t - 1} + \varphi_{2}{\tilde{z}}_{t - 2} + \ldots + \ \varphi_{p}{\tilde{z}}_{t - p} + a}_{t} - \theta_{1}a_{t - 1} - \theta_{2}a_{t - 2} - \ldots + \ \theta_{q}a_{t - q}$$

gdzie: θ₁, θ₂, …, θ- skończony układ parametrów wagowych

Proces ten nazywamy procesem średniej ruchomej rzędu q lub w skrócie ARMA(p,q).

Można również zapisać jako:

$${(1 + \varphi}_{1}B + \varphi_{2}B^{2} + \ldots + \ \varphi_{p}B^{p}){\tilde{z}}_{t} = {{(1 - \theta}_{1}B - \theta_{2}B^{2} + \ldots + \ \theta_{q}B^{q})a}_{t}$$

lub

$${\varphi(B)\ \tilde{z}}_{t} = {\theta(B)a}_{t}$$

gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$

Oznaczenia – symbole i definicje.

Dla liniowego równania różnicowe postaci:

y_t + a₁y_t − 1 + a₂y_t − 2 + … + a_nay_t − na =  b₀u_t + b₁u_t − 1 + … + b_nbu_t − nb + v(t)

przy czym a_t − 1, …, a_t − nasą nieznanymi wartościami parametrów obiektu, wielkości y_t − 1, …, y_t − na znanymi wielkościami wyjścia, u_t, u_t − 1, …, u_t − nb znanymi wielkościami wejścia, natomiast v(t) to zakłócenia.

Model ten da się zapisać za pomocą jednego wzoru:

y_t = φ^Tθ + v

gdzie przez φ oznaczamy wektor regresji, a przez θ wektor współczynników modelu.

W przypadku wyżej wymienionego modelu przez te oznaczenia rozumiemy:

φ = [ − y_t − 1, …, −y_t − na, u_t, u_t − 1, …, u_t − nb]^T

θ =  [ a₁,a₂,…,a_na,b₀,b₁,…b_nb]^T

Przyjmując, że zakłócenia v(t)  = [ε₁, ε₂, …, ε_n]^T są zmiennymi losowymi o wartości oczekiwanej: E(v) = 0

I macierz kowariancji: cov(v) = Iσ²

Metoda najmniejszych kwadratów (Least Squares - LS)

Współczynniki równania można znaleźć za pomocą wzoru:

θ = (Y^TY)⁻¹Y^Ty

gdzie Y oznacza macierz o wymiarze NxN gdzie N = n_a + n_b + 1 postaci:

$$Y = \begin{bmatrix} \begin{matrix} \begin{matrix} \begin{matrix} {- y}_{t - 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a}} & u_{t} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} {- y}_{t} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + 1} & u_{t + 1} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} & \begin{matrix} \ldots \\ \ldots \\ \end{matrix} & \begin{matrix} u_{t - n_{b}} \\ u_{t - n_{b} + 1} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} \begin{matrix} {- y}_{t + 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + 2} & u_{t + 2} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} \ldots & \ldots \\ \end{matrix} & \begin{matrix} \ldots & \ldots \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} & \begin{matrix} \ldots \\ \ldots \\ \end{matrix} & \begin{matrix} u_{t - n_{b} + 2} \\ \ldots \\ \end{matrix} \\ \begin{matrix} \begin{matrix} {- y}_{t + N - 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + N - 1} & u_{t + 2} \\ \end{matrix} \\ \end{matrix} & \ldots & u_{t - n_{b} + 2 + N - 1} \\ \end{bmatrix}$$

y = [y_t,y_t + 1,…,y_t + N]

Rozszerzona metoda najmniejszych kwadratów (Extended Least Squares - ELS)

Metoda ELS jest rozszerzeniem metody LS na układy, w których zakłócenia są ze sobą skorelowane. Model ten da się zapisać za pomocą wzoru:

y_t = φ^Tθ

gdzie przez φ oznaczamy wektor regresji, a przez θ wektor współczynników modelu.

W przypadku wyżej wymienionego modelu przez te oznaczenia rozumiemy:

φ = [−y_t − 1,…,−y_t − na,u_t,u_t − 1,…,u_t − nb,e_t,e_t − 1,…,e_t − nc]^T

θ =  [ a₁,a₂,…,a_na,b₀,b₁,…b_nb,c₀,c₁,…c_nc]^T

Współczynniki równania można znaleźć za pomocą wzoru:

θ = (Y^TY)⁻¹Y^Ty

gdzie Y oznacza macierz o wymiarze NxN gdzie N = n_a + n_b + n_c + 2 postaci:

$$Y = \begin{bmatrix} \begin{matrix} \begin{matrix} \begin{matrix} {- y}_{t - 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a}} & u_{t} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} {- y}_{t} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + 1} & u_{t + 1} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} & \begin{matrix} \ldots \\ \ldots \\ \end{matrix} & \begin{matrix} \begin{matrix} u_{t - n_{b}} & \begin{matrix} e_{t} & \begin{matrix} \ldots & e_{t - n_{c}} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} u_{t - n_{b} + 1} & \begin{matrix} e_{t + 1} & \begin{matrix} \ldots & e_{t - n_{c + 1}} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} \begin{matrix} {- y}_{t + 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + 2} & u_{t + 2} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} \ldots & \ldots \\ \end{matrix} & \begin{matrix} \ldots & \ldots \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} & \begin{matrix} \ldots \\ \ldots \\ \end{matrix} & \begin{matrix} \begin{matrix} u_{t - n_{b} + 2} & \begin{matrix} e_{t + 2} & \begin{matrix} \ldots & e_{t - n_{c + 2}} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \ldots & \begin{matrix} \ldots & \begin{matrix} \ldots & \ldots \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \begin{matrix} \begin{matrix} {- y}_{t + N - 1} & \ldots \\ \end{matrix} & \begin{matrix} {- y}_{t - n_{a} + N - 1} & u_{t + 2} \\ \end{matrix} \\ \end{matrix} & \ldots & \begin{matrix} u_{t - n_{b} + N - 1} & \begin{matrix} e_{t + N - 1} & \begin{matrix} & e_{t - n_{c} + N - 1} \\ \end{matrix} \\ \end{matrix} \\ \end{matrix} \\ \end{bmatrix}$$

y = [y_t,y_t + 1,…,y_t + N]