TEORIA STEROWNIA
Zajęcia nr 11
Analiza Szeregów Czasowych
SZEREGI CZASOWE
Szereg czasowy – ciąg obserwacji pewnego zjawiska w kolejnych jednostkach czasu [def. statystyczna].
Jeżeli zbiór obserwacji jest ciągły szereg czasowy nazywamy ciągłym. Jeśli zbiór jest dyskretny to szereg nazywamy dyskretnym.
Time-Series Data, Time-related data – dane zmieniające się wraz z upływem czasu; dane zawierające serie (szeregi) wartości / wielkości zmieniających się w czasie.
Wielkości mierzone na skalach liczbowych, na ogól w równych odstępach czasu; Kształt wykresu niesie istotną informacje.
Dane reprezentowane w postaci szeregów czasowych są popularne w wielu zastosowaniach, np.:
Analiza danych giełdowych.
Opracowywanie danych GUS (spójrz Roczniki
Statystyczne lub Biuletyny Statystyczne).
Wspomaganie decyzji w zarządzaniu przedsiębiorstwami, w szczególności tworzenie prognozy sprzedaży a także analiza dynamiki procesów produkcyjnych, zaopatrzenia, zapasów, finansów, siły roboczej.
Analiza danych diagnostycznych i prognozy postępowania w medycynie.
Analiza wyników eksperymentów naukowych.
Analiza szeregów czasowych (ang. time series) jest powiązana z metodami prognozowania (ang. forecasting).
Należy odróżnić time-series data od sequence data.
Szereg dyskretny:
t1, t2, …, tN
z(t1), z(t2), …, z(tN)
lub
z1, z2, …, zN
i mierzone są w odstępach h.
Chwile czasowe można zatem opisać również następująco:
t0, t0 + h , t0 + 2h, …, t0 + Nh
Stacjonarne procesy stochastyczne:
proces stochastyczny, w którym wszystkie momenty oraz momenty łączne są stałe.
N – obserwacji
zt = φ1zt − 1 + φ2zt − 2 + … + at
Średnią procesu stochastycznego wyrażona jest wzorem:
μ = E[zt] = ∫−∞∞zp(z)dz
gdzie p jest funkcją prawdopodobieństwa, a E oznacza wartość oczekiwaną.
Równanie to można zastąpić korzystając ze wzoru na średnią:
$$\overset{\overline{}}{z} = \frac{1}{N}\sum_{t = 1}^{N}z_{t}$$
$$\frac{1}{N^{2}}\sum_{t = 1}^{N}\left( z_{t} - \overset{\overline{}}{z} \right)\left( z_{t - k} - \overset{\overline{}}{z} \right)$$
Wariancja określona jest wzorem:
$$\sigma_{z}^{2} = \frac{1}{N}\sum_{t = 1}^{N}\left( z - \overset{\overline{}}{z} \right)^{2}$$
Autokowariancja:
γk = cov[zt,zt + k] = E[(zt−μ)(zt − k−μ)]
Gdzie k oznacza odstęp między (zt,zt + k)
Autokorelacja:
$$\varrho_{k} = \frac{E\left\lbrack \left( z_{t} - \mu \right)\left( z_{t - k} - \mu \right) \right\rbrack}{\sqrt{E\left\lbrack \left( z_{t} - \mu \right)^{2} \right\rbrack}\sqrt{E\left\lbrack \left( z_{t + k} - \mu \right)^{2} \right\rbrack}}$$
Którą można zastąpić wzorem:
$$\begin{matrix}
\varrho_{k} = \frac{\gamma_{k}}{\gamma_{0}} \\
\gamma_{0} = 1 \\
\end{matrix}$$
ZADANIA:
Niżej podane są pomiary temperatury z w reaktorze chemicznym wykonane co minuta:
200,202,208,204,207,207,204,202,199,201,198,200,202,203,205,207,211,204,206,203,203,201,198, 200,206, 207,206,200,203,203,200,200,195,202,204.
Wykonać wykres szeregu
Wykonać wykres zależności zt i zt + 1
Wykonać wykres zależności zt i zt + 2
Pierwsze dwie autokorelacje procesu są równe niezerowe, a pozostałe równe zeru. Stwierdzić, Czy proces jest stacjonarny, czy nie?
𝜚1 = 0, 80 𝜚2 = 0, 55
𝜚1 = 0, 80 𝜚2 = 0, 28
Aby proces był stacjonarny macierz autokowariancji(symetryczna) $\mathbf{\Gamma}_{\mathbf{p}}\mathbf{=}\left\lbrack \begin{matrix} \begin{matrix} \mathbf{1} & \gamma_{1} \\ \gamma_{1} & \gamma_{0} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \gamma_{n - 1} & \gamma_{n - 2} \\ \end{matrix} \\ \end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix} \begin{matrix} \mathbf{\ldots} & \gamma_{n - 1} \\ \mathbf{\ldots} & \gamma_{n - 2} \\ \end{matrix} \\ \begin{matrix} \mathbf{\ldots} & \mathbf{\ldots} \\ \mathbf{\ldots} & \gamma_{0} \\ \end{matrix} \\ \end{matrix} \right\rbrack$
oraz odpowiadająca jej macierz autokorelacji
$$\mathbf{\Gamma}_{\mathbf{p}}\mathbf{=}\left\lbrack \begin{matrix}
\begin{matrix}
\mathbf{1} & \gamma_{1} \\
\gamma_{1} & \gamma_{0} \\
\end{matrix} \\
\begin{matrix}
\mathbf{\ldots} & \mathbf{\ldots} \\
\gamma_{n - 1} & \gamma_{n - 2} \\
\end{matrix} \\
\end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix}
\begin{matrix}
\mathbf{\ldots} & \gamma_{n - 1} \\
\mathbf{\ldots} & \gamma_{n - 2} \\
\end{matrix} \\
\begin{matrix}
\mathbf{\ldots} & \mathbf{\ldots} \\
\mathbf{\ldots} & \gamma_{0} \\
\end{matrix} \\
\end{matrix} \right\rbrack\mathbf{=}\sigma_{z}^{2}\left\lbrack \begin{matrix}
\begin{matrix}
\mathbf{1} & \varrho_{1} \\
\varrho_{1} & \varrho_{0} \\
\end{matrix} \\
\begin{matrix}
\mathbf{\ldots} & \mathbf{\ldots} \\
\varrho_{n - 1} & \varrho_{n - 2} \\
\end{matrix} \\
\end{matrix}\mathbf{\text{\ \ \ }}\begin{matrix}
\begin{matrix}
\mathbf{\ldots} & \varrho_{n - 1} \\
\mathbf{\ldots} & \varrho_{n - 2} \\
\end{matrix} \\
\begin{matrix}
\mathbf{\ldots} & \mathbf{\ldots} \\
\mathbf{\ldots} & \varrho_{0} \\
\end{matrix} \\
\end{matrix} \right\rbrack\mathbf{=}\mathbf{P}_{\mathbf{p}}$$
dla n obserwacji muszą być dodatnio określone.
Rozważając funkcję liniową zmiennych losowych z1, zt − 1, …, zt − n + 1 mamy:
Li = l1zt + l2zt − 1 + … + l2zt − n + 1
$$var\lbrack L_{i}\rbrack = \sum_{i = 1}^{n}{\sum_{j = 1}^{m}l_{i}}l_{j}\gamma_{\left| j - i \right|}$$
co jest większe od zera, jeżeli nie wszystkie li są zerami.
𝜚1 = 0, 80 𝜚2 = 0, 55
$$\text{\ \ }\left| \begin{matrix}
\begin{matrix}
1 & 0,8 \\
0,8 & 1 \\
\end{matrix} & \begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
1 & \ldots \\
\ldots & 1 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ddots & 0 \\
\ldots & 1 \\
\end{matrix} \\
\end{matrix} \right|$$
Załóżmy, że mamy N obserwacji. Korzystając w rozwinięcia Laplace’a do wyznaczania wyznaczników macierzy otrzymywalibyśmy kolejno rozwinięcia względem i tego wiersza i tej kolumny:
$$\left| \begin{matrix}
\begin{matrix}
1 & 0,8 \\
0,8 & 1 \\
\end{matrix} & \begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
1 & \ldots \\
\ldots & 1 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ddots & 0 \\
\ldots & 1 \\
\end{matrix} \\
\end{matrix} \right| = {( - 1)}^{i + i}\left| \begin{matrix}
\begin{matrix}
1 & 0,8 \\
0,8 & 1 \\
\end{matrix} & \begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
0,55 & 0 \\
0 & 0 \\
\end{matrix} & \begin{matrix}
1 & \ldots \\
\ldots & 1 \\
\end{matrix} & \begin{matrix}
\ldots & 0 \\
\ldots & 0 \\
\end{matrix} \\
\begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ldots & \ldots \\
0 & 0 \\
\end{matrix} & \begin{matrix}
\ddots & 0 \\
\ldots & 1 \\
\end{matrix} \\
\end{matrix} \right| = \ldots$$
Ponieważ rozwijalibyśmy tylko za pomocą kolumny i i wiersza i wynik byłby parzysty, -1 do potęgo parzystej dawało by 1 , więc wyznacznik nie zmieniałby znaku.
Doszlibyśmy w końcu do macierzy: $\left| \begin{matrix} 1 & 0,8 & 0,55 \\ 0,8 & 1 & 0 \\ 0,55 & 0 & 1 \\ \end{matrix} \right|$
Zatem wyznacznik macierzy byłby równy:
$${( - 1)}^{1 + 3} \bullet 0,55\left| \begin{matrix}
0,8 & 1 \\
0,55 & 0 \\
\end{matrix} \right| + {( - 1)}^{3 + 3} \bullet 1\left| \begin{matrix}
1 & 0,8 \\
0,8 & 1 \\
\end{matrix} \right| = 0,6$$
Proces byłby stacjonarny.
𝜚1 = 0, 80 𝜚2 = 0, 28
Postępując analogicznie otrzymamy macierz:
$$\left| \begin{matrix}
1 & 0,8 & 0,28 \\
0,8 & 1 & 0 \\
0,28 & 0 & 1 \\
\end{matrix} \right| = 0,28$$
Oblicz sty matę funkcji autokowariancji i funkcji autokorelacji dla dziesięciu wartości procesu chemicznego.
ESTYMACJA FUNKCJI AUTOKOWARIANCJI I AUTOKORELACJI
Mamy szereg czasowy z1, z2, …, zN.
N- ilość obserwacji.
Z szeregu czasowego możemy jedynie otrzymać estymatory funkcji autokorelacji.
Z obserwacji innych badaczy wynika, że najbardziej zadawalającym estymatorem autokorelacji 𝜚k jest:
$$r_{k} = \ \frac{c_{k}}{c_{0}}$$
$$c_{k} = \frac{1}{N}\sum_{t = 1}^{N - k}\left( z_{t} - \overset{\overline{}}{z} \right)\left( z_{t + k} - \overset{\overline{}}{z} \right),\ k = 0,1,2,\ldots K$$
ck- estymator kowariancji
$\overset{\overline{}}{z}$- średnia szeregu czasowego
γk-estymator autokowariancji kowariancji
Trzeba wykonać więcej niż 50 obserwacji, a estymowane autokorelacje rk powinny być obliczone dla k=0,1,2,…K gdzie K jest w przybliżeniu większe niż N/4.
EX.
N=10
| t | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| z(t) | 47,00 | 64,00 | 23,00 | 71,00 | 38,00 | 64,00 | 55,00 | 41,00 | 59,00 | 48,00 |
Na początku należy obliczyć wartość średnią:
$$\overset{\overline{}}{z} = \frac{1}{N}\sum_{t = 1}^{N}z_{t} = 51$$
a potem odchylenia wokół wartości średniej:
| t | $$z_{t} - \overset{\overline{}}{z}$$ |
|---|---|
| 1 | -4,00 |
| 2 | 13,00 |
| 3 | -28,00 |
| 4 | 20,00 |
| 5 | -13,00 |
| 6 | 13,00 |
| 7 | 4,00 |
| 8 | -10,00 |
| 9 | 8,00 |
| 10 | -3,00 |
Następnie trzeba policzyć ck:
$$c_{0} = \frac{1}{10}\lbrack\left( - 4 \right) \bullet \left( - 4 \right) + 13 \bullet 13 + \left( - 28 \right) \bullet \left( - 28 \right) + \ldots + \ 8 \bullet 8 + \left( - 3 \right) \bullet \left( - 3 \right)\rbrack = 189,6$$
$$c_{1} = \frac{1}{10}\lbrack\left( - 4 \right) \bullet 13 + 13 \bullet \left( - 28 \right) + \left( - 28 \right) \bullet 20 + \ldots + \left( - 1 \right) \bullet 8 + 8 \bullet \left( - 3 \right)\rbrack = 149,7$$
Obliczając wszystkie ck możemy przejść do obliczenia rk. Otrzymujemy więc:
ck |
rk |
|
|---|---|---|
| 0 | 189,6 | 1,00 |
| 1 | -149,7 | -0,79 |
| 2 | 87,6 | 0,46 |
| 3 | -57,1 | -0,30 |
| 4 | -23,4 | -0,12 |
| 5 | 47,9 | 0,25 |
| 6 | -43 | -0,23 |
| 7 | 22,8 | 0,12 |
| 8 | -7,1 | -0,04 |
| 9 | 1,2 | 0,01 |
Oblicz c0, c1, c2, r1, r2dla szeregu podanego w ćwiczeniu 1. Wykonać wykres rk, k = 0, 1, 2.
Z szeregu czasowego możemy jedynie otrzymać estymatory funkcji autokorelacji.
Z obserwacji innych badaczy wynika, że najbardziej zadawalającym estymatorem autokorelacji 𝜚k jest:
$$r_{k} = \ \frac{c_{k}}{c_{0}}$$
$$c_{k} = \frac{1}{N}\sum_{t = 1}^{N - k}\left( z_{t} - \overset{\overline{}}{z} \right)\left( z_{t + k} - \overset{\overline{}}{z} \right),\ k = 0,1,2,\ldots K$$
ck- estymator kowariancji
$\overset{\overline{}}{z}$- średnia szeregu czasowego
γk-estymator autokowariancji kowariancji
200,202,208,204,207,207,204,202,199,201,198,200,202,203,205,207,211,204,206,203,203,201,198, 200,206, 207,206,200,203,203,200,200,195,202,204.
Na początku należy obliczyć wartość średnią:
$$\overset{\overline{}}{z} = \sum_{t = 1}^{N}z_{t} = 202,89$$
a potem odchylenia wokół wartości średniej dla każdego t:
$$z_{t} - \overset{\overline{}}{z}$$
| t | $$z_{t} - \overset{\overline{}}{z}$$ |
|---|---|
| 1 | -2,89 |
| 2 | -0,89 |
| 3 | 5,11 |
| 4 | 1,11 |
| 5 | 4,11 |
| 6 | 4,11 |
| 7 | 1,11 |
| 8 | -0,89 |
| 9 | -3,89 |
| 10 | -1,89 |
| 11 | -4,89 |
| 12 | -2,89 |
| 13 | -0,89 |
| 14 | 0,11 |
| 15 | 2,11 |
| 16 | 4,11 |
| 17 | 8,11 |
| 18 | 1,11 |
| 19 | 3,11 |
| 20 | 0,11 |
| 21 | 0,11 |
| 22 | -1,89 |
| 23 | -4,89 |
| 24 | -2,89 |
| 25 | 3,11 |
| 26 | 4,11 |
| 27 | 3,11 |
| 28 | -2,89 |
| 29 | 0,11 |
| 30 | 0,11 |
| 31 | -2,89 |
| 32 | -2,89 |
| 33 | -7,89 |
| 34 | -0,89 |
| 35 | 1,11 |
Następnie trzeba policzyć ck:
$$c_{0} = \frac{1}{10}\lbrack\left( - 2,89 \right) \bullet \left( - 2,89 \right) + \left( - 0,89 \right) \bullet \left( - 0,89 \right) + 5,11 \bullet 5,11 + \ldots + \left( - 0,89 \right) \bullet ( - 0,89) + 1,11 \bullet 1,11\rbrack = 10,96$$
$$c_{1} = \frac{1}{10}\lbrack\left( - 2,89 \right) \bullet \left( - 0,89 \right) + \left( - 0,89 \right) \bullet 5,11 + 5,11 \bullet 1,11 + \ldots + \left( - 7,89 \right) \bullet ( - 0,89) + ( - 0,89) \bullet 1,11\rbrack = 5,36$$
$$c_{2} = \frac{1}{10}\lbrack\left( - 2,89 \right) \bullet 5,11 + \left( - 0,89 \right) \bullet 1,11 + 5,11 \bullet 4,11 + \ldots + \left( - 2,89 \right) \bullet ( - 0,89) + \left( - 7,89 \right) \bullet 1,11\rbrack = 2,11$$
c0 |
10,96 |
|---|---|
c1 |
5,36 |
c2 |
2,11 |
Obliczając wszystkie ck możemy przejść do obliczenia rk. Otrzymujemy więc:
r0 |
1 |
|---|---|
r1 |
0,49 |
r2 |
0,19 |
Model autoregresji (AR) rzędu p
Niech p początkowych wag przyjmuje wartości różne od zera
$${\tilde{z}}_{t} = \varphi_{1}{\tilde{z}}_{t - 1} + \varphi_{2}{\tilde{z}}_{t - 2} + \ldots + \ \varphi_{p}{\tilde{z}}_{t - p} + a_{t}$$
gdzie: φ1, φ2, …, φp- skończony układ parametrów wagowych
Proces ten nazywamy procesem autoregresji rzędu p lub w skrócie AR(p).
Można również zapisać jako:
$${{(1 + \varphi}_{1}B + \varphi_{2}B^{2} + \ldots + \ \varphi_{p}B^{p})\tilde{z}}_{t} = a_{t}$$
lub
$${\ \varphi(B)\tilde{z}}_{t} = a_{t}$$
gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$
Proces można traktować jako wyjście ${\ \tilde{z}}_{t}$ filtru liniowego z funkcją przenoszenia φ−1(B) , w którym wejściem jest biały szum at, dlatego:
$${\ \tilde{z}}_{t} = {\varphi^{- 1}(B)a}_{t}$$
Model średniej ruchomej (MA) rzędu q
Niech p początkowych wag przyjmuje wartości różne od zera
$${\tilde{z}}_{t} = a_{t} - \theta_{1}a_{t - 1} - \theta_{2}a_{t - 2} - \ldots + \ \theta_{q}a_{t - q}$$
gdzie: θ1, θ2, …, θ- skończony układ parametrów wagowych
Proces ten nazywamy procesem średniej ruchomej rzędu q lub w skrócie MA(q).
Można również zapisać jako:
$${\tilde{z}}_{t} = {{(1 - \theta}_{1}B - \theta_{2}B^{2} + \ldots + \ \theta_{q}B^{q})a}_{t}$$
lub
$${\ \tilde{z}}_{t} = {\theta(B)a}_{t}$$
gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$
Warunki odwracalności:
$${{a_{t} = \varphi}^{- 1}(B)\ \tilde{z}}_{t}$$
Mieszany model autoregresji i średniej ruchomej (ARMA) rzędu p i q
Niech p początkowych wag przyjmuje wartości różne od zera
$${\tilde{z}}_{t} = {\varphi_{1}{\tilde{z}}_{t - 1} + \varphi_{2}{\tilde{z}}_{t - 2} + \ldots + \ \varphi_{p}{\tilde{z}}_{t - p} + a}_{t} - \theta_{1}a_{t - 1} - \theta_{2}a_{t - 2} - \ldots + \ \theta_{q}a_{t - q}$$
gdzie: θ1, θ2, …, θ- skończony układ parametrów wagowych
Proces ten nazywamy procesem średniej ruchomej rzędu q lub w skrócie ARMA(p,q).
Można również zapisać jako:
$${(1 + \varphi}_{1}B + \varphi_{2}B^{2} + \ldots + \ \varphi_{p}B^{p}){\tilde{z}}_{t} = {{(1 - \theta}_{1}B - \theta_{2}B^{2} + \ldots + \ \theta_{q}B^{q})a}_{t}$$
lub
$${\varphi(B)\ \tilde{z}}_{t} = {\theta(B)a}_{t}$$
gdzie operator: $B^{p} = \ {\tilde{z}}_{t - p}$
Oznaczenia – symbole i definicje.
Dla liniowego równania różnicowe postaci:
yt + a1yt − 1 + a2yt − 2 + … + anayt − na=
b0ut + b1ut − 1 + … + bnbut − nb + v(t)
przy czym at − 1, …, at − nasą nieznanymi wartościami parametrów obiektu, wielkości yt − 1, …, yt − na znanymi wielkościami wyjścia, ut, ut − 1, …, ut − nb znanymi wielkościami wejścia, natomiast v(t) to zakłócenia.
Model ten nazywany jest modelem autoregresji i średniej ruchomej w skrócie ARMA.
Model ten da się zapisać za pomocą jednego wzoru:
yt = φTθ + v
gdzie przez φ oznaczamy wektor regresji, a przez θ wektor współczynników modelu.
W przypadku wyżej wymienionego modelu przez te oznaczenia rozumiemy:
φ = [ − yt − 1, …, −yt − na, ut, ut − 1, …, ut − nb]T
θ = [ a1,a2,…,ana,b0,b1,…bnb]T
Przyjmując, że zakłócenia v(t) = [ε1, ε2, …, εn]T są zmiennymi losowymi o wartości oczekiwanej: E(v) = 0
I macierz kowariancji: cov(v) = Iσ2
Metoda najmniejszych kwadratów (Least Squares - LS)
Współczynniki równania można znaleźć za pomocą wzoru:
θ = (YTY)−1YTy
gdzie Y oznacza macierz o wymiarze NxN gdzie N = na + nb + 1 postaci:
$$Y = \begin{bmatrix}
\begin{matrix}
\begin{matrix}
\begin{matrix}
{- y}_{t - 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a}} & u_{t} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
{- y}_{t} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + 1} & u_{t + 1} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} & \begin{matrix}
\ldots \\
\ldots \\
\end{matrix} & \begin{matrix}
u_{t - n_{b}} \\
u_{t - n_{b} + 1} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
\begin{matrix}
{- y}_{t + 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + 2} & u_{t + 2} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
\ldots & \ldots \\
\end{matrix} & \begin{matrix}
\ldots & \ldots \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} & \begin{matrix}
\ldots \\
\ldots \\
\end{matrix} & \begin{matrix}
u_{t - n_{b} + 2} \\
\ldots \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
{- y}_{t + N - 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + N - 1} & u_{t + 2} \\
\end{matrix} \\
\end{matrix} & \ldots & u_{t - n_{b} + 2 + N - 1} \\
\end{bmatrix}$$
y = [yt,yt + 1,…,yt + N]
Rozszerzona metoda najmniejszych kwadratów (Extended Least Squares - ELS)
Metoda ELS jest rozszerzeniem metody LS na układy, w których zakłócenia są ze sobą skorelowane. Model ten da się zapisać za pomocą wzoru:
yt = φTθ
gdzie przez φ oznaczamy wektor regresji, a przez θ wektor współczynników modelu.
W przypadku wyżej wymienionego modelu przez te oznaczenia rozumiemy:
φ = [−yt − 1,…,−yt − na,ut,ut − 1,…,ut − nb,et,et − 1,…,et − nc]T
θ = [ a1,a2,…,ana,b0,b1,…bnb,c0,c1,…cnc]T
Współczynniki równania można znaleźć za pomocą wzoru:
θ = (YTY)−1YTy
gdzie Y oznacza macierz o wymiarze NxN gdzie N = na + nb + nc + 2 postaci:
$$Y = \begin{bmatrix}
\begin{matrix}
\begin{matrix}
\begin{matrix}
{- y}_{t - 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a}} & u_{t} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
{- y}_{t} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + 1} & u_{t + 1} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} & \begin{matrix}
\ldots \\
\ldots \\
\end{matrix} & \begin{matrix}
\begin{matrix}
u_{t - n_{b}} & \begin{matrix}
e_{t} & \begin{matrix}
\ldots & e_{t - n_{c}} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
u_{t - n_{b} + 1} & \begin{matrix}
e_{t + 1} & \begin{matrix}
\ldots & e_{t - n_{c + 1}} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
\begin{matrix}
{- y}_{t + 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + 2} & u_{t + 2} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
\ldots & \ldots \\
\end{matrix} & \begin{matrix}
\ldots & \ldots \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} & \begin{matrix}
\ldots \\
\ldots \\
\end{matrix} & \begin{matrix}
\begin{matrix}
u_{t - n_{b} + 2} & \begin{matrix}
e_{t + 2} & \begin{matrix}
\ldots & e_{t - n_{c + 2}} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\ldots & \begin{matrix}
\ldots & \begin{matrix}
\ldots & \ldots \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\begin{matrix}
\begin{matrix}
{- y}_{t + N - 1} & \ldots \\
\end{matrix} & \begin{matrix}
{- y}_{t - n_{a} + N - 1} & u_{t + 2} \\
\end{matrix} \\
\end{matrix} & \ldots & \begin{matrix}
u_{t - n_{b} + N - 1} & \begin{matrix}
e_{t + N - 1} & \begin{matrix}
& e_{t - n_{c} + N - 1} \\
\end{matrix} \\
\end{matrix} \\
\end{matrix} \\
\end{bmatrix}$$
y = [yt,yt + 1,…,yt + N]