Metody najmniejszych kwadratów i
modele parametryczne
Piotr Kurowski, Joanna Iwaniec
Faculty of Mechanical Engineering and Robotics
Department of Robotics and Mechatronics
Krakow, 2013
Plan
1. Metodę najmniejszych kwardatów
2. Uogólniona metoda najmniejszych kwadratów
3. Metoda ze średnią ruchomą
4. Modele regresyjne - Matlab
2
METODA NAJMNIEJSZYCH KWADRATÓW
3
Metoda Najmniejszych Kwadratów
K. F. Gauss  twórca metody
" Najmniejszy błąd kwadratowy jako kryterium oceny, stąd
nazwa metody najmniejszych kwadratów MNK
" Najlepsze oszacowania (estymaty) parametrów modelu
otrzymujemy wybierając je tak, aby suma kwadratów różnic
wartości zmierzonych i przewidywanych osiągnęła minimum
4
Metoda Najmniejszych Kwadratów
Model jest tym lepiej dopasowany do danych rzeczywistych, im
różnice miedzy zaobserwowanymi wartościami zmiennej
objaśnianej, a jej wartościami teoretycznymi są mniejsze
Założenia w metodzie najmniejszych kwadratów:
" brak autokorelacji odchyleń losowych
" stałość wariancji odchyleń losowych
" nielosowy charakter zmiennych objaśniających
" liczba punktów pomiarowych jest znacznie większa niż ilość
poszukiwanych parametrów
" sygnały pomiarowe są zakłócone szumem białym
5
Metoda Najmniejszych Kwadratów
Będziemy rozważać zbiór danych eksperymentalnych w postaci
par współrzędnych punktów , o których zakładamy, że są
xi ,yi
związane określoną zależnością funkcyjną:
y= f ( x, b0 , b1 , b2 , b3...) (1)
Problem określenia funkcji sprowadza się do wyznaczenia
b0 , b1 , b2 , b3...
wartości stałych
Funkcję z równania (1) możemy zapisać w postaci sumy:
m
f ( x,²)= X ² (2)
"
j j
j=1
X
Gdzie: - jest funkcjÄ… x
6
j
Metoda Najmniejszych Kwadratów
Celem nie jest znalezienie równania krzywej, która dokładnie
przejdzie przez wszystkie punkty eksperymentalne a jedynie
takiej, dla której rozbieżności pomiędzy mierzonymi wartościami
f ( xi)
a wartościami wyznaczonej funkcji będą
yi( xi )
najmniejsze
" Funkcja błędu dla równania (1) przyjmuje postać:
n
(3)
S= [ yi- f ( xi,b0 ,b1 ,b2 ,...bk )]2=min
"
i=1
f ( x,bk )
W ogólnym przypadku funkcja może być liniowa lub
nieliniowa względem parametrów
bk
" Funkcja błędu dla równania (2) przyjmuje postać:
n m
S= [ yi- X ² ]2=min
" " (4)
ij j
7
i=1 j=1
Metoda Najmniejszych Kwadratów
Minimalizacja wartości S z równania (3 i 4) polega na określeniu
warunków jednoczesnego zachodzenia, czyli przyrównaniu jej
pochodnych czÄ…stkowych do zera:
" S " S " S " S
(5)
=0, =0, =0,..., =0
"b0 "b1 " b2 "bk
Powyższy układ równań w ogólnym przypadku po rozwinięciu
funkcji f w szereg Taylora i ograniczeniu do wyrazów pierwszego
rzędu, przybiera postać układu wielomianów względem
b
niewiadomych stałych k i nosi nazwę układu równań
normalnych
8
Metoda Najmniejszych Kwadratów
" Dla równania (3) wzór na jedną z pochodnych cząstkowych
przyjmuje postać:
n
" f ( xi ,b0 ,b1,... ,bk)
" S
(6)
=-2 [ yi- f ( xi ,b0 ,b1 ,b2 ,...bk )]=0
"
"b " b
i=1
j j
" Dla równania (4) wzór na jedną z pochodnych cząstkowych
przyjmuje postać:
n m
" S
=-2 X yi- X ² =0
" "
ij ik k (7)
( )
" ²
j i=1 k=1
9
Metoda Najmniejszych Kwadratów
Po uporządkowaniu równania (7) otrzymujemy:
n m n
X X ²k= X yi
"" "
(8)
ik ij ij
i=1 k=1 i=1
W postaci macierzowej:
T
(9)
XT X²=X y
RozwiÄ…zanie równania (9) wzglÄ™dem ² daje poszukiwane
współczynniki
10
Metoda Najmniejszych Kwadratów
Przykład
Przypadek regresji liniowej
( x1,x2,... ,xn),( y1 ,y2,... ,yn)
Dane:
f ( x)=b1 x+b0
Szukane:
y
Różnicę pomiędzy wartością zmierzoną, a przybliżaną przez
y1
dopasowaną linię wyraża zależność:
µ1(b1,b0
µ2(b1,b0
µ1(b1 ,b0)=y1-(b1 x1+b0)
)
)
y2
µ2(b1 ,b0)=y2-(b1 x2+b0)
î"
µn(b1 ,b0)=yn-(b1 xn+b0)
x
x1 x2
11
0
b
+
x
1
b
=
)
x
(
f
Metoda Najmniejszych Kwadratów
Przykład
b1 ,b0
Cel: Wyznaczenie takich dla których różnica między
wartością daną y, a wyznaczoną prostą f(x) była jak
najmniejsza
Na podstawie wzoru (3):
2 2 2
S= y1- f ( x1) + y2- f ( x2) +. ..+ yn- f ( xn) =
[ ] [ ] [ ]
2 2 2
y1-(b1 x1+b0) + y2-(b1 x2+b0) +...+ yn-(b1 xn+b0) =
[ ] [ ] [ ]
n
2
yi-(b1 xi+b0) =min
"
[ ]
i=1
Obliczenie parametrów prostej regresji sprowadza się do
b1 ,b0
obliczenia pochodnych względem zmiennych i
przyrównaniu ich do zera
12
Metoda Najmniejszych Kwadratów
Przykład
Na podstawie równania (6):
"S
=-2x1 1-(b1 x1+b0)
[y ]-2x [y -(b1 x2+b0)]-...-2x [y -(b1 xn+b0)]=0
2 2 n n
"b1
"S
=-2 -(b1 x1+b0 )
[y ]-2[y -(b1 x2+b0)]-...-2[y -(b1 xn+b0)]=0
1 2 n
"b0
Po uproszczeniu:
n n n
x2 b1+ xi b0= xi yi
" " "
i
( ) ( )
i= 1 i= 1 i=1
n n
(10)
xi b1+nb0= yi
{ " " }
( )
i=1 i=1
13
Metoda Najmniejszych Kwadratów
Przykład
Zadanie 1
Znalez
ć współczynniki funkcji aproksymującej następujące
punkty:
(1,2) , (2,5) , (3,8) , (4,7) , (5,9)
f ( x)=b1 x+b0
Przyjąć funkcję liniową:
RozwiÄ…zanie 1
Zgodnie z równaniem (10)
n n n
x2 b1+ xi b0= xi yi
" " "
i
( ) ( )
55 b1+15 b0=109 b1=1,6
i= 1 i= 1 i=1
Ò! Ò!
n n
{ } { }
15 b1+ 5b0=31 b0=1,4
xi b1 +nb0= yi
{ " " }
( )
i=1 i=1
14
Metoda Najmniejszych Kwadratów
Przykład
RozwiÄ…zanie 2
T T
Zgodnie z równaniem (9):
X X²=X y
" Wyznaczanie macierzy X:
2=1²1+²0
1 1 2
5=2²1+²0
5
2 1
Ò! X= i y=
3 1 8
8=3²1+²0
7
4 1
7=4²1+²0
[ ] []
9
5 1
9=4²1+²0
15
Metoda Najmniejszych Kwadratów
Przykład
T T
Zgodnie z równaniem (9):
X X²=X y
1 1
Lewa strona:
2 1
1 2 3 4 5
55 15
T
XX = =
3 1
[ ]
[ ]
15 5
1 1 1 1 1
4 1
[ ]
5 1
2
Prawa strona:
5
1 2 3 4 5
109
T
X y= =
8
[ ]
[ ]
31
1 1 1 1 1
7
[]
9
16
Metoda Najmniejszych Kwadratów
Przykład
Ostatecznie:
T
²=( X X )-1 XT y
0,1 -0,3 109 1,6
²= =
[ ][ ] [ ]
-0,3 1,1 31 1,4
f ( x)=1,6 x+1,4
W obu przypadkach uzyskano prostą o równaniu
6
f(x) = x
4
2
0
0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5
17
Metoda Najmniejszych Kwadratów
Właściwości estymatora wyznaczanego metodą najmniejszych
kwadratów
Twierdzenie Gaussa-Markova
Estymator b wyznaczony metodą najmniejszych kwadratów jest
estymatorem: liniowym, zgodnym, nieobciążonym i
najefektywniejszym w klasie liniowych i nieobciążonym
estymatorów wektora parametrów modelu :
y=²x+µ
gdzie: - niedokładność estymacji
µ
18
Metoda Najmniejszych Kwadratów
" Estymator zgodny jest zbieżny stochastycznie do ²
" Estymator nieobciążony to taki ,dla którego E(b) =²
" Estymator najefektywniejszy ma w określonej klasie
estymatorów najmniejszą wariancję
" Wektor b jest estymatorem liniowym, ponieważ każda
składowa wektora b jest liniową funkcją składowych wektora
T T
y o współczynnikach z iloczynu
(X X )-1 X
19
Metoda Najmniejszych Kwadratów
" Metoda najmniejszych kwadratów jest ważną metodą
estymacji parametrów
" Pozwala nie tylko oszacować nieznane parametry, ale
także ocenić ich odchylenia standardowe i korelacje
między parametrami.
" MNK jest szczególnie użyteczna przy sporządzaniu
krzywych kalibracji. Pozwala również ocenić błędy
przewidywań na podstawie tak wyznaczonych krzywych.
20
UOGÓLNIONA METODA NAJMNIEJSZYCH
KWADRATÓW
21
Uogólnienie metody najmniejszych
kwadratów
Uogólnioną metodę najmniejszych kwadratów stosujemy tam
gdzie nie da się zastosować metody klasycznej tj.:
" Zmienna wariancja
" Korelacja odchyleń losowych danego modelu
" Jedna obserwacja reprezentuje większą liczbę wystąpień
podanego układu wartości zmiennych
" Poszczególne obserwacje charakteryzują sie różną  ważnością ,
np. chcemy uwzględnić efekt starzenia sie informacji i z większą
uwaga traktować obserwacje  nowe w porównaniu ze
 starszymi
22
Uogólnienie metody najmniejszych
kwadratów
Wzór na szacowanie parametrów równania:
y=b1x1+b2 x2+...+bn xn
(11)
T
b=( XT ©-1 X )-1 X ©-1Y
Gdzie: - wektor wartości wyjściowych
Y
X - macierz wartości wejściowych
-1
© - macierz uogólnionych wag
" Macierz uogólnionych wag dobiera się zależności od przyjętych
założeń i celu zastosowanej metody
" Macierz ta najczęściej jest macierzą diagonalną
23
Uogólnienie metody najmniejszych
kwadratów
Przykład
Zadanie 2
W pewnym przedsiębiorstwie podjęto próbę oceny wpływu
długości szkolenia zawodowego Pracowników na wydajność
pracy
Wysunięto przypuszczenie, że zależność miedzy długością okresu
szkolenia a wydajnością pracy wyraża się funkcja liniowa.
Oszacuj parametry odpowiedniego modelu
24
Uogólnienie metody najmniejszych
kwadratów
Przykład
Do rozwiązania wykorzystano UMNK w jej szczególnym
przypadku tj. ważoną metodę najmniejszych kwadratów. W
macierzy uogólnionej przyjęto, że elementy diagonalne będą
odpowiadały liczebnością poszczególnych obserwacji:
4 0 0 0 0 0 0 0
0 4 0 0 0 0 0 0
0 0 4 0 0 0 0 0
0 0 0 16 0 0 0 0
©-1=
0 0 0 0 4 0 0 0
0 0 0 0 0 4 0 0
[ ]
0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 4
4
Po zastosowaniu wzoru (11) otrzymujemy b=
[ ]
2
więc
wydajnosc= 4"czasszkolenia+2
25
Uogólnienie metody najmniejszych
kwadratów
Właściwości estymatora wyznaczanego uogólnioną metodą
najmniejszych kwadratów
Twierdzenie Aitkena
Estymator uogólnionej metody najmniejszych kwadratów jest
liniowym, nieobciążonym estymatorem o minimalnej wariancji
dla uogólnionego modelu regresji, o ile znana jest postać
macierzy wariancji-kowariancji
Wynika to wprost z twierdzenia Gaussa-Markowa. Twierdzenie
Gaussa-Markowa jest przypadkiem szczególnym twierdzenia
©-1=I
Aitkena, dla którego
26
METODA ÅšREDNIEJ RUCHOMEJ
27
Metoda Åšredniej Ruchomej
Åšrednie ruchome (ang. moving average) sÄ… jednym z
popularniejszych narzędzi analizy technicznej. Znajdują
zastosowanie w prognozowaniu
Metoda Åšredniej Ruchomej Prostej
" Model średniej ruchomej głównie wykorzystywany jest do
prognozowania szeregów czasowych bez tendencji, ale
również do ich wygładzania
" Idea wyrównywania szeregu czasowego za pomocą
średnich ruchomych polega na zastąpieniu pierwotnych
wartości zmiennej prognozowanej średnimi
arytmetycznymi, obliczanymi sekwencyjnie dla wybranej
liczby obserwacji
" Wyznaczone obserwacje przyporządkowuje się środkowym
obserwacjom, na których podstawie były obliczane średnie
29
Metoda Åšredniej Ruchomej Prostej
Idea prognozowania z użyciem średniej ruchomej opera się
na założeniu, że wartość zmiennej prognozowanej w
następnym momencie/okresie będzie równa średniej
arytmetycznej z k ostatnich wartości tej zmiennej:
t-1
1
yt= yi
(14)
"
y
k
i=t-ki
yt
Gdzie: - prognoza w wyznaczonym okresie t
- wielkość w okresie t
yi
k - stała wygładzania (określana przez prognostę)
" Wraz ze wzrostem wartości stałej wygładzania rośnie efekt
wyrównywania.
" Im większa liczba obserwacji użytych do wygładzania tym
30
większy efekt wygładzania
Metoda Åšredniej Ruchomej Prostej
Przykład
Zadanie 4
Dane jest zużycie paliwa w pewnym samochodzie (l/100km).
Wyznacz prognozę 3 elementową średnią ruchomą prostą
t 1 2 3 4 5 6 7 8 9 10 11 12
Zużycie
8 7,6 7,7 8 7,7 8,3 8,6 7,8 7,8 7,7 8,2 8,4
paliwa
12
y13=1 yi=
"
3
i= 10
1
(7,7+8,2+8,4)=
3
8,1[ l/100 km ]
31
Metoda Średniej Ruchomej Ważonej
W razie budowy prognoz na podstawie modelu średniej
ruchomej ważonej należy określić liczbę wyrazów średniej
oraz wagi nadawane poszczególnym wyrazom
t-1
yt= yi wi-t+k+1 (15)
"
i=t-k
yt
Gdzie: - prognoza w wyznaczonym okresie t
- wielkość w okresie t
yi
- waga nadawana przez prognostę wartości
wi-t+k+1
zmiennej prognozowanej w okresie t
k - stała wygładzania (określana przez prognostę)
" Waga powinna być z przedziału <0,1>
" Suma wag powinna wynosić 1
32
Metoda Średniej Ruchomej Ważonej
Przykład
Zadanie 5
Dane jest zużycie paliwa w pewnym samochodzie (l/100km).
Wyznacz prognozę 3 elementową średnią ruchomą ważoną
jeśli poszczególne wagi mają wartość 0.1, 0.2,0.7
t 1 2 3 4 5 6 7 8 9 10 11 12
Zużycie
8 7,6 7,7 8 7,7 8,3 8,6 7,8 7,8 7,7 8,2 8,4
paliwa
12
y13= yi wi-t+k+1=(7,7Å"0,1+8,2Å"0,2+8,4Å"0,7 )=8,29
"
10
33
Metoda Średniej Ruchomej Wykładniczej
Istota wygładzania wykładniczego polega na tym, że szereg
czasowy zmiennej prognozowanej wygładza się za pomocą
ważonej średniej ruchomej, przy czym wagi są określane wg
prawa wykładniczego
(16)
yt=Ä…yt-1+(1-Ä…)yt-1
yt ,yt-1
Gdzie: - prognoza w wyznaczonym okresie t, t-1
- wielkość w okresie t-1
yt-1
Ä… - waga nadana ostatniej (najnowszej) obserwacji
zmiennej prognozowanej
"ð
Parametr ą jest parametrem wygładzania i przyjmuje
wartości z przedziału 0-1
"ð
Wartość tego parametru wyznacza się eksperymentalnie
konstruując na podstawie próbki wstępnej prognozy dla
różnych wartości ą i wybierając tę wartość ą, przy której
34
średni błąd prognoz wygasłych jest najmniejszy
Modele parametryczne
Podstawowy układ w formie wejścia  wyjścia jest przedstawiony poniżej.
gdzie:
t - czas,
u(t)  sygnał wejściowy,
y(t)  sygnał wyjściowy,
e(t)  biały szum.
Zakładając liniowość układu, może zostać wyprowadzona poniższa zależność:
y(t) = G(q)u(t) + H(q)e(t) (17)
gdzie q jest operatorem przesunięcia.
Modele parametryczne
Równanie (17) daje opis układu w dziedzinie czasu. Bazują na tym
równaniu może zostać otrzymany ogólny model parametryczny
badanej struktury.
gdzie:
na, nb, nc, nd, nf, nk 
odpowiednio rzędy i
opóz
nienia które definiują
strukturÄ™ modelu,
Modele parametryczne
Wszystkie standardowo używane modele parametryczne są specjalnymi
przypadkami struktury prezentowanej powyżej.
Modele parametryczne
AR Model:
A q y t =e t
( ) ( ) ( )

równanie:

polecenie Matlaba: th = ar(y,na);
ARX Model:

równanie:

polecenie Matlaba: th = arx([y,u],[na,nb,nk]);
ARMAX Model:
A q y t =B q u t-nk +C q e t
( ) ( ) ( ) ( ) ( ) ( )
równanie:

polecenie Matlaba: th = armax([y,u],[na,nb,nc,nk]);
Modele parametryczne
OE (Output Error) Model:

równanie:

polecenie Matlaba: th = oe([y,u],[nb,nf,nk]);
BJ (Box - Jenkins) Model:

równanie:

polecenie Matlaba: th = bj([y,u],[nb, nc, nd,nf,nk]);
Znaczenie parametrów dla wszystkich modeli:
y, u  wyjściowe i wejściowe sekwencje danych,
na, nb, nc, nd, nf, nk - odpowiednio rzędy i opóz
nienia które definiują
strukturÄ™ modelu,
th  model otrzymany w wyniku estymacji.
Dziękuję za uwagę!!
Metody najmniejszych kwadratów i
modele parametryczne
Piotr Kurowski, Joanna Iwaniec
Faculty of Mechanical Engineering and Robotics
Department of Robotics and Mechatronics
Krakow, 2013
1
Plan
1. Metodę najmniejszych kwardatów
2. Uogólniona metoda najmniejszych kwadratów
3. Metoda ze średnią ruchomą
4. Modele regresyjne - Matlab
2
METODA NAJMNIEJSZYCH KWADRATÓW
3
Metoda Najmniejszych Kwadratów
K. F. Gauss  twórca metody
" Najmniejszy błąd kwadratowy jako kryterium oceny, stąd
nazwa metody najmniejszych kwadratów MNK
" Najlepsze oszacowania (estymaty) parametrów modelu
otrzymujemy wybierając je tak, aby suma kwadratów różnic
wartości zmierzonych i przewidywanych osiągnęła minimum
4
Metoda Najmniejszych Kwadratów
Model jest tym lepiej dopasowany do danych rzeczywistych, im
różnice miedzy zaobserwowanymi wartościami zmiennej
objaśnianej, a jej wartościami teoretycznymi są mniejsze
Założenia w metodzie najmniejszych kwadratów:
" brak autokorelacji odchyleń losowych
" stałość wariancji odchyleń losowych
" nielosowy charakter zmiennych objaśniających
" liczba punktów pomiarowych jest znacznie większa niż ilość
poszukiwanych parametrów
" sygnały pomiarowe są zakłócone szumem białym
5
Metoda Najmniejszych Kwadratów
Będziemy rozważać zbiór danych eksperymentalnych w postaci
par współrzędnych punktów , o których zakładamy, że są
xi ,yi
związane określoną zależnością funkcyjną:
y= f ( x, b0 , b1 , b2 , b3...) (1)
Problem określenia funkcji sprowadza się do wyznaczenia
b0 , b1 , b2 , b3...
wartości stałych
Funkcję z równania (1) możemy zapisać w postaci sumy:
m
f ( x,²)= X ² (2)
"
j j
j=1
X
Gdzie: - jest funkcjÄ… x
6
j
Metoda Najmniejszych Kwadratów
Celem nie jest znalezienie równania krzywej, która dokładnie
przejdzie przez wszystkie punkty eksperymentalne a jedynie
takiej, dla której rozbieżności pomiędzy mierzonymi wartościami
f (xi)
yi( xi ) a wartościami wyznaczonej funkcji będą
najmniejsze
" Funkcja błędu dla równania (1) przyjmuje postać:
n
(3)
S= [ yi- f ( xi,b0 ,b1 ,b2 ,...bk )]2=min
"
i=1
f ( x,bk )
W ogólnym przypadku funkcja może być liniowa lub
nieliniowa względem parametrów
bk
" Funkcja błędu dla równania (2) przyjmuje postać:
n m
S= [ yi- X ² ]2=min
" " (4)
ij j
7
i=1 j=1
Metoda Najmniejszych Kwadratów
Minimalizacja wartości S z równania (3 i 4) polega na określeniu
warunków jednoczesnego zachodzenia, czyli przyrównaniu jej
pochodnych czÄ…stkowych do zera:
" S " S " S " S
(5)
=0, =0, =0,..., =0
"b0 "b1 " b2 "bk
Powyższy układ równań w ogólnym przypadku po rozwinięciu
funkcji f w szereg Taylora i ograniczeniu do wyrazów pierwszego
rzędu, przybiera postać układu wielomianów względem
bk
niewiadomych stałych i nosi nazwę układu równań
normalnych
8
Metoda Najmniejszych Kwadratów
" Dla równania (3) wzór na jedną z pochodnych cząstkowych
przyjmuje postać:
n
" f ( xi ,b0 ,b1,... ,bk)
" S
(6)
=-2 [ yi- f ( xi ,b0 ,b1 ,b2 ,...bk )]=0
"
"b " b
i=1
j j
" Dla równania (4) wzór na jedną z pochodnych cząstkowych
przyjmuje postać:
n m
" S
=-2 X yi- X ² =0
" "
ij ik k (7)
( )
" ²
j i=1 k=1
9
Metoda Najmniejszych Kwadratów
Po uporządkowaniu równania (7) otrzymujemy:
n m n
X X ²k= X yi
"" "
(8)
ik ij ij
i=1 k=1 i=1
W postaci macierzowej:
T T
(9)
X X²=X y
RozwiÄ…zanie równania (9) wzglÄ™dem ² daje poszukiwane
współczynniki
10
Metoda Najmniejszych Kwadratów
Przykład
Przypadek regresji liniowej
( x1,x2,... ,xn),( y1 ,y2,... ,yn)
Dane:
f ( x)=b1 x+b0
Szukane:
y
Różnicę pomiędzy wartością zmierzoną, a przybliżaną przez
y1
dopasowaną linię wyraża zależność:
µ1(b1,b0
µ2(b1,b0
µ1(b1 ,b0)=y1-(b1 x1+b0)
)
)
y2
µ2(b1 ,b0)=y2-(b1 x2+b0)
î"
µn(b1 ,b0)=yn-(b1 xn+b0)
x
x1 x2
11
0
b
+
x
1
b
=
)
x
(
f
Metoda Najmniejszych Kwadratów
Przykład
b1 ,b0
Cel: Wyznaczenie takich dla których różnica między
wartością daną y, a wyznaczoną prostą f(x) była jak
najmniejsza
Na podstawie wzoru (3):
2 2 2
S= y1- f ( x1) + y2- f ( x2) +. ..+ yn- f ( xn) =
[ ] [ ] [ ]
2 2 2
y1-(b1 x1+b0) + y2-(b1 x2+b0) +.. .+ yn-(b1 xn+b0) =
[ ] [ ] [ ]
n
2
yi-(b1 xi +b0) =min
"
[ ]
i=1
Obliczenie parametrów prostej regresji sprowadza się do
b1 ,b0
obliczenia pochodnych względem zmiennych i
przyrównaniu ich do zera
12
Metoda Najmniejszych Kwadratów
Przykład
Na podstawie równania (6):
" S
=-2x1 1-(b1 x1+b0)
[y ]-2x [y -(b1 x2+b0)]-...-2x [y -(b1 xn+b0)]=0
2 2 n n
"b1
"S
=-2 -(b1 x1+b0 )
[y ]-2[y -(b1 x2+b0)]-...-2[y -(b1 xn+b0)]=0
1 2 n
"b0
Po uproszczeniu:
n n n
x2 b1+ xi b0= xi yi
" " "
i
( ) ( )
i= 1 i= 1 i=1
n n
(10)
xi b1+nb0= yi
{ " " }
( )
i=1 i=1
13
Metoda Najmniejszych Kwadratów
Przykład
Zadanie 1
Znalez
ć współczynniki funkcji aproksymującej następujące
punkty:
(1,2) , (2,5) , (3,8) , (4,7) , (5,9)
f ( x)=b1 x+b0
Przyjąć funkcję liniową:
RozwiÄ…zanie 1
Zgodnie z równaniem (10)
n n n
x2 b1+ xi b0= xi yi
" " "
i
( ) ( )
55 b1+15 b0=109 b1=1,6
i= 1 i= 1 i=1
Ò! Ò!
n n
{ } { }
15 b1+ 5b0=31 b0=1,4
xi b1+nb0= yi
{ " " }
( )
i=1 i=1
14
Metoda Najmniejszych Kwadratów
Przykład
RozwiÄ…zanie 2
T
Zgodnie z równaniem (9): XT X²=X y
" Wyznaczanie macierzy X:
2=1²1+²0
1 1 2
5=2²1+²0
5
2 1
i y=
3 1 8
8=3²1+²0 Ò! X=
7
4 1
7=4²1+²0
[ ] [ ]
9
5 1
9=4²1+²0
15
Metoda Najmniejszych Kwadratów
Przykład
T
Zgodnie z równaniem (9):
XT X²=X y
1 1
Lewa strona:
2 1
1 2 3 4 5
55 15
T
XX = =
3 1
[ ]
[ ]
15 5
1 1 1 1 1
4 1
[ ]
5 1
2
Prawa strona:
5
1 2 3 4 5
109
T
X y= =
8
[ ]
[ ]
31
1 1 1 1 1
7
[]
9
16
Metoda Najmniejszych Kwadratów
Przykład
Ostatecznie:
T
²=( X X )-1 XT y
0,1 -0,3 109 1,6
²= =
[ ][ ] [ ]
-0,3 1,1 31 1,4
f ( x)=1,6 x+1,4
W obu przypadkach uzyskano prostą o równaniu
6
f(x) = x
4
2
0
0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5
17
Metoda Najmniejszych Kwadratów
Właściwości estymatora wyznaczanego metodą najmniejszych
kwadratów
Twierdzenie Gaussa-Markova
Estymator b wyznaczony metodą najmniejszych kwadratów jest
estymatorem: liniowym, zgodnym, nieobciążonym i
najefektywniejszym w klasie liniowych i nieobciążonym
estymatorów wektora parametrów modelu :
y=²x+µ
gdzie: - niedokładność estymacji
µ
18
Metoda Najmniejszych Kwadratów
" Estymator zgodny jest zbieżny stochastycznie do ²
" Estymator nieobciążony to taki ,dla którego E(b) =²
" Estymator najefektywniejszy ma w określonej klasie
estymatorów najmniejszą wariancję
" Wektor b jest estymatorem liniowym, ponieważ każda
składowa wektora b jest liniową funkcją składowych wektora
T T
y o współczynnikach z iloczynu
( X X )-1 X
19
Metoda Najmniejszych Kwadratów
" Metoda najmniejszych kwadratów jest ważną metodą
estymacji parametrów
" Pozwala nie tylko oszacować nieznane parametry, ale
także ocenić ich odchylenia standardowe i korelacje
między parametrami.
" MNK jest szczególnie użyteczna przy sporządzaniu
krzywych kalibracji. Pozwala również ocenić błędy
przewidywań na podstawie tak wyznaczonych krzywych.
20
UOGÓLNIONA METODA NAJMNIEJSZYCH
KWADRATÓW
21
Uogólnienie metody najmniejszych
kwadratów
Uogólnioną metodę najmniejszych kwadratów stosujemy tam
gdzie nie da się zastosować metody klasycznej tj.:
" Zmienna wariancja
" Korelacja odchyleń losowych danego modelu
" Jedna obserwacja reprezentuje większą liczbę wystąpień
podanego układu wartości zmiennych
" Poszczególne obserwacje charakteryzują sie różną  ważnością ,
np. chcemy uwzględnić efekt starzenia sie informacji i z większą
uwaga traktować obserwacje  nowe w porównaniu ze
 starszymi
22
Uogólnienie metody najmniejszych
kwadratów
Wzór na szacowanie parametrów równania:
y=b1 x1+b2 x2+...+bnxn
T (11)
b=( XT ©-1 X )-1 X ©-1Y
Gdzie: - wektor wartości wyjściowych
Y
X - macierz wartości wejściowych
- macierz uogólnionych wag
© -1
" Macierz uogólnionych wag dobiera się zależności od przyjętych
założeń i celu zastosowanej metody
" Macierz ta najczęściej jest macierzą diagonalną
23
Uogólnienie metody najmniejszych
kwadratów
Przykład
Zadanie 2
W pewnym przedsiębiorstwie podjęto próbę oceny wpływu
długości szkolenia zawodowego Pracowników na wydajność
pracy
Wysunięto przypuszczenie, że zależność miedzy długością okresu
szkolenia a wydajnością pracy wyraża się funkcja liniowa.
Oszacuj parametry odpowiedniego modelu
24
Uogólnienie metody najmniejszych
kwadratów
Przykład
Do rozwiązania wykorzystano UMNK w jej szczególnym
przypadku tj. ważoną metodę najmniejszych kwadratów. W
macierzy uogólnionej przyjęto, że elementy diagonalne będą
odpowiadały liczebnością poszczególnych obserwacji:
4 0 0 0 0 0 0 0
0 4 0 0 0 0 0 0
0 0 4 0 0 0 0 0
0 0 0 16 0 0 0 0
©-1=
0 0 0 0 4 0 0 0
0 0 0 0 0 4 0 0
[ ]
0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 4
4
Po zastosowaniu wzoru (11) otrzymujemy b=
[ ]
2
więc
wydajnosc= 4"czasszkolenia+2
25
Uogólnienie metody najmniejszych
kwadratów
Właściwości estymatora wyznaczanego uogólnioną metodą
najmniejszych kwadratów
Twierdzenie Aitkena
Estymator uogólnionej metody najmniejszych kwadratów jest
liniowym, nieobciążonym estymatorem o minimalnej wariancji
dla uogólnionego modelu regresji, o ile znana jest postać
macierzy wariancji-kowariancji
Wynika to wprost z twierdzenia Gaussa-Markowa. Twierdzenie
Gaussa-Markowa jest przypadkiem szczególnym twierdzenia
Aitkena, dla którego ©-1=I
26
METODA ÅšREDNIEJ RUCHOMEJ
27
Metoda Åšredniej Ruchomej
Åšrednie ruchome (ang. moving average) sÄ… jednym z
popularniejszych narzędzi analizy technicznej. Znajdują
zastosowanie w prognozowaniu
Metoda Åšredniej Ruchomej Prostej
" Model średniej ruchomej głównie wykorzystywany jest do
prognozowania szeregów czasowych bez tendencji, ale
również do ich wygładzania
" Idea wyrównywania szeregu czasowego za pomocą
średnich ruchomych polega na zastąpieniu pierwotnych
wartości zmiennej prognozowanej średnimi
arytmetycznymi, obliczanymi sekwencyjnie dla wybranej
liczby obserwacji
" Wyznaczone obserwacje przyporządkowuje się środkowym
obserwacjom, na których podstawie były obliczane średnie
29
Metoda Åšredniej Ruchomej Prostej
Idea prognozowania z użyciem średniej ruchomej opera się
na założeniu, że wartość zmiennej prognozowanej w
następnym momencie/okresie będzie równa średniej
arytmetycznej z k ostatnich wartości tej zmiennej:
t-1
1
yt= yi
(14)
"
yi
k
i=t-k
yt
Gdzie: - prognoza w wyznaczonym okresie t
- wielkość w okresie t
yi
k - stała wygładzania (określana przez prognostę)
" Wraz ze wzrostem wartości stałej wygładzania rośnie efekt
wyrównywania.
" Im większa liczba obserwacji użytych do wygładzania tym
30
większy efekt wygładzania
Metoda Åšredniej Ruchomej Prostej
Przykład
Zadanie 4
Dane jest zużycie paliwa w pewnym samochodzie (l/100km).
Wyznacz prognozę 3 elementową średnią ruchomą prostą
t 1 2 3 4 5 6 7 8 9 10 11 12
Zużycie
8 7,6 7,7 8 7,7 8,3 8,6 7,8 7,8 7,7 8,2 8,4
paliwa
12
y13=1 yi=
"
3
i= 10
1
(7,7+8,2+8,4)=
3
8,1[ l/100 km ]
31
Metoda Średniej Ruchomej Ważonej
W razie budowy prognoz na podstawie modelu średniej
ruchomej ważonej należy określić liczbę wyrazów średniej
oraz wagi nadawane poszczególnym wyrazom
t-1
yt= yi wi-t+k+1 (15)
"
i=t-k
yt
Gdzie: - prognoza w wyznaczonym okresie t
- wielkość w okresie t
yi
- waga nadawana przez prognostę wartości
wi-t+k+1
zmiennej prognozowanej w okresie t
k - stała wygładzania (określana przez prognostę)
" Waga powinna być z przedziału <0,1>
" Suma wag powinna wynosić 1
32
Metoda Średniej Ruchomej Ważonej
Przykład
Zadanie 5
Dane jest zużycie paliwa w pewnym samochodzie (l/100km).
Wyznacz prognozę 3 elementową średnią ruchomą ważoną
jeśli poszczególne wagi mają wartość 0.1, 0.2,0.7
t 1 2 3 4 5 6 7 8 9 10 11 12
Zużycie
8 7,6 7,7 8 7,7 8,3 8,6 7,8 7,8 7,7 8,2 8,4
paliwa
12
y13= yi wi-t+k+1=(7,7Å"0,1+8,2Å"0,2+8,4Å"0,7 )=8,29
"
10
33
Metoda Średniej Ruchomej Wykładniczej
Istota wygładzania wykładniczego polega na tym, że szereg
czasowy zmiennej prognozowanej wygładza się za pomocą
ważonej średniej ruchomej, przy czym wagi są określane wg
prawa wykładniczego
(16)
yt=Ä…yt-1+(1-Ä…)yt-1
yt ,yt-1
Gdzie: - prognoza w wyznaczonym okresie t, t-1
- wielkość w okresie t-1
yt-1
Ä… - waga nadana ostatniej (najnowszej) obserwacji
zmiennej prognozowanej
"ð Parametr Ä… jest parametrem wygÅ‚adzania i przyjmuje
wartości z przedziału 0-1
"ð
Wartość tego parametru wyznacza się eksperymentalnie
konstruując na podstawie próbki wstępnej prognozy dla
różnych wartości ą i wybierając tę wartość ą, przy której
34
średni błąd prognoz wygasłych jest najmniejszy
34
Modele parametryczne
Podstawowy układ w formie wejścia  wyjścia jest przedstawiony poniżej.
gdzie:
t - czas,
u(t)  sygnał wejściowy,
y(t)  sygnał wyjściowy,
e(t)  biały szum.
Zakładając liniowość układu, może zostać wyprowadzona poniższa zależność:
y(t) = G(q)u(t) + H(q)e(t) (17)
gdzie q jest operatorem przesunięcia.
Modele parametryczne
Równanie (17) daje opis układu w dziedzinie czasu. Bazują na tym
równaniu może zostać otrzymany ogólny model parametryczny
badanej struktury.
gdzie:
na, nb, nc, nd, nf, nk 
odpowiednio rzędy i
opóz
nienia które definiują
strukturÄ™ modelu,
Modele parametryczne
Wszystkie standardowo używane modele parametryczne są specjalnymi
przypadkami struktury prezentowanej powyżej.
Modele parametryczne
AR Model:
A q y t =e t
( ) ( ) ( )

równanie:

polecenie Matlaba: th = ar(y,na);
ARX Model:

równanie:

polecenie Matlaba: th = arx([y,u],[na,nb,nk]);
ARMAX Model:
A q y t =B q u t-nk +C q e t
( ) ( ) ( ) ( ) ( ) ( )
równanie:

polecenie Matlaba: th = armax([y,u],[na,nb,nc,nk]);
Modele parametryczne
OE (Output Error) Model:

równanie:

polecenie Matlaba: th = oe([y,u],[nb,nf,nk]);
BJ (Box - Jenkins) Model:

równanie:

polecenie Matlaba: th = bj([y,u],[nb, nc, nd,nf,nk]);
Znaczenie parametrów dla wszystkich modeli:
y, u  wyjściowe i wejściowe sekwencje danych,
na, nb, nc, nd, nf, nk - odpowiednio rzędy i opóz
nienia które definiują
strukturÄ™ modelu,
th  model otrzymany w wyniku estymacji.
Dziękuję za uwagę!!