Aproksymacja
oraz
matematyczna charakterystyka zjawisk losowych
dr inż. Przemysław Prętki
Instytut Sterowania i Systemów Informatycznych
Uniwersytet Zielonogórski
13 marca 2009
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
1 / 19
Aproksymacja
poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,
obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)
interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,
aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
2 / 19
Aproksymacja
poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,
obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)
interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,
aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
2 / 19
Aproksymacja
poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,
obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)
interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,
aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
2 / 19
Aproksymacja
poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,
obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)
interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,
aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
2 / 19
Aproksymacja
Definicja matematyczna:
Mając model F (x ) postaci:
F (x ) = a
0
ϕ
0
(x ) + a
1
ϕ
1
(x ) + . . . + a
n
ϕ
n
(x )
oraz pewną funkcję f (x ), należy tak dobrać współczynniki a
i
funkcji
bazowych ϕ
0
(x ), aby F (x ) możliwie najdokładniej przybliżała f (x ).
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
3 / 19
Aproksymacja
Pojęcie odległości pomiędzy punktami kx − yk
α
:
norma Czebyszewa,
kx − yk
∞
= max
i
|x
i
− y
i
|
norma Euclidesowa,
kx − yk
2
=
v
u
u
t
n
X
i =1
x
i
− y
i
2
norma Manhattan,
kx − yk
1
=
n
X
i =1
x
i
− y
i
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
4 / 19
Aproksymacja
Odległości pomiędzy funkcjami kF (x ) − f (x )k
α
:
norma Czebyszewa,
kF (x) − f (x)k
∞
=
sup
x ∈<a,b>
|F (x) − f (x)|
norma Euclidesowa,
kF (x) − f (x)k
2
=
Z
b
a
h
F (x ) − f (x )
i
2
dx
norma Manhattan,
kF (x) − f (x)k
1
=
Z
b
a
F (x ) − f (x )
dx
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
5 / 19
Aproksymacja
Rodzaje aproksymacji
aproksymacja średniokwadratowa (przypadek ciągły)
kF (x) − f (x)k =
Z
b
a
h
F (x ) − f (x )
i
2
dx
aproksymacja średniokwadratowa (przypadek dyskretny)
kF (x) − f (x)k =
n
X
i =0
h
F (x
i
) − f (x
i
)
i
2
aproksymacja jednostajna
kF (x) − f (x)k =
sup
x ∈<a,b>
h
F (x ) − f (x )
i
2
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
6 / 19
Aproksymacja
Rodzaje aproksymacji
aproksymacja średniokwadratowa (przypadek ciągły)
kF (x) − f (x)k =
Z
b
a
h
F (x ) − f (x )
i
2
dx
aproksymacja średniokwadratowa (przypadek dyskretny)
kF (x) − f (x)k =
n
X
i =0
h
F (x
i
) − f (x
i
)
i
2
aproksymacja jednostajna
kF (x) − f (x)k =
sup
x ∈<a,b>
h
F (x ) − f (x )
i
2
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
7 / 19
Aproksymacja średniokwadratowa - przykład
Dopasowanie prostej do punktów:
Mając dane punkty pomiarowe:
i
x
i
f (x
i
)
0
-1
-0.65
1
0
2.3
2
1
2
znajdziemy najlepiej dopasowaną do nich linię prostą w sensie
średniokwadratowym.
Ogólna postać naszego modelu:
F (x ; a, b) = ax + b
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
8 / 19
Aproksymacja średniokwadratowa - przykład
Zadanie optymalizacji
Należy wyznaczyć parametry a, b tak, aby suma kwadratów błędów
ε
0
= F (x
0
; a, b) − f (x
0
) = ax
0
+ b − f (x
0
)
ε
1
= F (x
1
; a, b) − f (x
1
) = ax
1
+ b − f (x
1
)
ε
2
= F (x
2
; a, b) − f (x
2
) = ax
2
+ b − f (x
2
)
była jak najmniejsza:
E(a, b) = ε
2
0
+ ε
2
1
+ ε
2
2
= (−1 · a + b + 0.65)
2
+ (0 · a + b − 2.3)
2
+ (1 · a + b − 2)
2
= 2a
2
− 5.3a + 3b
2
− 7.3b + 9.7125
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
9 / 19
Aproksymacja średniokwadratowa - przykład
Rozwiązanie zadania aproksymacji
Funkcja błędu:
E(a, b) = 2a
2
− 5.3a + 3b
2
− 7.3b + 9.7125
Pochodne cząstkowe:
∂E
∂a
= 4a − 5.3
∂E
∂b
= 6b − 7.3
Układ równań:
(
4a − 5.3 = 0
6b − 7.3 = 0
−→
(
a = 1.325
b = 1.216
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
10 / 19
Rozwiązanie - aproksymacja średniokwadratowa
−1.5
−1
−0.5
0
0.5
1
1.5
−1
−0.5
0
0.5
1
1.5
2
2.5
3
3.5
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
11 / 19
Aproksymacja średniokwadratowa
Przypadek ogólny:
Podstawy:
punkty w postaci par {x
i
, f (x
i
)}
n
i =0
.
odległość funkcji aproksymującej F (x
i
) od punktów
pomiarowych f (x
i
): E =
P
n
i =0
h
F (x
i
) − f (x
i
)
i
2
iloczyn skalarny: x
T
x =
P
n
i =1
x
2
i
Wykorzystując definicję iloczynu skalarnego możemy zapisać:
E =
n
X
i =0
h
F (x
i
) − f (x
i
)
i
2
=
h
F(X ) − f(X )
i
T
h
F(X ) − f(X )
i
F(X ) =
h
F (x
0
), F (x
1
), . . . , F (x
n
)
i
T
, f(X ) =
h
f (x
0
), f (x
1
), . . . , f (x
n
)
i
T
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
12 / 19
Aproksymacja średniokwadratowa
Dane pary punktów {x
i
, f (x
i
)}
n
i =0
:
Mając model F (x ) postaci:
F (x ) = a
0
ϕ
0
(x ) + a
1
ϕ
1
(x ) + . . . + a
n
ϕ
n
(x )
możemy zapisać:
F(X ) =
F (x
0
)
F (x
1
)
..
.
F (x
n
)
=
a
0
ϕ
0
(x
0
) + a
1
ϕ
1
(x
0
) + . . . + a
n
ϕ
n
(x
0
)
a
0
ϕ
0
(x
1
) + a
1
ϕ
1
(x
1
) + . . . + a
n
ϕ
n
(x
1
)
..
.
a
0
ϕ
0
(x
n
) + a
1
ϕ
1
(x
n
) + . . . + a
n
ϕ
n
(x
n
)
= ΩA
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
13 / 19
Aproksymacja średniokwadratowa
Postać wektorowa błędu aproksymacji
E(A) =
h
ΩA − f(X )
i
T
h
ΩA − f(X )
i
= A
T
Ω
T
ΩA − 2A
T
Ω
T
f(X ) + f(X )
T
f(X )
Zatem, szukamy takiego A = [a
0
, a
1
, . . . , a
n
], które minimalizuje
powyższe wyrażanie.
∂E
∂A
= 2Ω
T
ΩA − 2Ω
T
f(X )
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
14 / 19
Aproksymacja średniokwadratowa
Rozwiązujemy układ równań:
2Ω
T
ΩA − 2Ω
T
f(X ) = 0
Ω
T
ΩA = Ω
T
f(X )
A =
h
Ω
T
Ω
i
−1
Ω
T
f(X )
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
15 / 19
Aproksymacja średniokwadratowa - przykład
Dopasowanie funkcji kwadratowej
Punkty pomiarowe:
x
i
-2
-1
0
1
2
f (x
i
)
4.5
0
1
2.6
8
Model F (x ) postaci:
F (x ) = a
0
ϕ
0
(x ) + a
1
ϕ
1
(x ) + a
2
ϕ
n
(x )
Funkcje bazowe:
ϕ
0
(x ) = 1,
ϕ
1
(x ) = x ,
ϕ
2
(x ) = x
2
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
16 / 19
Aproksymacja średniokwadratowa - przykład
Dopasowanie funkcji kwadratowej
Korzystamy ze wcześniej wyprowadzonego wzoru:
a
0
a
1
a
2
=
h
Ω
T
Ω
i
−1
Ω
T
f(X )
gdzie:
Ω =
1 −2 4
1 −1 1
1
0
0
1
1
1
1
2
4
,
f(X ) =
4.5
0
1
2.6
8
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
17 / 19
Aproksymacja średniokwadratowa - przykład
Dopasowanie funkcji kwadratowej
Wyniki:
a
0
a
1
a
2
=
0.30
0.96
1.45
Czyli najlepiej dopasowana (w sensie sumy kwadratów błędów )
funkcja kwadratowa posiada postać:
F (x ) = 0.3 + 0.96x + 1.45x
2
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
18 / 19
Aproksymacja średniokwadratowa - przykład
−3
−2
−1
0
1
2
3
0
2
4
6
8
10
12
dr inż. Przemysław Prętki (ISSI UZ)
Aproksymacja oraz matematyczna charakterystyka zjawisk losowych
13 marca 2009
19 / 19