Aproksymacja

oraz

matematyczna charakterystyka zjawisk losowych

dr inż. Przemysław Prętki

Instytut Sterowania i Systemów Informatycznych

Uniwersytet Zielonogórski

13 marca 2009

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

1 / 19

Aproksymacja

poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,

obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)

interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,

aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

2 / 19

Aproksymacja

poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,

obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)

interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,

aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

2 / 19

Aproksymacja

poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,

obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)

interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,

aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

2 / 19

Aproksymacja

poszukiwanie modelu mogącego wytłumaczyć obserwowane
dane,

obserwowane dane - zwykle obarczone błędami losowymi (błędy
pomiaru)

interpolacja, czyli dopasowywanie modelu do danych z
przekłamaniami traci sens,

aproksymacja - wyeliminowanie błędów losowych poprzez
wygładzenie

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

2 / 19

Aproksymacja

Definicja matematyczna:

Mając model F (x ) postaci:

F (x ) = a

0

ϕ

0

(x ) + a

1

ϕ

1

(x ) + . . . + a

n

ϕ

n

(x )

oraz pewną funkcję f (x ), należy tak dobrać współczynniki a

i

funkcji

bazowych ϕ

0

(x ), aby F (x ) możliwie najdokładniej przybliżała f (x ).

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

3 / 19

Aproksymacja

Pojęcie odległości pomiędzy punktami kx − yk

α

:

norma Czebyszewa,

kx − yk

∞

= max

i

|x

i

− y

i

|

norma Euclidesowa,

kx − yk

2

=

v
u
u
t

n

X

i =1



x

i

− y

i



2

norma Manhattan,

kx − yk

1

=

n

X

i =1





x

i

− y

i





dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

4 / 19

Aproksymacja

Odległości pomiędzy funkcjami kF (x ) − f (x )k

α

:

norma Czebyszewa,

kF (x) − f (x)k

∞

=

sup

x ∈<a,b>

|F (x) − f (x)|

norma Euclidesowa,

kF (x) − f (x)k

2

=

Z

b

a

h

F (x ) − f (x )

i

2

dx

norma Manhattan,

kF (x) − f (x)k

1

=

Z

b

a





F (x ) − f (x )





dx

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

5 / 19

Aproksymacja

Rodzaje aproksymacji

aproksymacja średniokwadratowa (przypadek ciągły)

kF (x) − f (x)k =

Z

b

a

h

F (x ) − f (x )

i

2

dx

aproksymacja średniokwadratowa (przypadek dyskretny)

kF (x) − f (x)k =

n

X

i =0

h

F (x

i

) − f (x

i

)

i

2

aproksymacja jednostajna

kF (x) − f (x)k =

sup

x ∈<a,b>

h

F (x ) − f (x )

i

2

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

6 / 19

Aproksymacja

Rodzaje aproksymacji

aproksymacja średniokwadratowa (przypadek ciągły)

kF (x) − f (x)k =

Z

b

a

h

F (x ) − f (x )

i

2

dx

aproksymacja średniokwadratowa (przypadek dyskretny)

kF (x) − f (x)k =

n

X

i =0

h

F (x

i

) − f (x

i

)

i

2

aproksymacja jednostajna

kF (x) − f (x)k =

sup

x ∈<a,b>

h

F (x ) − f (x )

i

2

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

7 / 19

Aproksymacja średniokwadratowa - przykład

Dopasowanie prostej do punktów:

Mając dane punkty pomiarowe:

i

x

i

f (x

i

)

0

-1

-0.65

1

0

2.3

2

1

2

znajdziemy najlepiej dopasowaną do nich linię prostą w sensie
średniokwadratowym.
Ogólna postać naszego modelu:

F (x ; a, b) = ax + b

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

8 / 19

Aproksymacja średniokwadratowa - przykład

Zadanie optymalizacji

Należy wyznaczyć parametry a, b tak, aby suma kwadratów błędów

ε

0

= F (x

0

; a, b) − f (x

0

) = ax

0

+ b − f (x

0

)

ε

1

= F (x

1

; a, b) − f (x

1

) = ax

1

+ b − f (x

1

)

ε

2

= F (x

2

; a, b) − f (x

2

) = ax

2

+ b − f (x

2

)

była jak najmniejsza:

E(a, b) = ε

2
0

+ ε

2
1

+ ε

2
2

= (−1 · a + b + 0.65)

2

+ (0 · a + b − 2.3)

2

+ (1 · a + b − 2)

2

= 2a

2

− 5.3a + 3b

2

− 7.3b + 9.7125

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

9 / 19

Aproksymacja średniokwadratowa - przykład

Rozwiązanie zadania aproksymacji

Funkcja błędu:

E(a, b) = 2a

2

− 5.3a + 3b

2

− 7.3b + 9.7125

Pochodne cząstkowe:

∂E

∂a

= 4a − 5.3

∂E

∂b

= 6b − 7.3

Układ równań:

(

4a − 5.3 = 0

6b − 7.3 = 0

−→

(

a = 1.325

b = 1.216

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

10 / 19

Rozwiązanie - aproksymacja średniokwadratowa

−1.5

−1

−0.5

0

0.5

1

1.5

−1

−0.5

0

0.5

1

1.5

2

2.5

3

3.5

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

11 / 19

Aproksymacja średniokwadratowa

Przypadek ogólny:

Podstawy:

punkty w postaci par {x

i

, f (x

i

)}

n
i =0

.

odległość funkcji aproksymującej F (x

i

) od punktów

pomiarowych f (x

i

): E =

P

n
i =0

h

F (x

i

) − f (x

i

)

i

2

iloczyn skalarny: x

T

x =

P

n
i =1

x

2

i

Wykorzystując definicję iloczynu skalarnego możemy zapisać:

E =

n

X

i =0

h

F (x

i

) − f (x

i

)

i

2

=

h

F(X ) − f(X )

i

T

h

F(X ) − f(X )

i

F(X ) =

h

F (x

0

), F (x

1

), . . . , F (x

n

)

i

T

, f(X ) =

h

f (x

0

), f (x

1

), . . . , f (x

n

)

i

T

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

12 / 19

Aproksymacja średniokwadratowa

Dane pary punktów {x

i

, f (x

i

)}

n

i =0

:

Mając model F (x ) postaci:

F (x ) = a

0

ϕ

0

(x ) + a

1

ϕ

1

(x ) + . . . + a

n

ϕ

n

(x )

możemy zapisać:

F(X ) =









F (x

0

)

F (x

1

)

..

.

F (x

n

)









=









a

0

ϕ

0

(x

0

) + a

1

ϕ

1

(x

0

) + . . . + a

n

ϕ

n

(x

0

)

a

0

ϕ

0

(x

1

) + a

1

ϕ

1

(x

1

) + . . . + a

n

ϕ

n

(x

1

)

..

.

a

0

ϕ

0

(x

n

) + a

1

ϕ

1

(x

n

) + . . . + a

n

ϕ

n

(x

n

)









= ΩA

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

13 / 19

Aproksymacja średniokwadratowa

Postać wektorowa błędu aproksymacji

E(A) =

h

ΩA − f(X )

i

T

h

ΩA − f(X )

i

= A

T

Ω

T

ΩA − 2A

T

Ω

T

f(X ) + f(X )

T

f(X )

Zatem, szukamy takiego A = [a

0

, a

1

, . . . , a

n

], które minimalizuje

powyższe wyrażanie.

∂E

∂A

= 2Ω

T

ΩA − 2Ω

T

f(X )

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

14 / 19

Aproksymacja średniokwadratowa

Rozwiązujemy układ równań:

2Ω

T

ΩA − 2Ω

T

f(X ) = 0

Ω

T

ΩA = Ω

T

f(X )

A =

h

Ω

T

Ω

i

−1

Ω

T

f(X )

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

15 / 19

Aproksymacja średniokwadratowa - przykład

Dopasowanie funkcji kwadratowej

Punkty pomiarowe:

x

i

-2

-1

0

1

2

f (x

i

)

4.5

0

1

2.6

8

Model F (x ) postaci:

F (x ) = a

0

ϕ

0

(x ) + a

1

ϕ

1

(x ) + a

2

ϕ

n

(x )

Funkcje bazowe:

ϕ

0

(x ) = 1,

ϕ

1

(x ) = x ,

ϕ

2

(x ) = x

2

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

16 / 19

Aproksymacja średniokwadratowa - przykład

Dopasowanie funkcji kwadratowej

Korzystamy ze wcześniej wyprowadzonego wzoru:






a

0

a

1

a

2






=

h

Ω

T

Ω

i

−1

Ω

T

f(X )

gdzie:

Ω =











1 −2 4
1 −1 1
1

0

0

1

1

1

1

2

4











,

f(X ) =











4.5

0
1

2.6

8











dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

17 / 19

Aproksymacja średniokwadratowa - przykład

Dopasowanie funkcji kwadratowej

Wyniki:






a

0

a

1

a

2






=






0.30
0.96
1.45






Czyli najlepiej dopasowana (w sensie sumy kwadratów błędów )
funkcja kwadratowa posiada postać:

F (x ) = 0.3 + 0.96x + 1.45x

2

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

18 / 19

Aproksymacja średniokwadratowa - przykład

−3

−2

−1

0

1

2

3

0

2

4

6

8

10

12

dr inż. Przemysław Prętki (ISSI UZ)

Aproksymacja oraz matematyczna charakterystyka zjawisk losowych

13 marca 2009

19 / 19