Regresja liniowa

Dany jest układ punktów













n

n

y

,

x

y

,

x

y

,

x



2

2

1

1

x

y

b

ax

y

i

i





x – zmienna objaśniająca (nie obarczona
błędem)

y – zmienna zależna (obarczona błędem)

Naszym zadaniem jest poprowadzenie „najlepszej” prostej
przez te punkty.

 













 

 

 

 

 

x

a

y

x

x

n

y

x

x

y

x

b

x

y

x

x

x

y

x

xy

x

x

n

y

x

y

x

n

a

b

b

a

a

b

a

b

ax

y

y

y

b

a

n

i

i

n

i

i

n

i

i

i

n

i

i

n

i

i

n

i

i

n

i

i

n

i

i

n

i

i

n

i

i

n

i

i

i

n

i

i

i

n

i

obl

i

i



































































































































2

1

1

2

1

1

1

1

2

2

2

2

1

1

2

1

1

1

1

2

1

2

var

,

cov

0

,

0

,

,

Wyznaczanie optymalnych parametrów a

i b

Macierz wariancji-kowariancji wyznaczonych parametrów
równania prostej











































n

i

i

i

r

r

b

ax

y

n

E

1

2

2

1

2

T

2

1

*

*





A

p

p

p

p

 

 

 

2

2

1

1

2

1

2

12

1

2

2

1

1

2

1

2

2

22

1

2

2

2

1

1

2

2

11

1

2

r

n

i

i

n

i

i

n

i

i

r

ab

r

n

i

i

n

i

i

n

i

i

r

b

r

n

i

i

n

i

i

r

a

x

x

n

x

x

x

n

x

x

x

n

n















































































































A

A

A



r

2

– wariancja resztowa

x

y

Ocena wyników regresji:

-Test dobroci dopasowania (

2

)

-Test istotności efektu liniowego (współczynnik
korelacji)

 

   

2

2

1

1

2

2

1

1

2

1

1

1

var

var

,

cov

r

y

y

n

x

x

n

y

x

y

x

n

y

x

y

x

r

n

i

i

n

i

i

n

i

i

n

i

i

n

i

n

i

i

i

n

i

i

i











































 

















współczynnik determinacji (ułamek wyjaśnionej
wariancji)

r > 0 – korelacja dodatnia

r<0 – korelacja ujemna

|r|>0.7 – dobra korelacja

0.3<|r|<0.7 – słaba korelacja

|r|<0.3 – brak korelacji













2

1

1

2

1

2

1

2

























n

y

y

y

y

y

y

F

n

i

obl

i

i

n

i

obl

i

i

n

i

i

Bardziej ogólny przypadek dopasowywania równania
prostej: regresja ważona

 







































n

i

i

i

i

n

i

i

i

i

b

ax

y

w

b

ax

y

b

,

a

1

2

1

2

2



















































































n

i

i

i

n

i

i

n

i

i

i

n

i

i

i

i

n

i

i

i

n

i

i

i

y

b

a

x

y

x

b

x

a

x

1

2

1

2

1

2

1

2

1

2

1

2

2

1













Linearyzacja

Mamy dopasować funkcję nieliniową

y=f(x,y;a.b)

Przekształcamy funkcję do takiej postaci aby uzyskać
postać zlinearyzowaną

=+
Gdzie  jest nową zmienną zależną,  nową zmienną

objaśniającą a a i b są nowymi parametrami, przy czym
ogólnie

=(x,y), =(x,y), =(a,b), =(a,b) 

Przykład problemu nieliniowego linearyzowalnego:
kinetyka reakcji pierwszego rzędu

 

 

 

 

 











































o

o

o

k

C

k

C

t

kt

C

t

A

kt

C

t

A

B

A

ln

ln

ln

ln

exp









Jeżeli chcemy postępować poprawnie to należy
wykonać regresję ważoną, wyliczając wagi
poszczególnych przekształconych zmiennych
objaśniających zgodnie z rachunkiem błędów.

2

2

2

2

2

i

i

x

i

i

y

i

i

i

x

y















































W poprzednim przykładzie

 

 

 

2

2

2

ln

2

1

A

A

A













Inne przykłady linearyzacji:

Równanie Michalisa-Mentena

 

 

 

S

K

S

K

S

m

m

1

v

1

v

v

1

v

v

max

max

max











Równanie Hilla

K

p

n

y

y

Kp

y

y

n

ln

ln

1

ln

1











Obie zmienne są obarczone

porównywalnym błędem

x

y



x



y

2

2

2

2

2

2

2

x

y

x

y

y

a

x

y



































Poprawiona wartość wagi zależy od a, które jest
parametrem regresji. Problem liniowy przekształca
się w nieliniowy. Problem można obejść
przeprowadzając najpierw “zwykłą” regresję i
wyznaczyć przybliżone a, następnie wstawić a do
wzoru na wagi i przeprowadzić regresję jeszcze raz.

Sposób: regresja ortogonalna

Regresja uogólniona albo analiza konfluentna

























*

*

2

*

1

1

2

*

2

2

*

2

1

2

*

2

2

*

2

,

,

,

;

,

1

1

1

1

n

n

i

i

i

y

i

i

x

n

i

i

i

y

i

i

x

x

x

x

b

a

b

ax

y

x

x

y

y

x

x

i

i

i

i











































x

y

(x,y)

(x*,y*
)

 

 













 



























































3

2

1

3

2

1

2

2

1

2

1

1

3

2

1

/

exp

exp

1

3

2

1

k

k

k

C

C

y

t

x

t

k

k

k

k

t

k

k

k

k

k

C

t

C

C

B

k

k

k

B

A

C

A

o

o

k

k

k

p

Przykład problemu nieliniowego nielinearyzowalngo:
kinetyka reakcji pierwszego rzędu z produktem
przejściowym

Regresja liniowa wielokrotna

m

m

n

nm

n

n

m

m

x

p

x

p

x

p

y

y

x

x

x

y

x

x

x

y

x

x

x



























2

2

1

1

2

1

2

2

22

21

1

1

12

11

Zmienne objaśniające x

1

,x

2

,…,x

m

nie muszą odpowiadać różnym

wielkościom lecz mogą być funkcjami tej samej wielkości
mierzonej (np. jej kolejnymi potęgami w przypadku
dopasowywania wielomianów).



 





 













































































































2

2

2

2

1

T

1

2

1

2

1

T

2

1

1

0

0

0

0

1

0

0

0

1

1

n

n

i

p

j

ij

j

i

i

n

i

p

j

ij

j

i

x

p

y

x

p

y





















W

Xp

Y

W

Xp

Y

Xp

Y

Xp

Y

regresja
nieważona

regresja ważona

Przypadek szczególny: dopasowywanie wielomianu

n

m

n

n

m

m

m

m

y

x

x

y

x

x

y

x

x

x

p

x

p

p

y

1

2

1

2

2

1

1

1

1

1

1

1

0

1

1

1

























































































































































































































m

i

i

im

m

n

i

im

n

i

i

im

n

i

i

im

m

i

i

i

m

n

i

im

i

n

i

i

n

i

i

i

m

i

i

i

m

n

i

im

i

n

i

i

i

n

i

i

y

x

p

x

p

x

x

p

x

x

y

x

p

x

x

p

x

p

x

x

y

x

p

x

x

p

x

x

p

x

1

1

2

2

1

2

1

1

1

1

2

1

2

2

1

2

2

1

1

1

2

1

1

1

1

2

1

2

1

1

1

2

1

































WY

X

p

WX

X

Y

X

p

X

X

T

T

T

T































n

i

m

j

ij

j

i

r

x

p

y

m

n

1

2

1

2

1



Test F dla istotności efektu
liniowego













m

n

y

y

m

y

y

y

y

F

n

i

obl

i

i

n

i

obl

i

i

n

i

i



























1

2

1

2

1

2

1



 











1

1

2

2

1

1

2

1

,

m

m

m

m

m

m

n

m

m

F















Test F dla istotności
włączenia nowych
parmetrów

Przykład dopasowywania wielomianu: rozkład cosinusa kąta
rozpraszania mezonów K z protonami (zakładamy że 

j

=sqrt(y

j

).

j

t

j

=cos(



j

)

y

j

1

-0.9

81

2

-0.7

50

3

-0.5

35

4

-0.3

27

5

-0.1

26

6

0.1

60

7

0.3

106

8

0.5

189

9

0.7

318

10

0.9

520

m

p

1

p

2

p

3

p

4

p

5

p

6

f

M

F

F

0.9

1

57.8

5

9 833.5

5

-

2

82.6

6 99.10

8

585.4

5

3.92

3.45

8

2

47.2

7

185.9

6

273.6

1

7 36.41 105.5

5

3.58

9

4

37.9

4

126.5

5

312.0

2

137.5

9

6

2.85 70.65 3.77

6

5

39.6

2

119.1

0

276.4

9

151.9

1

52.6

0

5

1.68

3.48 4.06

0

6

39.8

8

121.3

9

273.1

9

136.5

8

56.9

0

16.7

2

4

1.66

0.05 4.54

5















n

i

i

i

i

y

y

1

2

2

