Analiza regresji
1
Podstawowe pojęcia:
analiza regresji  badanie zależności funkcyjnej między
zmiennymi losowymi X i Y
regresja  odzwierciedlenie zależności między zmiennymi
losowymi w postaci funkcyjnej
korelacja  stopień zależności między zmiennymi losowymi.
Miarą jest współczynnik korelacji, który pokazuje w jakim
stopniu wartości zmiennej losowej skupiają się dookoła linii
regresji.
2
Wyniki pomiarów są najczęściej powiązane ze sobą pewną teorią,
podającą zależności między różnymi wielkościami.
Jeżeli znamy te zależności to można na podstawie pomiarów
wyznaczyć oceny statystyczne parametrów równania.
Przy określaniu parametrów równania
posługujemy się najczęściej
metodą najmniejszych kwadratów.
ą
ą
ą
Oznaczmy zależność funkcyjną
y=f(x: a0, a1, & .an)
gdzie a0, a1, & .an  parametry funkcji
Ta zależność może mieć postać:
y=ax+b, y=aebx+c, y=axbecx itp.
i określa się ją jako funkcję regresji
3
1
Mając dane uzyskane z pomiarów: y1, x1; y2, x2 & & . yn, xn
ocenę parametrów a0, a1, & .an określamy z warunku:
suma kwadratów odchyleń mierzonych wartości yk
od wartości obliczonej f(xk: a0, a1, & an)
ma przyjmować wartość najmniejszą.
n
2
S = - f (xk : a0,a1,...an )] = min
"[yk
k=1
Różniczkując cząstkowo zależność S otrzymujemy układ równań jednorodnych
"S "S "S
= 0 = 0 .... = 0
"a0 "a1 "an
po rozwiązaniu, którego znajdujemy a0, a1, & an.
Są to współczynniki regresji
4
REGRESJA PROSTOLINIOWA
Oszacowanie prostej regresji:
cechy Y względem X
y
y=ax+b
y
di
x x
2
Tworzymy funkcje F(a,b)=Łdi2=min
F(a,b) = - (axi + b)]
"[yi
"F "F
Z równań = 0; = 0 wyznacza się współczynniki regresji:
"a "b
S Sxy
y
a = r =
b = y - ax
2
Sx Sx
5
Oszacowanie prostej regresji:
cechy X względem Y
y
y=a x+b
2
y
F(a',b') = - �ł �łśł
"�ł �ł yi - b' �łłł
�łxi �ł a' łł
�ł �ł
d
i
x x
"F "F
Z równań = 0; = 0 wyznacza się współczynniki regresji:
"a' "b'
2
Sy Sy
1
a'= =
b'= y - a' x
r Sx Sxy
6
2
Oszacowanie prostej regresji ortogonalnej
y y=a*x+b*
2
y
F(a*,b*) =
"(a * xi + b *- yi)
a *2 +1
d*
i
x x to jest kwadrat odległości punktu od prostej
"F "F
Z równań "a * = 0; = 0 wyznacza się współczynniki regresji:
"b*
2cov(x, y)
a* =
2 b* = y - a * x
2 2 2 2
Sx - Sy + Sx - Sy + 4cov2(x, y)
( )
(wg: Poradnik Matematyczny cz.2, Dziubiński, Świątkowski, PWN 1982)
7
współczynnik korelacji liniowej |r|d"1
cov(x, y)
r =
Sx �" Sy
Wariancje:
2
N N N N
�ł łł
1 �ł �ł
2 2 2
2
1 1
Sx = - x) = - x2 = N - �ł �ł śł
�ł
N "(xi N "xi "xi "xi
2
N
i=1 i=1 i=1 �ł i=1 łł
�ł śł
�ł �ł
2
N N N N
�ł łł
1
2 �ł �ł
2
1 1
S = - y) = yi 2 - y2 = N yi 2 - �ł �ł śł
yi
�ł
y N "(yi N " " "
2
N
i=1 i =1 i =1 �ł i =1 łł
�ł śł
�ł �ł
Kowariancja:
N N
1 1
cov(x, y) = Sxy = - x)(yi - y)= yi - x �" y =
N "(xi N "xi
i =1 i=1
N N N
1 �ł łł
= �" yi śł 8
"xi
2 �łN yi - "xi "
N
�ł i=1 i=1 i =1 �ł
Przedział ufności dla prostej regresji f(x)=y=ax+b na
poziomie ufności 1-ą
Obszar ten wyznacza się wg wzoru:
P{yk-Sk�t(ą,�) 9
3
gdzie
yk=a�xk+b
xk  dowolna wartość zmiennej losowej X
t(ą,�)  kwantyl rozkładu t-Studenta rzędu ą o �=n-2
stopniach swobody
Y(X)  hipotetyczna średnia wartość cechy Y dla danej cechy X
Sk2 =Sa2[Sx2 +(xk -x)2]
= [ + - ]
= [ + - ]
= [ + - ]
- wariancja dla k-tego punktu
10
wariancja współczynnika kierunkowego prostej regresji
2
(yi - f ( xi ))
( - )
( - )
( - )
n
"
"
"
"
Sa 2 = �" =
= �" =
= �" =
= �" =
2
n - 2 - (" xi )
-
- n xi 2 - (" )
-
- (" )
- (" )
"
"
"
"
2
2
S - r )
(
n (1 - )
( - )
(
2 y - )
= S = �"
= = �"
= = �"
= = �"
2 2
(n -
-
-
S - 2)
n xi 2 - (" xi )
- (" )
- (" )
- (" )
x
"
"
"
"
wariancja wyrazu wolnego prostej regresji
2 2
- )
1
"xi "(yi
" "( - )
" "( - f (xi))
" "( - )
Sb2 = �" =
= �" =
= �" =
= �" =
2
2
n-2
-
- n -("xi)
-
-(" )
-(" )
-(" )
"xi
"
"
"
2
1
"xi
"
"
"
= S2 = Sa2 2 = Sa2(Sx2 + x2)
= = = ( + )
= = = ( + )
= = = ( + )
"xi
"
"
2 "
2
n
n -("xi)
-(" )
-(" )
-(" )
"xi
"
"
"
2
- )
"(yi
"( - )
"( - f (xi ))
"( - )
S2 =
=
= 11
=
(n - 2)
-
-
-
REGRESJA KRZYWOLINIOWA
Wyznaczanie paraboli regresji:
Tworzymy funkcje F(a,b,c)=Łdi2=min
2
F(a,b,c) = [yi - (ax2 + bxi + c)]
i
"
"F "F "F
Z równań = 0; = 0; = 0 wyznacza się współczynniki regresji:
"a "b "c
4 3 2 2
a + b +c = yi
"xi "xi "xi "xi
3 2
a + b +c = yi
"x "x "x "x
i i i i
2
a + b +c �" n = yi
"xi "xi "
12
4
Wprowadzamy zmienne pomocnicze:
1 2
1
ą = xi2 - (" xi) ; � = xi2 yi - ("xi2)(" yi);
" "
n n
1
ł = xi3 - (" xi)(" xi2);
"
n
1
� = xi yi - ("xi)(" yi);
"
n
1 2
� = xi4 - (" xi2) ;
"
n
13
parametry paraboli regresji:
ą� - ł�
�� - �ł
a = ; b = ;
2 2
ą� - ł ą� -ł
1 1 1
c = (" yi)- b ("xi)- a ("xi2);
n n n
Współczynnik zgodności (im mniejszy tym lepsza zgodność)
2
- f (xi )]
2 "[yi 2
� = ; gdzie 0 d" � d" 1
2
- y)
"(yi
Współczynnik korelacji krzywoliniowej
2 14
R = 1-�
Wyznaczanie hiperboli regresji dla funkcji homograficznej:
cx + d
y = f (x) = ;
ax + b
x - xk
Stosując podstawienie: X = x ; Y =
y - yk
dowolny punkt ze zbioru punktów (xi, yi)
gdzie (xk , yk ) �!
otrzymujemy nowy zbiór punktów (Xi, Yi),
dla którego oszacujemy parametry prostej regresji
Y = A�" X + B
c
d
x - xk (Ayk +1)x + Byk - xk
= A�" x + B �! y = ;
y - yk Ax + B
a b
15
5
n XiYi - Xi �"
" " "Yi
A = ; B = Y - A�" X
2
n Xi2 -(" Xi)
"
cxi + d
parametry hiperboli regresji f (xi ) =
axi + b
a = A; b = B
c = Ayk +1; d = Byk - xk
Współczynnik zgodności (im mniejszy tym lepsza zgodność)
2
- f (xi )]
"[yi
2 2
� = ; gdzie 0 d" � d" 1
2
- y)
"(yi
16
6