Informatyka i Komputerowe Wspomaganie Metoda analizy regresji
Prac Inżynierskich
Metoda analizy regresji umożliwia identyfikowanie charakterystyki statycznej
(modelu) wielowymiarowego obiektu nieliniowego, o wielu wejściach i
Modelowanie  cz. 1  Analiza regresji jednym wyjściu, poddanego działaniu zakłóceń przypadkowych.
Załóżmy, że badany obiekt ma S wejść x1, x2, ..., xS, jedno wyjście y, działa
na niego P zakłóceń z1, z2, ..., zP oraz jest opisany zależnością:
y = f (x1, x2, ..., xS; z1, z2, ..., zP)
o nieznanych wartościach zakłóceń z1, z2, ..., zP.
z1 zP
x1
x2
y
Obiekt
xS
1 2
Regresja liniowa Metoda analizy regresji
Niemierzalne wielkości zakłócające z1, z2, ..., zP podlegają ciągłym
nieprzewidzianym zmianom. Przy określonych wartościach sterowań x1, x2,
..., xS są więc możliwe rożne wartości y. Zależność y od x1, x2, ..., xS nie jest
zwykłą zależnością funkcyjną, lecz zależnością stochastyczną.
Analiza regresji polega na znalezieniu parametrów b0, b1, b2, ..., bS
wielowymiarowej liniowej funkcji regresji o postaci:
w
b x b
b b
x .x
S
S
= + + + . (1)
+
0 1 1 2 2
.
w
bb b
b .x
xx
n n n S
n
= + + + .S
+
0 1 1 2 2
.
3 4
Metoda analizy regresji Metoda analizy regresji
Nieznane parametry funkcji regresji wyznaczane są tak, aby najlepiej Pomijając indeksy przy sumach po przekształceniu otrzymuje się układ S+1
aproksymować zmienną Y w tym sensie, że suma kwadratów odchyleń dla równań o postaci:
zaobserwowanych danych przyjmuje wartość minimalną:
N N
S y y b . b x x b
w
b b b N b xy
xx x b
2
R n n n n n S2 S S
n
= - ) = - - - + .S min + + +K+ =
- )
"( "( 0 1 1 2 2 0 1" 1 2" 2 " "x �ł
n n
b b bx bxy
x x x
=1 =1 . �ł
2
S S
+ + +K+ = x
�ł
ze względu na parametry b0, b1, b2, ..., bS. W celu wyznaczenia tych 0" 1 1" 1 2" 2 1 " 1 "
1
żł
parametrów obliczane są pochodne cząstkowe funkcji SR względem tych
LLLLLLLLLLLLLLLLLLLLLLL
�ł
x x x xy
x
parametrów i przyrównywane do zera: b b bx b
2S S
S S S S �ł
+ + +K+ = x
0" 1" 1 2" 2 " "
"SR �ł
�ł
= 0�ł
"b0 �ł
"SR �ł
Rozwiązując układ równań (2) otrzymuje się wartości parametru b0 oraz tak
= 0�ł
zwanych cząstkowych współczynników regresji b1, b2, ..., bS funkcji regresji (1).
"b1 żł (2)
�ł
LLL
�ł
"SR �ł
= 0�ł
"bS �ł
5 6
Metoda analizy regresji Metoda analizy regresji
W przypadku obiektu nieliniowego funkcję regresji przyjmuje się w postaci: Dla obiektu nieliniowego wzór na sumę kwadratów odchyleń przyjmuje postać:
N N
w
x x b
b b x
S y y x b2
w
b x
2
K
K
R n n n n K n
K
= �0( )+ �1( )+ K + � ( )
= - ) = - �0( )+K- � ( )] min
0 1 "( "[ 0
n n
w
x x b
b b x
=1 =1
n n n K n
K
= �0( )+ �1( )+ K + � ( )
0 1
W przypadku regresji jednowymiarowej pewną ocenę rozrzutu punktów
obserwowanych względem linii regresji daje wariancja:
przy czym �k(x), dla k = 1, 2, ..., K, są zadanymi z góry funkcjami liniowo
niezależnymi o argumentach:
N
s yx
xx
x,
,x
,
1N w

2
2
y n n
w

S
=
= ( K )
- "[ - ( )]
1 2 n
=1
x
�0( ) a" 1
Wariancja ta jest tym mniejsza, im mniejszy jest rozrzut punktów
obserwowanych wokół linii regresji, a więc im ściślejszy jest związek zmiennych
Y i X.
7 8
Współczynnik korelacji Ocena istotności funkcji regresji
Do określenia związków między dwiema zmiennymi losowymi Y i X stosuje się Z analizą regresji związana jest funkcja testowa F, która bada stosunek
y
2
y
w

współczynnik korelacji, określony na podstawie obserwacji yn, xn(n = 1, 2, ..., N) oszacowania wariancji funkcji regręsji do oszacowania wariancji resztou
ej
�
-
wzorem:
N
Ć
yx
yx
2
w

n n F
�Ć
"( - )( - ) m
y
R n
=
x
y =1 2
s y
s w

N N
= �
x
-
y
x
y x=
y x
2
n n2
"( - ) "( - )
n n
gdzie:
=1 =1
myx  moment korelacyjny zmiennych Y i X,
gdzie:
sy  odchylenie standardowe zmiennej Y,
myx  moment korelacyjny zmiennych Y i X,
sx  odchylenie standardowe zmiennej losowej X
sy  odchylenie standardowe zmiennej Y,
sx  odchylenie standardowe zmiennej losowej X
9 10
Regresja liniowa Regresja liniowa
Rozważmy dwie zmienne X i Y dla których mamy zbiór par punktów:
(xi, yi)
Analiza regresji polega na wyznaczeniu równania liniowego (modelu) o postaci
y = b + ax
tj. oszacowaniu (estymacji) parametrów a i b na podstawie odpowiedniej próby
losowej (np. wyników eksperymentalnych).
Zagadnienie estymacji parametrów modelu sprowadza się do takiego dobrania
parametrów a i b aby suma kwadratów odległości każdego punktu
empirycznego od prostej regresji była jak najmniejsza.
11 12
Estymacja parametrów modelu Estymacja parametrów modelu
Każdą obserwację empiryczną można zapisać jako:
Funkcja s jest funkcją dwóch niewiadomych (a i b), aby znalez
ć
minimum tej funkcji musimy wyznaczyć pochodne cząstkowe funkcji s
względem obu niewiadomych:
yi = b + a�xi +�i
n
s'b = -2 yi - b - a �" xi )
"(
Zadanie estymacji sprowadza się do wyznaczenia minium funkcji s
i=1
danej wzorem:
n
n s'a = -2 �"( yi - b - a �" xi )
"xi
s x
a
, y a
b2 n b
i=1
2
i i i
= = - + �" ]
"� "[
i i
i przyrównać te pochodne do zera.
=1 =1
13 14
Estymacja parametrów modelu Istotność współczynnika regresji
Istotność wyestymowanego równania regresji bada się weryfikując
hipotezę (zerową) o postaci :
Otrzymuje się wówczas układ równań:
n H0 : a = 0 wobec H1 : a `" 0
Ć
y �
b
x
ńł
i i
- - �" = 0 Przy prawdziwości H0 statystyka:
"
�ł i
�ł
=1 � �
n
�ł
xĆ t
y �
b
x
i i
i
�ł - - �" = 0
ss
= =
"
i
Ć 2
�ł b y
/
x
ół =1
s
x
2
który po rozwiązaniu daje:
n ma rozkład t-Studenta z liczbą stopni swobody równą n  2.
y x
y x
i i
- -
Ć
"
� b�
x
i y
=1 Z tablic rozkładu t-Studenta, dla ustalonego poziomu istotności ą i dla
n
=
= - �"
x
x
n-2 stopni swobody odczytuje się taką wartość tkryt, by zachodziło:
i2
-
"
i
P(|T| e" tkryt) = ą
=1
15 16
Istotność współczynnika regresji Istotność współczynnika regresji
0 .4 0
0 .3 5 Jeżeli |t| > tkryt, to
0 .3 0 H0 : a = 0
0 .2 5 należy odrzucić jako statystycznie mało prawdopodobną i stwierdza się
istotność wyznaczonego równania regresji.
0 .2 0
0 .1 5
1-ą ą /2
ą/2
W przypadku przeciwnym, wyniki próby nie przeczą hipotezie H0 i funkcja
0 .1 0
regresji jest istotna.
0 .0 5
0 .0 0
-3 - 2 -1 0 1 2 3
Współczynnik regresji mówi nam o tym, o ile zmieni się zmienna zależna y przy
-tkryt tn,
-tn,ą tkrytą
wzroście zmiennej x o jednostkę.
Z tablic rozkładu Studenta odczytuje się, dla wcześniej przyjętego poziomu
istotności ą i liczby stopni swobody n-2, wartość krytyczną tkryt. Jeżeli obliczona
wartość t znajduje w dwustronnym obszarze krytycznym (-", - tkryt), (tkryt, +"), to
H0 należy odrzucić na korzyść hipotezy H1
17 18
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
Dopasowanie prostej regresji
Współczynnik determinacji
n
w

y
Odchylenie obserwowanej wartości od jej średniej można zapisać
i2

"( - ) ax
r
i
następująco:
o
y
2 =1
n y
= =
y v
yv
i2
"( - ) a
i
r
=1
$ $
yi - y = yi - y + yi - yi
( ) ( )
n n n
y w
y
y y w

2
i2 i2 i i
"( - ) = "( - ) + "( - )
i i i
=1 =1 =1
Pierwszy składnik to część całkowitego odchylenia zmiennej y, która
jest wyjaśniona regresją liniową y względem x, drugi składnik to część
Współczynnik determinacji przyjmuje wartości z przedziału:
zmienności całkowitej, która nie została wyjaśniona regresją.
r2 "<0; 1>
Informuje on o tym, jaka część zmienności całkowitej zmiennej losowej
Y została wyjaśniona regresją liniową względem X.
19 20
Weryfikacja hipotezy o istotności regresji
Współczynnik determinacji
Jeżeli między zmiennymi Y i X istnieje pełna zależność, to wszystkie
punkty empiryczne leżą na prostej, reszty są zerowe, a r2 = 1.
W przypadku braku zależności (a=0) funkcja regresji jest stała
i r2 = 0.
21 22
Weryfikacja hipotezy o istotności regresji
Predykcja na podstawie regresji liniowej
Weryfikacji hipotezy o istotności regresji testem Fishera-Snedecora.
Analiza wariancji ma postać:
Model regresji można wykorzystać do przewidywania wartości które
przyjmie zmienna Y przy ustalonych wartościach zmiennej niezależnej
Wielokrotność R  współczynnik korelacji
X.
R kwadrat  współczynnik determinacji r2 = SSR/SST; informuje, jaka część
Jest to zagadnienie predykcji lub prognozowania.
zmienności zmiennej objaśnianej została wyjaśniona przez model.
Dopasowany R kwadrat-
Reguła jest, że im wartość x, dla której dokonujemy predykcji jest
Błąd standardowy - standardowy błąd reszt (pierwiastek kwadratowy z MSE)
bardziej odległa od średniej z próby tym mniejsza dokładność prognozy.
Obserwacje  liczba obserwacji w badaniu
Analiza wariancji
df (degree of freedom)  liczba stopni swobody  liczba niezależnych wyników
obserwacji pomniejszona o liczbę związków, które łączą wyniki ze sobą
SS  (Sum of Squares)  suma kwadratów - reszt (SSE); regresji (SSR); razem
(SST)
MS  (wartość średnia kwadratów) - reszt (MSE); regresji (MSR)
F  wartość statystyki F służącej do weryfikacji hipotezy o łącznej istotności
zmiennych objaśniających F=MSR/MSE
Istotność F ( mniejsza od 0,05  zmienne istotne na poziomie istotności 5%)
23 24
)
)
(
(
Weryfikacja hipotez o istotności
Problem doboru zmiennych
cząstkowych współczynników regresji
W przypadku istnienia silnych współzależności między zmiennymi
niezależnymi analizując funkcję regresji wielokrotnej dochodzimy do
Problem sprowadza się do zweryfikowania serii k hipotez zerowych
wniosku, że jest ona istotna statystycznie (testem F).
mówiących o tym, że i-ty cząstkowy współczynnik regresji jest równy zero.
Weryfikując dalej hipotezy o istotności cząstkowych współczynników
H0:bi = 0
uzyskujemy wartości testu t Studenta, które nie przeczą hipotezom
zerowym.
Hipotezy te mogą być weryfikowane testem t-Studenta
Czyli mamy istotną funkcję regresji ale wszystkie zmienne (analizowane
oddzielnie) są nieistotne, powinny więc być usunięte z modelu.
Zaczynamy od pełnego zestawu potencjalnych zmiennych
niezależnych, a następnie kolejno usuwamy z modelu tę zmienną
niezależną, której rola w opisywaniu zależności między zmienną Y a
zmiennymi niezależnymi jest najmniejsza. Podejście takie nosi nazwę
regresji krokowej.
25 26
Regresja wielomianowa (krzywoliniowa)
W wielu przypadkach interesuje nas nieliniowy związek między
zmienną Y a zmienną X.
Przykład modelu nieliniowego z dwoma zmiennymi niezależnymi:
2 2
y = b0 + b1x1 + b2x1 + b3x2 + b4x2 + b5x1x2
27