STATYSTYKA

Statystyczne metody analizy współzależności

Analiza regresji

I. Badanie zależności dla przypadku zmiennych losowych zależnych

(X,Y) - wektor dwu zmiennych losowych.

Interesuje nas taki sposób opisu wzajemnej zależności tych zmiennych losowych by, na przykład, na podstawie obserwacji wartości jednej z nich można było przewidzieć wartość drugiej z nich.

Można do tego wykorzystać funkcję regresji:

Jest to więc warunkowa wartość oczekiwana X, przy warunku Y=y. Tak zdefiniowana funkcja regresji nazywana jest funkcją regresji pierwszego rodzaju. Analogicznie zdefiniowana jest funkcja regresji pierwszego rodzaju w przypadku odwrotnym, tzn. dla E(Y|X=x).

Najczęściej wykorzystuje się funkcję regresji przedstawioną w postaci funkcji liniowej. Mówimy wówczas o funkcji regresji drugiego rodzaju zdefiniowanej jako funkcja liniowa postaci , taka że

Badanie zależności dla przypadku gdy wartości zmiennej losowej zależą od wartości innej zmiennej (zmiennych).

W wielu przypadkach spotykanych w praktyce interesuje nas zależność obserwowanej zmiennej losowej (zmiennej zależnej) Y od wartości jakie przyjmuje inna zmienna (nie koniecznie losowa), zwana zmienną niezależną X. Zmienną zależną Y nazywamy czasami zmienną objaśnianą, a zmienną niezależną X nazywamy wówczas zmienną objaśniającą. Interesują nas zazwyczaj przypadki gdy zależność ta ma postać liniową

gdzie e jest zmienną losową (zakłóceniem) o zerowej wartości oczekiwanej i stałej wariancji.

W przedstawionych powyżej przypadkach regresji liniowej konieczna jest estymacja nieznanych parametrów modelu b₀ oraz b₁ na podstawie obserwacji par (X,Y).

Wykorzystujemy do tego celu tzw. metodę najmniejszej sumy kwadratów błędów (nazywaną często potocznie metodą najmniejszych kwadratów).

Na podstawie obserwacji n par (X_i,Y_i), i=1,...,n poszukujemy takie estymatory b₀, b₁ nieznanych parametrów modelu b₀ oraz b₁, by zminimalizować wartość sumy:

Uzyskujemy w ten sposób taką prostą Y=b₁X+b₀, że zostanie zminimalizowana suma kwadratów odległości pomiędzy zaobserwowanymi punktami (X_i,Y_i), a wyznaczoną prostą.

Minimalizacja S ze względu na b₀ oraz b₁ przebiega następująco:

Wyznaczamy pochodne funkcji S ze względu na b₀ oraz b₁ i przyrównujemy je do zera uzyskując tzw. układ równań normalnych.

Rozwiązujemy układ równań normalnych ze względu na b₀ oraz b₁ uzyskując następujące rozwiązanie:

oraz

Oszacowane równanie regresji zmiennej Y względem zmiennej X przyjmuje teraz postać

Można też zauważyć, że równanie regresji można również zapisać w następujący sposób:

W przypadku gdy interesuje nas zależność odwrotna, tzn. gdy funkcja regresji jest postaci

estymatory a₀ oraz a₁ mają postać:

Wyszukiwarka