przewodnikPoPakiecieR 4

Wyl> i mii¹ in ni rdiiiy statystyczne

3.1.1.-I Inne metody estymacji współczynników li '/‘'li zakłócenie losowe e ma rozkład normalny, a zmienne objaśniające niosą wspól-llnlowc, to estymatory określone równaniem (3.9) są optymalne. W pewnych nyt.u-gdy założenia modelu są naruszone, stosowane są inne metody estymacji współczynników. Wymienimy dwie najpopularniejsze alternatywy:

Regresja grzbietowa (ang. Ridye. regression), również nazywana regularyza-cją Tiklioruwa lub estymacją ściągającą.

W sytuacji, gdy w modelu jest bardzo wiele zmiennych (w liczbie porównywalnej lub przekraczającej liczbę obserwacji), zmienne objaśniające są silnie skorelowane oraz/lub zmienne objaśniające są bliskie wspólliniowości, to oceny współczynników modelu mogą być zafałszowane i niestabilne. Niestabilne, a więc małe modyfikacje zmiennych objaśniających będą prowadziły do dużych zmian w ocenach współczynników /i. Takie zachowanie ocen jest spowodowane tym. że macierz X^TX jest bliska macierzy osobliwej, przez co procedury numerycznego jej odwracania zachowują się źle. W języku angielskim takie sytuacje nazywa się źle postawionymi (ang. ill-conditioned pmhlems). Nio można ich dobrze rozwiązać w oryginalnej postaci, dlatego stosuje się pewną regularyzację nakładając dodatkowe warunki na rozwiązania. Skoro macierz X^rX trudno odwrócić, to dodaje się do jej przekątnej pewną wartość. Zmieniana/-/,więk-szana jest przekątna, stąd nazwa regresja grzbietowa. Daje to nową macierz X^rX + SI, którą łatwiej odwrócić. Symbol I oznacza macierz identyczności (z jedynką na przekątnej i zerami poza przekątną) a S pewną dodatnią stałą. Dla nowej macierzy wzór (3.9) na oceny współczynników w modelu liniowym przyjmuje postać

0 = (X^TX + Siy^lX^TY.    (3.11)

Takie postępowanie można również uzasadnić na gruncie Bayesowskim. Odpowiada ono przyjęciu wielowymiarowego normalnego rozkładu a priori (o śred- . niej 0) na współczynniki 0 ściągając ich oceny w kierunku zera.

Regresja grzbietowa jest zaimplementowana w pakiecie HASS. Dopasowanie modelu regresji grzbietowej wykonuje funkcja lm.ridge(MASS).

Regresja odporna (ang. Robust regression).

W sytuacjach, gdy spodziewamy się obserwacji odstających łub, gdy rozkład .."'V zaburzenia jest rozkładem skośnym lub o ciężkich ogonach stosowanie nię-lody najmniejszych kwadratów może prowadzić do znacznych zaburzeń oce- / ^; ny współczynników. Aby zmniejszyć wpływ znacznych odchyleń od wartości oczekiwanej stosuje się regresję odporną. W pakiecie MASS zaimplementowanej/ są metody do odpornej estymacji współczynników w modelu liniowym (wy-= Ą ; korzystającej M-estyinat.ory). Zamiast minimalizować RSS (surnę kwadratów residuów) minimalizowana jest wartość

f>(-

i= 1 \

gdzie p(x) to funkcja określająca silę wpływu wartości residuów na ocenę współczynnika. Dla p(x) = x² otrzymujemy zwykłą metodę najmniejszych , kwadratów. Jeżeli chcemy zmniejszyć wpływ wartości odstających na ocenę g:

współczynników, to wybrane p(x) poza przedziałem [—r, r) (gdzie r to parametr metody) powinno być znacznie mniejsze od x~. W zastosowaniach zamiast funkcją p(x) wygodniej jest się posługiwać pochodną tej funkcji, oznaczaną «/>(zr) = p/(x). Dla różnych funkcji ip(x) otrzymujemy różne estymatory. Popularne funkcje i/Ąx) stosowane w regresji odpornej to funkcje: Hubera, Hampcla i funkcja bisąuare Tukeya. Na rysunku 3.28 przedstawiono przykładowe wykresy tych funkcji.

Funkcja rlm (MASS) pozwala na dopasowanie modelu metodą regresji odpornej z użyciem każdej z wymienionych powyżej funkcji (patrz rysunek 3.27). Inną. metodę odpornej oceny współczynników (ang. Resistant Regression) udostępnia funkcja lqs(MASS).

Rysunek 3.27: Ocena modelu metodą najmniejszych kwadratów i metodą odporną

paliwt*r(x)

0.0 0.S 1.0

psi.huber(x)    psi.hampel(x)    psi.bisquare(x)

&

Rysunek 3.28: Najpopularniejsze funkcje r!) stosowane w regresji odpornej