Wykład 11. Metoda najmniejszych kwadratów
Szukamy zależności
Dane są wyniki pomiarów dwóch wielkości x i y: (x1, y1), (x2, y2), ..., (xn, yn).
Przypuśćmy, że nanieśliśmy je na wykres w układzie współrzędnych i okazało się, że
" w przybliżeniu układają się one na pewnej prostej.
" To znaczy, że w przybliżeniu y = ax + b.
" Ale takich prostych  przybliżajacych może być wiele.
" Jak znalez
ć najlepsze przybliżenie?
" Co to znaczy  najlepsze ? Jak zmierzyć, które przybliżenie jest lepsze?
Różne sposoby porównywania przybliżeń
Za miarę jakości przybliżenia możnaby wziąć na przykład
" sumę różnic  wartość dokładnia - wartość przybliżona .
" Ale taka suma różnic może się zerować nawet, gdy składniki są duże!
" A może wziąć |wartość dokładna - wartość przybliżona|?
" Każdy, kto badał funkcję, w której występują wartości bezwzględne wie, że takie badanie może być
trudne.
" Dobrym miernikiem jest suma wyrażeń typu (wartość dokładnia - wartość przybliżona)2.
Metoda najmniejszych kwadratów
Przypuśćmy, że dane są punkty (x1, y1), (x2, y2), ..., (xn, yn). Chcemy znalez
ć prostą y = ax + b, której
wykres najlepiej w sensie najmniejszych kwadratów przybliża dane punkty.
Oznacza to, że chcemy znalez
ć minimum, a właściwie wartość najmniejszą funkcji
n

f(a, b) = (axi + b - yi)2 .
i=1
Jak szukać minimum funkcji dwóch (lub więcej) zmiennych?
Dana jest f(a, b), różniczkowalna wszędzie (bo to suma kwadratów!). Szukamy takich a i b, dla których ta
funkcja osiaga wartość najmniejszą.
" Albo taka wartość osiągana jest na brzegu zbioru,
" albo w takim punkcie (a, b), w którym

"f
= 0
"a
"f
= 0
"b
Przykład
Metodą najmniejszych kwadratów znalez
ć równanie prostej, która najlepiej przybliża poniższe dane:
xi 1 2 3 4
yi 2 4 5 7
RozwiÄ…zanie
Szukamy takiego równania prostej y = ax + b, czyli współczynników a, b, aby funkcja
f(a, b) = ((a · 1 + b) - 2)2 + ((a · 2 + b) - 4)2 + ((a · 3 + b) - 5)2 + ((a · 4 + b) - 7)2
osiągnęła wartość najmniejszą.
Zastosujemy pochodne.
RozwiÄ…zanie c.d.
Jak łatwo obliczyć
1
"
"f
= 2(a + b - 2) + 2(2a + b - 4) · 2 + 2(3a + b - 5) · 3+
"a
+ 2(4a + b - 7) · 4 = 2(30a + 10b - 53).
"
"f
= 2(a + b - 2) + 2(2a + b - 4) + 2(3a + b - 5) + 2(4a + b - 7) =
"b
= 2(10a + 4b - 18).
" Obie pochodne należy przyrównać do zera.
RozwiÄ…zanie c.d.
Z układu

30a + 10b = 53
10a + 4b = 18
" otrzymujemy
" a = 1, 6,
" b = 0, 5.
" Odpowiedz
: szukanÄ… prostÄ… jest y = 1, 6x + 0, 5.
" Można obliczyć wartości y dla x = 1, 2, 3, 4 i porównać z danymi z tabelki.
Co to za krzywa?
Metodą najmniejszych kwadratów znalez
ć równanie krzywej, która najlepiej przybliża poniższe dane:
xi 0 1 2 3
yi 0, 2 0, 8 2, 4 4, 6
" Nanieśmy dane na wykres.
" Może taka krzywą jest parabola?
" Szukamy krzywej o równaniu y = ax2 + c.
RozwiÄ…zanie
Układamy funkcję
4

f(a, c) = (ax2 + c - yi)2 =
i
i=1
= (a · 0 + c - 0, 2)2 + (a · 1 + c - 0, 8)2 + (a · 2 + c - 2, 4)2 + (a · 3 + c - 4, 6)2.
" Obliczamy jej pochodne czÄ…stkowe.
"f
" = 2(97a + 14c - 51, 8).
"a
"f
" = 2(14a + 4c - 10)
"c
" I rozwiązujemy układ równań liniowych.
RozwiÄ…zanie
Z drugiego równania
" c = 2, 5 - 3, 5a, zatem
2
" a = 0, 35,
" c = 1, 275.
Prawo Keplera
Kepler dysponował takimi danymi
Planeta Merkury Wenus Ziemia Mars Jowisz Saturn
Odl. od SÅ‚. 0,39 0,72 1 1,52 5,20 9,59
Czas obiegu 0,24 0,62 1 1,88 11,86 29,46
Na wykresie jakiej funkcji leżą punkty o tych współrzędnych?
Jaka to funkcja?
Znalezienie wzoru linii wydaje się bardzo trudne, ponieważ TO NIE JEST wykres prostej!
Pomysł: przejdz
my do logarytmów liczb z tabelki (log x lub ln x).
Planeta Merkury Wenus Ziemia Mars Jowisz Saturn
Odl. od SÅ‚. -0, 41 -0, 14 0 0,18 0,72 0,98
Czas obiegu -0, 62 -0, 21 0 0,27 1,07 1,47
Na wykresie jakiej funkcji leżą punkty o tych współrzędnych?
RozwiÄ…zanie
Teraz odpowiedz
można odgadnąć w pamięci, bez wykonywania jakichkolwiek obliczeń.
" Policzmy jednak: szukamy prostej y = ax + b metodą najmniejszych kwadratów.
" Ponieważ prosta przechodzi przez punkt (0, 0), więc ma równanie y = ax.
" Metoda najmniejszych kwadratów: szukamy minimum funkcji
f(a) = (-0, 41a - (-062))2 + (-0, 14a - (-0, 21))2+
+ (0, 18a - 0, 27)2 + (0, 72a - 1, 07)2 + (0, 98a - 1, 47)2.
" Obliczamy pochodnÄ…:
RozwiÄ…zanie
" Pochodna f (a) = 2 [(-0, 41a - (-062)) · (-0, 41)+
+(-0, 14a - (-0, 21)) · (-0, 14) + (0, 18a - 0, 27) · 0, 18+
+(0, 72a - 1, 07) · 0, 72 + (0, 98a - 1, 47) · 0, 98] .
" Po uproszczeniu
" f (a) = 0, gdy 1, 6989a = 2, 5432, skÄ…d
" a = 1, 4969...
Odpowiedz

Wszystkie dane astronomiczne w tabelce są zaokrąglone, więc tutaj też możemy przyjąć (z całkiem dobrym
przybliżeniem)
"
3
a = .
2
" Mamy zatem dla logarytmów zależność
3
log y = log x,
2
3
" a stÄ…d prawo Keplera
y = x3/2.
Metoda największej wiarygodności
Zadanie: Wiadomo, że liczba wypadków drogowych ma rozkład Poissona z pewnym parametrem .
" W pewnym mieście zaobserwowano w kolejnych n tygodniach następujące liczby wypadków: x1, x2, x3, x4, ..., xn
" Dla jakiej wartości parametru  otrzymane wyniki są najbardziej prawdopodobne?
Rozwiązanie Prawdopodobieństwo tego, że zmienna o rozkładzie Poissona z parametrem  przyjmie war-
tość xk, dane jest wzorem
xk
p(xk, ) = e-.
xk!
Szukamy takiej wartości parametru , zależnej od wartości otrzymanych wyników, dla której funkcja
L(x1, ..., xn, ) = p(x1, )p(x2, )...p(xn, )
przyjmie maksimum.
" Stosujemy rachunek różniczkowy.
" W celu zmiany iloczynu w sumÄ™, logarytmujemy iloczyn.
" Fakt: Jeśli log L() ma w 0 ekstremum, to L() też.
RozwiÄ…zanie

x1 x2 xn
log L(x1, ..., xn, ) = log e- · e- · ... · e-
x1! x2! xn!
" A ponieważ

xk
log e- = xk log  - log(xk!) - 
xk!
" więc

log L(x1, ..., xn, ) = (x1 + x2 + ... + xn) log  - n - log(xk!)
" skÄ…d
" log L x1 + ... + xn
= - n = 0
" 
.
RozwiÄ…zanie
Wniosek: Gdy
n

1
 = xk,
n
k=1
to zaobserwowane wartości są najbardziej prawdopodobne.
n
1
Å»
Funkcję (statystykę) X = Xk nazywamy estymatorem wartości nieznanego parametru .
k=1
n
A gdy rozkład ma gęstość?
Wtedy zamiast prawdopodobieństw mnożymy gęstości, np. dla rozkładu normalnego z gęstością
-(x-m)2
1
2Ã2
"
g(x, m, Ã) = e
2Ä„ Ã
mamy
L(x1, ..., xn, m) = g(x1, m, Ã)g(x2, m, Ã)...g(xn, m, Ã).
" Dalej jak poprzednio:
4
" Logarytmujemy, liczymy pochodnÄ…
" po m (gdy badamy średnią) i przyrównujemy do zera,
" po à (gdy badamy wariancjÄ™) i przyrównujemy do zera.
Ć
Czym różnią się S i S?
Estymator Zn parametru ¸ nazywa siÄ™ nieobciążony, gdy E(Zn) = ¸.
n
1
Å»
" Na przykład X = Xi jest nieobciążonym estymatorem średniej m, bo
i=1
n
n

1 1
E( Xi) = (E(X1) + ... + E(Xn)) = m.
n n
i=1
n
1 n-1
Å»
" Mamy E(S2) = E(n i=1(Xi - X)2) = Ã2 i ten estymatror jest obciążony.
n
n
1
Ć Ż Ć
" Natomiast E(S2) = E(n-1 i=1(Xi - X)2) = Ã2, wiÄ™c S2 jest nieobciążonym estymatorem wariancji
i dlatego stosuje się go częściej.
5