Klasyczna metoda najmniejszych kwadratów:
odnosi się do metody szacowania parametrów strukturalnych modelu liniowego.
1 y1= βo+ β1x1+β2x2+ …+ βkxk+εi
W którym spełnione powinny być następujące założenia:
1.zmienne objaśniające są nielosowe, ich wartości traktowane są jako wielkości stałe w powtarzających próbach
2.wartości oczekiwane składników losowych są równe zeru
3.wariancje składników losowych są stałe (własność homoskedastyczności)
4.Składniki losowe są od siebie niezależne (występuje autokorelacja składników losowych)
5.każdy ze składników losowych ma rozkład normalny
6.liczebnośc próby jest większa niż liczba szacowanych parametrów
7.pomiędzy wektorami obserwacji zmiennych objaśniających nie istnieje zależność liniowa (założenie o braku współliniowości)
Z równania 1 wynika że:
jeżeli oznaczymy yi – i-ta obserwacja zmiennej objaśnianej
xi –t-ta obserwacja zmiennej objaśniającej
Wektor obserwacji zmiennej objaśnianej Y = [$\begin{matrix} y1 \\ \ldots \\ \text{yn} \\ \end{matrix}$]
Wektor obserwacji i-tej zmiennej objaśniającej Xj=[$\begin{matrix} xj1 \\ \ldots \\ \text{xjn} \\ \end{matrix}$]
Macierz obserwacji zmiennych objaśniających X = [$\begin{matrix} 1 & x11\ \ldots & xk1 \\ 1 & x12\ \ \ldots & xk2 \\ 1 & x1n\ \ \ldots & \text{xkn} \\ \end{matrix}$]
Kolumna złożona z samych jedynek odpowiada stałej modelu !!!!!!!!!!!!!!!!!!!!!!!!!
Wektor składników losowych ε = [$\begin{matrix} \varepsilon 1 \\ \varepsilon 2 \\ \varepsilon 3 \\ \end{matrix}$]
Wektor parametrów strukturalnych $\beta = \lbrack\begin{matrix} \beta 0 \\ \ldots \\ \text{βk} \\ \end{matrix}$]
Pry tych oznaczeniach 1 Jednorównaniowy liniowy model ekonometryczny może być zapisany jako:
Y=X β + ε
Estymacja parametrów modelu z wieloma zmiennymi objaśniającymi metodą najmniejszych kwadratów:
estymatory bj parametrów βj uzyskane metodą KMNK minimalizują:
2 $\sum_{\mathbf{i = 1}}^{\mathbf{n}}{\mathbf{(y}\mathbf{1 - b}\mathbf{0 - b}\mathbf{1}\mathbf{x}\mathbf{1}\mathbf{i - b}\mathbf{2}\mathbf{x}\mathbf{2}\mathbf{i - \ldots - bkxki}\mathbf{)}^{\mathbf{2}}}$ min
Wyrażenie to 2 traktowane jako funkcja k+1 zmiennych b0,b1,..,bk należy zminimalizować poprzez dobór odpowiednich wartości tych zmiennych
Warunek konieczny: WSZYSTKIE POCHODNE II RZĘDU = 0
Końcowym rozwiązanie układu jest :
b=(XTX)-1XTY
Interpretacja b1-bk:
W modelu 3 $\hat{\text{yi}} = b0 + b1x1i + b2x2i + \ldots + bkxki$ ocena bj parametru strukturalnego βj określa o ile wzrósł gdy βj>0 lub o ile zmalał gdy βj<0 średni poziom objaśnianej y gdy wartość zmiennej xj wzrosła o jednostkę przy założeniu, że pozostałe zmienne objaśniające nie zmieniły swej wartości (analiza wrażliwości / sensytywności).