Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

0.1

Statystyczne Podstawy Modelu Regresji

Niech dana będzie przestrzeń probabilistyczna (Ω, F , P ). Funkcję X : Ω → R,
okresloną na przestrzeni zdarzeń elementarnych Ω, o wartościach rzeczywi-
stych, takich że

∀t ∈ R {ω ∈ Ω : X(ω) < t} ∈ F

(1)

nazywamy zmienną losową. Warunek, aby zbiór (1) należał do F dla każdego
t ∈ R nazywa się mierzalnością X względem σ-algebry F. W przypadku, gdy
Ω = R

n

rodzina F jest z reguły tak dobrana by ciągłość funkcji implikowała

jej mierzalność.

Z definicji zmiennej losowej wynika, że zbiór (1) jest zdarzeniem nale-

żącym do przestrzeni probabilistycznej (Ω, F , P ). Możemy zatem obliczyć
prawdopodobieństwo tego zdarzenia.

Funkcję F

X

(X) : R → [0, 1] określoną wzorem

F

X

(X) = P ({ω ∈ Ω : X(ω) < t})

nazywamy dystrybuantą zmiennej losowej. W przypadku wielowymiarowym
będziemy mówić o wektorze losowym.

Niech F będzie dystrybuantą wektora losowego (X, Y ). Załóżmy, że F (X, Y )

jest typu ciągłego o gęstości prawdopodobieństwa f (x, y). Wówczas

F (x, y) =

Z

x

−∞

Z

y

−∞

f (u, v)dudv

Jeżeli obie pochodne mieszane dystrybuanty F istnieją i są ciągłę to (X, Y )
jest ciągłe o gęstości

f (x, y) =

∂

2

∂x∂y

F (x, y)

Każda ze współrzędnych wektora losowego jest zmienną losową. Oznacz-

my przez F

X

i F

Y

dystrybuantę każdej współrzędnej. Wtedy:

F

X

(x) = P (X < x) = P (X < x, Y < ∞)

jeśli zmienna losowa jest typu ciągłego to:

F

X

(x) = P (X < x) =

Z

x

−∞

Z

y

−∞

f (u, v)dudv

a gęstość wyraża się wzorem:

f

X

(x) =

Z

∞

−∞

f (x, y)dy

1

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Przy badaniu zależności między zjawiskami opisanymi przez zmienne lo-

sowe X i Y najbardziej interesujące są prawdopodobieństwa zdarzeń doty-
czących jednej zmiennej przy nałożonym warunku na drugą zmienną

P (Y < y|X ∈ B) =

P (Y < y, X ∈ B)

P (X ∈ B)

gdzie zakładamy, że P (X ∈ B) > 0, czyli warunek jest nietrywialny. Prawdo-
podobieństwo warunkowe jako funkcja argumentu y posiada wszystkie wła-
sności dystrybuanty i nazywane jest warunkową dystrybuantą X. Dla ciągłej
zmiennej losowej P (X = x) = 0. Wobec tego, z powyższego wzoru nie można
obliczyć prawdopodobieństwa zdarzenia. Dla ciągłych zmiennych losowych
definiujemy warunkową gęstość zmiennej losowej Y przy warunku (X ∈ B)
następująco:

f (y|X = x

0

) =

f (x

0

, y)

f

Y

(y)

=

f (x

0

, y)

R

∞

−∞

f (x

0

, y)dy

Warunkową wartość oczekiwaną zmiennej Y , przy warunku X = x

0

oblicza-

my korzystając ze wzoru

E(Y |X = x

0

) =

Z

∞

−∞

yf (y|X = x

0

)dy

Warunkową wartość oczekiwaną E(Y |X = x

0

) nazywamy funkcją regresji Y

na X.

0.2

Szacowanie modelu regresji za pomocą MNW

Na początku kursu pokazaliśmy, że dla modelu

y = Xβ + ε

ε ∼ N (0, σ

2

I)

b = (X

0

X)

−1

X

0

y jest estymatorem Metody Najmniejszych Kwadratów dla

wektora nieznanych parametrów. Obecnie wyprowadzimy estymatory me-
tody największej wiarogodności dla liniowego modelu regresji. Niech ε =
(ε

1

, . . . , ε

n

). Funkcja łącznej gęstości rozkładu normalnego jest dana przez:

f (ε) =



1

√

2Πσ

2



n

exp −

1

2σ

2

ε

0

ε

Warunkowa gęstość ma następującą własność

f (y|X) = f (ε)





∂ε

∂y





2

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

|·| jest wartością bezwzględną wyznacznika macierzy n×n pochodnych cząst-
kowych wektora ε obliczoną względem kolejnych elementów wektora wartości
zmiennej zależnej y. W tym przypadku macierz się redukuje do macierzy jed-
nostkowej.

Możemy zapisać funkcję wiarogodności. Jest to funkcja łącznej gęstości

prawdopodobieństwa traktowana jako funkcja nieznanych parametrów.

`(β, σ

2

) = ln f (y|X) = ln f (ε)

`(β, σ

2

) = −

n

2

ln(2Π) −

n

2

ln(σ

2

) −

1

2σ

2

ε

0

ε

`(β, σ

2

) = −

n

2

ln(2Π) −

n

2

ln(σ

2

) −

1

2σ

2

(y − Xβ)

0

(y − Xβ)

Wektor nieznanych parametrów ma k + 1 elementów wymagających oszaco-
wania. Pochodne cząstkowe względem wektorów parametrów przedstawiają
się następująco:

∂`

∂β

=

1

2σ

2

(−X

0

y + X

0

Xβ)

∂`

∂σ

2

= −

n

2σ

2

+

1

2σ

4

(y − Xβ)

0

(y − Xβ)

przyrównując pochodne do zera otrzymujemy następujący układ równań:

∂`

∂β

= 0

∂`

∂σ

2

= 0



⇒

ˆ

β = (X

0

X)

−1

X

0

y

ˆ

σ

2

=

1

n

(y − Xβ)

0

(y − Xβ)

Wobec tego EN W (β) jest równoważny estymatorowi wektora parametrów
MNK. Z MNK wiemy, że E(σ

2

) =

n−k

n

σ

2

, wobec tego ˆ

σ

2

otrzymany metodą

NMW jest obciążonym estymatorem wariancji. W zastosowaniach z reguły
ilość obserwacji n jest duża, ilość zmiennych w modelu k niewielka, wobec
tego obciążenie estymatora MNW jest małe. Zaletą estymatorów MNW jest
ich prostota numeryczna w stosunku do estymatorów MNK. Gdy liczebność
próby dąży do nieskończoności to obciążenie estymatora MNW dąży do zera.
Oznacza to, że estymator MNW dla wariancji jest asymptotycznie nieobcią-
żony.

Dla formalności powinnismy jeszcze sprawdzić czy rzeczywiście funkcja

wiarogodności ma maksimum w punkcie ( ˆ

β, ˆ

σ

2

). Obliczmy drugie pochodne

∂

2

`

∂ββ

0

= −

X

0

X

σ

2

∂

2

`

∂βσ

2

= −

X

0

ε

σ

4

3

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

∂`

∂

2

σ

2

=

n

2σ

4

−

ε

0

ε

σ

6

Wobec tego,

−E

 ∂

2

`

∂ββ

0



= −

X

0

X

σ

2

−E



∂

2

`

∂βσ

2



= 0

−E



∂`

∂

2

σ

2



=

n

2σ

4

ponieważ E(ε

0

ε) = nσ

2

.

Możemy zapisać macierz informacyjną Fishera

I(θ) =



1

σ

2

X

0

X

0

0

n

2σ

4



Wartości zero poza diagonalą macierzy oznaczają, że rozkłady β i σ

2

są nie-

skorelowane, a ponieważ mają łączny rozkład normalny to są niezależne.

0.3

Podstawy Teorii Asymptotycznej

Celem analizy asymptotycznej jest zbadanie własności estymatorów, gdy
wielkość próby wzrasta. Pojęcia związane z zachowaniami granicznymi es-
tymatorów są trudne, szczególnie dla osób nie zajmujących się na codzień
teorią prawdopodobieństwa, z tego powodu zostaną one zilustrowane przy-
kładami.

Przypuścmy, że chcemy zbadać własności wartości średniej nieznanego

rozkładu. Niech zmienna losowa X posiada pewien nieznany rozkład praw-
dopodobieństwa o skończonej wartości średniej µ, oraz skończonej wariancji
σ

2

. Ponadto, dysponujemy wynikami n niezależnych losowań z tego rozkładu,

co można zapisać jako (X

1

, . . . X

n

) ∼

IID

(µ, σ

2

). Oznaczmy przez ¯

x

n

średnią

wartość z n-elementowej próby. Wartość średnia jest sama w sobie zmienną
losową o pewnym rozkładzie. Zasadniczym pytaniem w teorii asymptotycznej
jest w jaki sposób zachowują się wartości i rozkład zmiennej losowej, takiej
jak ¯

x

n

, gdy liczebność próby dąży do nieskończoności (n → ∞).

Przed wyprowadzeniem własności asymptotycznych przypomnimy kilka

podstawowych definicji.

Definicja 1 Ciąg liczb {a

N

: N = 1, 2, . . .} zbiega do granicy a (posiada

granicę a) jeżeli ∀ ε > 0 ∃ N

ε

, takie że, ∀ N > N

ε

|a

N

− a| < ε

4

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Zapisujemy, że a

N

→ a, lub a

N

n→∞

→ a , gdy N → ∞. Oznacza to, że wyrazy

o indeksach wyższych od N

ε

leżą w epsilonowym otoczeniu punktu a. Jeśli

wyrazy ciągu, o indeksach wyższych od N

ε

zbliżą się do granicy a to pozostałe

wyrazy będą znajdowac się w jej otoczeniu.

Przykład 1. Jeżeli a

N

= 2 +

1

N

, wtedy a

N

→ 2.

Przykład 2. Jeżeli a

N

= −1

N

, wtedy a

N

nie ma granicy, bowiem możemy

wybrać podciągi, pierwszy złożony z wyrazów nieparzystych zbieżny do −1,
drugi złożony z wyrazów parzystych zbieżny do 1.

Definicja 2 Ciąg liczb {a

N

: N = 1, 2, . . .} jest ograniczony wtedy i tylko

wtedy gdy

∃b < ∞ ∀ N > N

ε

|a

N

| < b.

Definicja 3 Ciąg {a

N

} jest ciągiem conajwyżej rzędu O(N

λ

) jeśli ciąg {N

−λ

a

N

}

jest ograniczony.

0.3.1

Zbieżność według prawdopodobieństwa

Niech X ∼

IID

(µ, σ

2

). Wówczas

E(¯

x

n

) = µ

V ar(¯

x

n

) =

σ

2

n

wobec tego ¯

x

n

jest nieobciążonym estymatorem parametru µ dla próby o do-

wolnej liczebności, oraz wariancja estymatora dąży do zera wraz ze wzrostem
liczebności próby. Intuicyjnie jest oczywiste, że rozkład ¯

x

n

wraz ze wzrostem

liczebności próby staje się coraz bardziej skupiony wokół wartości parametru
µ. Formalnie można ten fakt zapisać jako

P ({µ − ε < ¯

x

n

< µ + ε}) = P (|¯

x

n

− µ| < ε)

Wybrany przedział może być dowolnie wąski poprzez odpowieni dobór war-
tości ε. Ponieważ var(¯

x

n

) maleje monotonicznie wraz ze wzrostem liczebności

próby n, istnieją pewna liczba N

ε

oraz liczba δ ∈ [0, 1], takie że

∀ n > N

ε

P (|¯

x

n

− µ| < ε) = 1 − δ

Zmienna losowa ¯

x

n

jest nazywana wówczas zbieżną według prawdopodobień-

stwa do stałej µ. Równoważnym sformułowaniem jest

lim

n→∞

P ({|X

n

− µ| < ε}) = 1

Opisując słowami, prawdopodobieństwo, że ¯

x

n

znajdzie się w dowolnie małym

otoczeniu wartości µ może być dowolnie bliskie wartości 1, jeżeli liczebność
próby dąży do nieskończoności.

Alternatywnie definicję można przedstawić następująco

5

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Definicja 4 Ciąg zmiennych losowych {X

N

: N = 1, 2, . . .}, gdzie indeks N

oznacza liczebność próby, jest zbieżny według prawdopodobieństwa do liczby
a, jeżeli

∀ ε > 0 lim

n→∞

P (|X

n

− a| > ε) = 0

Oznacza to, że w granicy prawdopodobieństwo zdarzenia, że wartość zmien-
nej losowej X

n

odchyli się od wartości µ o więcej niż dowolnie mała liczna ε

wynosi zero.

Zbieżność według prawdopodobieństwa oznaczamy X

n

→

P

a, oraz mówi-

my, że a jest granicą prawdopodobieństwa (plim) dla ciągu X

N

. W podręcz-

nikach do ekonometrii najczęściej spotykanym oznaczeniem jest plim X

N

= a

0.3.2

Prawa wielkich liczb

Twierdzenie 1 Nierówność Markowa.
Niech X

n

≥ 0 będzie zmienną losową. Wtedy dla każdego a > 0

P (X

n

≥ a) ≤

EX

a

Dowód:

aP (X

n

≥ a) ≤

Z

X≥a

XdP ≤ EX

Wprost z nierówności Markowa wynika nierówność Czebyszewa.

Definicja 5 Niech EX = µ, oraz a > 0. Wtedy:

P (|X − µ| ≥ a) ≤

V arX

a

2

Definicja 6 Niech ciąg X

n

będzie nieskończonym ciągiem zmiennych loso-

wych. Mówimy, że ciąg jest zbieżny prawie na pewno lub z prawdopodobień-
stwem 1 do liczby a jeżeli

P ({ω : lim

n→∞

X

n

(ω) = a}) = 1

Zbieżność prawie na pewno oznaczamy X

n

→

p.n.

a, Oznacza to, że dla ro-

snącej próby wartość zmiennej losowej znajduje się w epsilonowym otoczeniu
liczby a z prawdopodobieństwem równym 1.

Twierdzenie 2 Prawo Wielkich Liczb.
Jeżeli X

1

, X

2

, . . . są niezależnymi zmiennymi losowymi o jednakowym rozkła-

dzie, ze skończoną wartością oczekiwaną µ < ∞. Wtedy

∀ε > 0 lim

n→∞

P



|

S

n

n

− µ| ≤ ε



= 1

6

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Intuicyjnie, wartość oczekiwana jest liczbą do której zmierza według praw-
dopodobieństwa średnia z wielu niezależnych realizacji zmiennej losowej. Z
PWL wynika, że częstość empiryczna jest estymatorem zgodnym prawdopo-
dobieństwa sukcesu.

Twierdzenie 3 Mocne Prawo Wielkich Liczb.
Niech ciąg X

n

będzie ciągiem niezależnych zmiennych losowych o jednakowym

rozkładzie, ze skończoną wartością oczekiwaną µ < ∞, to dla każdego ε > 0

∀ε > 0 lim

n→∞

(sup

m≥n

|

X

1

+ . . . + X

m

m

− µ| ≤ ε) = 1

Twierdzenie 4 Słuckiego. Niech g : R

K

→ R

J

będzie funkcją ciągłą w pew-

nym punkcie c ∈ R

K

. Niech {x

N

: N = 1, 2, . . .} będzie ciągiem wektorów o

wymiarach K × 1, takim że x

N

P

→ c. Wtedy:

plim g(x

N

) = g(plim x

N

)

jeżeli g(·) jest ciągła w punkcie plim x

N

Twierdzenie Słuckiego jest bardzo użyteczne. Pozwala manipulować granica-
mi, nawet w przypadku funkcji nieliniowych, pod warunkiem, że są ciągłe.

Wnioskiem z twierdzenia Słuckiego jest następujące twierdzenie.

Twierdzenie 5 Operowanie granicami. Jeżeli X

n

oraz Y

n

są zmiennymi

losowymi zbieżnymi według prawdopodobieństwa o granicach plim X

n

= c,

plim Y

n

= d, wówczas:

• plim(X

n

+ Y

n

) = c + d

• plim(X

n

Y

n

) = cd

• plim(X

n

/Y

n

) = c/d jeżeli d 6= 0

Powyższe własności zachodzą również dla macierzy, których elementami są
zmienne losowe.

0.3.3

Zbieżność według rozkładu

Innym ważnym problemem jest zachownaie rozkładu ¯

x

n

przy rosnącym n do

nieskończoności. Przypomnijmy, że analityczna forma rozkładu jest niezna-
na, ponieważ nieznany jest rozkład pojedynczej zmiennej losowej X. Ponad-
to, wariancja rozkładu asymptotycznie dąży do zera, przez co rozkład jest
zdegenerowany do jednopunktowego o wartosci µ.

Najsilniejszą formą zbieżności jest zbieżność według rozkładu (dystrybu-

anty).

7

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Definicja 7 Zbieżność według rozkładu.
Ciąg zmiennych losowych {X

N

: N = 1, 2, . . .}, gdzie indeks N oznacza

wielkość próby, zbiega według rozkładu do ciągłej zmiennej losowej X, wtedy
i tylko wtedy gdy:

lim

n→∞

F

N

(ξ) = F (ξ)

∀ ξ ∈ R

gdzie F

N

jest dystrybuantą x

N

, oraz F jest ciągłą dystrybuantą zmiennej

losowej X. Zbieżność według rozkładu oznaczamy x

N

d

→ x. Przyjęło się mó-

wić, że zmienna losowa zbiega do rozkładu, chociaż w rzeczywistości zbiega
do innej zmiennej losowej o znanym rozkładzie.

Przykład 3. Gdy X ∼ N (µ, σ

2

), wtedy x

N

d

→ N (µ, σ

2

) lub x

N

a

∼

N (µ, σ

2

). Mówimy, że X

n

zbiega do rozkładu normalnego lub krócej, że ma

rozkład asymptotycznie normalny.

Twierdzenie 6 Centralne Twierdzenie Graniczne.
Jeżeli X

1

, . . . , X

n

są niezależnymi zmiennymi losowymi o jednakowym roz-

kładzie prawdopodobieństwa o wartości oczekiwanej EX

i

= µ i wariancji

V arX

i

= σ

2

oraz S

n

= X

1

+ . . . + X

n

, to dla każdej liczby a,

lim

n→∞

P



S

n

− nµ

√

nσ

≤ a



= Φ(a)

Czasem tezę CTG przedstawia się za pomocą zbieżności według rozkładu:

S

n

− nµ

√

nσ

→

d

N (0, 1)

W celu znalezienia rozkładu granicznego zastępuje się estymator jego

pewną funkcją, ktorej rozkład nie jest zdegenerowany. Dla rozkładu ¯

x

n

roz-

sądnym wyborem jest statystyka

√

n(¯

x

n

− µ)/σ, która posiada średnią zero

i jednostkową wariancję. Na mocy CTG rozkladem granicznym tej zmien-
nej losowej jest rozkład N (0, 1). Niezależnie od formy rozkładu, granicznym
rozkładem statystyki jest rozkład standardowy normalny. Ten fenomen jest
nazywany zbieżnością według rozkładu.

0.4

Asymptotyczne własności estymatorów

Ważną cechą estymatorów jest zgodność.

Definicja 8 Niech estymator ˆ

θ

n

będzie oszacowaniem parametru θ. Estyma-

tor nazwiemy estymatorem zgodnym, wtedy i tylko wtedy gdy

∀ε > 0 lim

n→∞

P ((ˆ

θ − θ) > ε) = 0

8

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

w skrócie możemy to zapisać jako

plim ˆ

θ

n

= θ

Estymator nazywamy zgodnym, gdy dla dostatecznie dużej liczebności

próby ciąg estymatorów zbiega z dużym prawdopodobieństwem do wartości
estymowanej. Oznacza to, że jeżeli budujemy estymatory na podstawie coraz
liczniejszych prób, coraz lepiej przybliżają one estymowaną wartość.

Przykład 4.
Inna ważną cechą, znacznie ułatwiającą ocenę prawidłowości oszacowań

jest asymptotyczna normalność.

Definicja 9 Niech estymator ˆ

θ

n

będzie oszacowaniem parametru θ. Przypu-

śćmy, że

√

N (ˆ

θ

N

− θ)

d

→ N (0, V )

(2)

gdzie V jest nieujemnie określoną macierzą o wymiarach P × P . Mówimy,
że ˆ

θ

N

ma rozkład asymptotycznie normalny oraz V jest asymptotyczną wa-

riancją

√

N (ˆ

θ

N

− θ), zapisująć AV ar

√

N (ˆ

θ

N

− θ) = V .

Należy podkreślić, że ˆ

θ

N

tylko w specjalnych przypadkach ma rozkład

normalny. Mimo wszystko przyjmujemy, że

ˆ

θ

N

∼ N (0, V /N )

gdy spełniona jest zależność (2). Wobec tego V /N jest nazywane asympto-
tyczną wariancją ˆ

θ

N

0.5

Zadania

Zadanie 1.

1. Pokaż, że z twierdzenia Czebyszewa wynika, że jeśli lim

n→∞

Var (a

i

) = 0,

to plim a

i

= E (a

i

).

2. Pokaż, że dla jeśli dla n = 1, 2, . . .

a

i

=



0 z p-stwem 1 −

1

n

n z p-stwem

1

n

to plim (a

i

) = 0 mimo, że E (a

i

) = 1 a lim

n→∞

Var (a

i

) = ∞.

3. Czy prawdą jest, że

9

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

(a) plim a

i

= E (a

i

) =⇒ lim

n→∞

Var (a

i

) = 0

(b) lim

n→∞

Var (a

i

) = 0 =⇒ plim a

i

= E (a

i

)

(c) plim a

i

= E (a

i

) ⇐⇒ lim

n→∞

Var (a

i

) = 0

Rozwiązanie

1. Nierówność Czebyszewa mówi, że dla każdego ε > 0

Pr (|x| ≥ ε) ≤

E (x)

2

ε

2

Zdefiniujmy x = a

i

− E (a

i

). Otrzymamy wtedy

Pr (|a

i

− E (a

i

)| ≥ ε) ≤

E [a

i

− E (a

i

)]

2

ε

2

=

1

ε

2

Var (a

i

)

plim (a

i

) = E (a

i

) wtedy i tylko wtedy, gdy

lim

n−→∞

Pr (|a

n

− a| > δ) = 0

dla każdego δ > 0. Jeśli jednak δ = ε, to

lim

n−→∞

Pr (|a

i

− E (a

i

)| ≥ ε) ≤

1

δ

2

lim

n−→∞

Var (a

i

) = 0

2. Załóżmy, że a = 0. Z definicji granicy według prawdopodobieństwa i

sposobu zdefiniowania rozkładu otrzymujemy

lim

n−→∞

Pr (|a

n

− a| > δ) = lim

n−→∞

Pr (|a

n

| > δ)

Przeanalizujmy jaką wartosć przyjmuje wyraz a

i

ciągu.

a

i

=



0 z p-stwem 1 −

1

n

n z p-stwem

1

n

ale lim

n−→∞

1

n

= 0 więc

a

i

=



0 z p-stwem 1

n z p-stwem 0

zatem

lim

n−→∞

Pr (|a

n

− a| > δ) = lim

n−→∞

 1

n



= 0

10

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

a więc istotnie plim a

n

= 0.

E (a

i

) =



1 −

1

n



× 0 +

1

n

× n = 1

E a

2
i

=



1 −

1

n



× 0 +

1

n

× n

2

= n

Var (a

i

) = E a

2
i

− [E (a

i

)]

2

= n − 1 → ∞

3. Z poprzednich punktów wynika, że

(a) jest fałszem

(b) jest prawdą

(c) jest fałszem

Zadanie 2.

Rzucamy n razy kostką i oznaczmy przez y

i

ilość wyrzuconych oczek. Po-

wiedzmy, że rozkład prawdopodobieństwa dla rzutów kostką nie zmienia się
w czasie i poszczególne rzuty są niezależne. Prawdopodobieństwa wyrzucenia
i oczek jest równe p

i

1. Podaj rozkład ε

i

dla liczby wyrzuconych oczek dla modelu postaci

y

i

= β + ε

i

E (ε

i

) = 0

Var (ε

i

) = σ

2

2. Podaj postać estymatora M N K dla wielkości parametru β

3. Podaj estymator M N K dla σ

2

4. Udowodnij, że estymatory M N K dla parametrów β i σ

2

są zgodne w

tym modelu

5. Podaj asymptotyczny rozkład estymatora b. Jaki będzie asymptotyczny

rozkład tego estymatora jeśli p

1

= . . . = p

6

.

6. Na podstawie uzyskanych dla obserwacji y

i

= {1, 2, 3, 2, 2, 3, 2, 2, 1} es-

tymatorów parametrów β i σ

2

zweryfikuj hipotezę, że oczekiwana liczba

oczek jest taka jak przypadku, w którym p

1

= . . . = p

6

. Zastosuj przy-

bliżenie wynikające z rozkładu asymptotycznego.

11

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

Rozwiązanie

1. Rozkład ε

i

można wywnioskować z rozkładu y

i

, ponieważ ε

i

= y

i

− β.

Rozkład y

i

jest dany wzorem

y

i

=



















1

z p-stwem

p

1

2

z p-stwem

p

2

..

.

..

.

..

.

6

z p-stwem

p

6

więc

ε

i

=



















1 − β

z p-stwem

p

1

2 − β

z p-stwem

p

2

..

.

..

.

..

.

6 − β

z p-stwem

p

6

Zauważmy, że E (y

i

) =

P

6
i=1

ip

i

. Ponieważ E (y

i

) = E (β + ε

i

) = β więc

β =

P

6
i=1

ip

i

i β jest skończona, ponieważ p

i

∈ [0, 1]

2. Jedyną zmienną objaśniającą jest stała, więc b = y

3. Jedyną zmienną objaśniającą jest stała, więc s

2

=

1

n−1

P

n
i=1

(y

i

− y)

2

4. Estymatory M N K są zgodne, jeśli x

i

i ε

i

są niezależne od siebie, mają

stałe rozkłady niezależne w czasie oraz skończone 1, 2 i 4 momenty przy
czym E (ε

i

) = 0 i E (x

0
i

x

i

) jest odwracalne. x

i

= 1, więc niezależność x

i

i ε

i

jest oczywista, tak samo jak stałość rozkładu, skończoność momen-

tów x

i

i odwracalność E (x

0
i

x

i

). Składnik losowy ε

i

ma stały rozkład o

ile nie zmieniają się p

i

, to, że E (ε

i

) = 0 wynika z definicji ε

i

, skończo-

ność momentów centralnych 2 i 4 błędu ε

i

pokazujemy w następujący

sposób:

Var (ε) = Var (y − β) = Var (y) = E y

2

− [E (y)]

2

=

6

X

i=1

i

2

p

i

−

"

6

X

i=1

ip

i

#

2

< ∞

Var ε

2

= E ε

4

− E ε

2



2

=

6

X

i=1

(i − β)

4

p

i

−

"

6

X

i=1

(i − β)

2

p

i

#

2

< ∞

ponieważ p

i

∈ [0, 1] i β skończone

12

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

5. Rozkład asymptotyczny estymatora b znajdujemy z ogólnego wzoru:

√

n (b − β)

D

−→ N



0, σ

2

[E (x

0

x)]

−1



E (x

0

x) = 1, σ

2

= Var (ε

2

) a więc

√

n (b − β)

D

−→ N 0, Var ε

2
i

gdzie β =

P

6
i=1

ip

i

, Var (ε) =

P

6
i=1

i

2

p

i

−

P

6
i=1

ip

i



2

Dla równych p

i

musimy mieć

P

6
i=1

p

i

= 1 więc p

i

=

1
6

,

P

6
i=1

ip

i

=

1
6

P

6
i=1

i =

1
6

6(6+1)

2

=

7
2

,

P

6
i=1

i

2

p

i

=

1
6

P

6
i=1

i

2

=

1
6

6(6+1)(12+1)

6

=

7×13

6

=

91

6

, Var (ε) =

91

6

−

49

4

=

181

12

−

147

12

=

34
12

=

17

6

√

n



b −

7

2



D

−→ N



0,

17

6



6. Wychodząc z wyprowadzonego rozkładu możemy zastosować aproksy-

mację

U =

b −

7
2

q

17

6

a

∼ N (0, 1)

Estymator b dla podanych danych jest równy y = 2. Wartosć statystyki

testowej U =

2−

7
2

√

17

6

≈ −. 89. Zatem nie ma podstaw do odrzucenia H

0

.

Zadanie 3.

Niech Y

i

, i = 1, 2, . . . będzie ciągiem niezależnych zmiennych losowych o

jednakowym rozkładzie, dla których E(Y

2

i

) < ∞. Niech E(Y

i

) = µ oraz

V ar(Y

i

) = σ

2

1. Niech ¯

Y

N

będzie średnią próbkową, dla próby o liczebności N. Znajdź

V ar(

√

N ( ¯

Y

N

− µ))

2. Znajdź asymptotyczną wariancję dla V ar(

√

N ( ¯

Y

N

− µ))

3. Znajdź asymptotyczną wariancję dla ¯

Y

N

i porównaj z V ar( ¯

Y

N

).

4. Znajdź asymptotyczne odchylenie standardowe dla ¯

Y

N

.

5. W jaki sposób można obliczyć asymptotyczne odchylenie standardowe

dla ¯

Y

N

.

Rozwiązanie

13

Paweł Strawiński

Asymptotyka i statystyczne podstawy regresji

1. Ponieważ V ar(Y

i

) = σ

2

zatem V ar( ¯

Y

N

) =

σ

2

N

. Wnioskujemy zatem, że

V ar(

√

N ( ¯

Y

N

− µ)) = N

σ

2

N

= σ

2

2. Na podstawie CTG wiemy, że (

√

N ( ¯

Y

N

− µ))

a

∼ N (0, σ

2

). Wobec tego

AV ar(

√

N ( ¯

Y

N

− µ)) = σ

2

3. Aby obliczyć AV ar( ¯

Y

N

) dzieląc AV ar(

√

N ( ¯

Y

N

− µ)) przez N . Wobec

tego, AV ar( ¯

Y

N

) =

σ

2

N

. Tak jak oczekiwaliśmy jest ona równa wariancji.

4. Asymptotyczne odchylenie standardowe ¯

Y

N

jest równie pierwiastkowi

kwadratowemu z asymptotycznej wariancji. Wynosi

σ

N

.

5. Aby uzyskać asymptotyczne odchylenie standardowe dla ¯

Y

N

, niezbęd-

ny jest zgodny estymator dla σ. Zazwyczaj używany jest nieobciążony
estymator dla σ

2

: ˆ

σ

2

=

P

n
i=1

(y

i

− ¯

y

M

)

2

/(N − 1). Wtedy estymato-

rem odchylenia kwadratowego jest nieujemny pierwiastek oszacowania
wariancji. Asymptotyczne odchylenie standardowe wynosi

ˆ

σ

N

Literatura

[1]

Gajek Łesław,

Kałuszka Marek (1996) Wnioskowanie statystyczne,

WNT, str. 60-63.

[2] Greene William H. (2003) Econometric Analysis, Upper Saddle River,

str. 897-914.

[3] Jakubowski Jacek, Sztencel Rafał (2001) Wstęp do teorii prawdopodo-

bieństwa, SCRIPT.

[4] Johnston Jack, DiNardo Jonh (2006) Econometric Methods. McGraw-

Hill. 4th edition.

[5] Niemiro Wojciech (1999) Rachunek Prawdopodobieństwa i Statystyka

Matematyczna, Szkoła Nauk Ścisłych, str. 81-95.

[6]

Wooldridge Jeffrey M. (2002) Econometric Analysis of Cross Section

and Panel Data, MIT Press, str. 35-45.

14