4. Podstawowe pojęcia teorii estymacji

Definicja estymatora: nieobciążonego, zgodnego, najefektywniejszego.

Estymator nieobciążony – gdy wartość oczekiwana rozkładu estymatora jest równa wartości szacowanego parametru

Estymator zgodny – gdy jest stochastycznie zbieżny do wartości szacowanego parametru

, ze względów na skomplikowanie obliczeń, wystarczy, że zajdzie warunek (lecz nie jest to konieczne):

Estymator najefektywniejszy – gdy błąd dla tego estymatora jest najmniejszy ze wszystkich innych błędów estymatorów , estymator optymalny nie jest wyznaczony jednoznacznie.

Przykład: Wykazać, że estymator wartości średniej jest nieobciążony i zgodny.

; gdyż estymator - estymator jest nieobciążony

Suma do kwadratu zawiera sumy kwadratów, ale także iloczyny mieszane. Wyrazy stanowiące iloczyny mieszane o różnych wskaźnikach mają wartość średnią oczekiwaną równą 0. Wnika to z niezależności zmiennych

- estymator jest, więc zgodny

Przykład

Poszukujemy estymatorów rozkładu normalnego, funkcja gęstości prawdopodobieństwa:

Wyznaczamy logarytm w celu uproszczenia obliczeń:

Funkcja wiarygodności L:

Maksymalizujemy L ze względu na m:

Co daje standardowy estymator średniej, jako estymator parametru m:

Podobnie maksymalizujemy L ze względu na :

Co daje ostatecznie standardowy estymator wariancji, jako estymator parametru :