Estymacja - Czyli szacowanie parametrów, polega na podaniu ocen parametrów populacji generalnej na podstawie statystyki uzyskanej z próby losowej.
Statystyki wyliczone na podstawie pobranych z populacji grup losowych z teorii estymacji noszą nazwę estymatorów. 

Estymatorem jest więc każda statystyka wyliczona z próby losowej, która służy do szacowania odpowiadającego jej parametru populacji generalnej. 

Należy rozróżnić pojęcie parametru populacji generalnej którego wartości z reguły nie znamy, od estymatora tego parametru.

Przykład: badamy rozkład wzrostu ludności w Polsce. Zakładamy, że rozkład tej cechy X w populacji jest rozkładem normalnym, zaś szukaną wielkością jest wartość oczekiwana m. Wartość m jest zatem szukanym parametrem rozkładu cechy X. W celu oszacowania tych wielkości zbieramy dane z próby losowej o liczebności n. Następnym krokiem będzie znalezienie wygodnej statystyki  z próby, która posłuży do oszacowania parametru m. Rolę takiej statystyki może spełniać wartość średnia z próby. Mówimy zatem, że wartość średnia z próby jest estymatorem wartości oczekiwanej rozkładu normalnego. Obliczoną przez nas na podstawie konkretnej próby wartość średnią nazywamy oceną parametru.

Estymatory można sklasyfikować jako: zgodne, nieobciążone, najefektywniejsze i asymptotycznie najefektywniejsze.

Estymacja punktowa

Niech rozkład badanej cechy X populacji generalnej zależy od nieznanego parametru θ. Parametr ten będziemy szacować na podstawie n-elementowej próby prostej X₁,X₂,….,X_n. Funkcję g(X₁,X₂,….,X_n) będącą funkcją próby losowej X₁,X₂,….,X_n nazywamy statystyką. Statystyka jest funkcją zmiennych losowych, jest także zmienną losową mającą swój własny rozkład zależny od postaci funkcji g i od rozkładu zmiennych X_i. Każdą statystykę

$\hat{\mathbf{\theta}_{\mathbf{\text{\ n}}}}$ (X₁,X₂,….,X_n), której wartości przyjmujemy jako oceny (przybliżenia) nieznanego parametru θ, nazywamy estymatorem parametru θ.

Otrzymaną na podstawie realizacji konkretnej próby wartość estymatora nazywamy oceną (przybliżeniem) tego parametru. Ze wzrostem liczności próby zwiększa się dokładność oszacowania parametru θ. A więc estymator $\hat{\theta_{\text{\ n}}}$ powinien spełniać warunek:

Estymator nazywamy zgodnym, jeśli jest stochastycznie zbieżny do szacowanego parametru. Oznacza to, że jeśli rośnie liczebność próby, rośnie też prawdopodobieństwo, że oszacowanie przy pomocy estymatora będzie przyjmować wartości coraz bliższe wartości szacowanego parametru. Inaczej: zwiększając liczebność próby, zmniejszamy ryzyko popełnienia błędu.

Np. estymatorem nieznanej wartości przeciętnej θ = E(X) dla populacji generalnej dla której |E(X)|< ∞ jest statystyka $\theta_{n} = \ \overset{\overline{}}{X} = \ \frac{1}{n}\sum_{i = 1}^{n}X_{i}$

Estymator jest nieobciążony, jeśli wartość oczekiwana rozkładu estymatora jest równa wartości szacowanego parametru E(θ_n)= θ

Jeżeli istnieje E(θ_n)≠ θ, to θ_n nazywamy estymatorem obciążonym parametru θ, a różnicę B_n(θ) = E(θ_n) −  θ obciążeniem estymatora.

Estymator nazywamy asymptotycznie nieobciążonym, jeśli obciążenie estymatora dąży do zera przy rosnącej liczebności próby: B_n(θ) = 0

Każdy estymator nieobciążony jest oczywiście estymatorem asymptotycznie nieobciążonym.

Spośród zbioru wszystkich nieobciążonych estymatorów   najefektywniejszym nazywamy estymator o najmniejszej wariancji.

Estymator  jest asymptotycznie najefektywniejszy, jeśli przy wzrastającej liczebności próby wariancja estymatora  dąży do wariancji estymatora najefektywniejszego :

gdzie  oznacza wariancję estymatora.

Najczęściej stosowanymi estymatorami w badaniach statystycznych, ze względu na jedną cechę, są estymatory wartości przeciętnej i wariancji rozpatrywanej cechy populacji. Nie zawsze jest to cecha mierzalna, czasem ma ona charakter jakościowy. Wtedy też zamiast wartości liczbowej z badania próby uzyskujemy tylko informację o tym, czy dany element ma wyróżnioną cechę czy nie. Podstawowym parametrem szacowanym w tym wypadku jest frakcja θ, która po pomnożeniu przez 100 daje procent elementów mających badaną cechę w populacji generalnej – stosowana jest estymacja parametru θ w rozkładzie dwumianowym: $\text{\ P}\left( k;n;\theta \right) = \left( \frac{n}{k} \right)\theta^{k}{(1 - \theta)}^{n - k}$

W przypadku szacowania parametru θ na podstawie n-elementowej próby prostej, estymatorem zgodnym, nieobciążonym i efektywnym jest częstość względna $\hat{\theta} = \ \frac{k_{n}}{n}$

Gdzie k jest liczbą elementów mających daną cechę wśród n-elementowej próby.

Najczęściej występujące estymatory parametrów, na podstawie n-elementowej próby