Εκτιμήτρια συνάρτηση

Εκτιμήτρια συνάρτηση ή εκτιμητής στη στατιστική ονομάζεται μία συνάρτηση του τυχαίου δείγματος που χρησιμοποιείται για την εκτίμηση μίας άγνωστης παραμέτρου μίας συνάρτησης κατανομής.

Επιθυμητές ιδιότητες

Έστω θ η παράμετρος που θέλουμε να εκτιμήσουμε, $X=(X_1,\dots ,X_n)$ το τυχαίο δείγμα από κοινή συνάρτηση κατανομής και Τ(Χ) ο εκτιμητής.

Αμεροληψία

Ένας εκτιμητής λέγεται αμερόληπτος (unbiased), αν ισχύει

$E[T(X)]=\theta$, για κάθε $\theta$.

Mέσο σφάλμα (bias) ονομάζεται η τιμή

$B(T(X))=E[T(X)]-\theta =E[T(X)-\theta ]$.

Αν το μέσο σφάλμα είναι διάφορο του μηδενός, ο εκτιμητής λέγεται μεροληπτικός (biased).

Αποτελεσματικότητα

Ένας εκτιμητής λέγεται αποτελεσματικός (efficient), αν έχει την ελάχιστη διασπορά μεταξύ των αμερόληπτων εκτιμητών. Εάν υπάρχει τέτοιος εκτιμητής, είναι και μοναδικός.

Συνέπεια

Έστω $X^{(n)}=(X_1,\dots ,X_n)$ το τυχαίο δείγμα. Ένας εκτιμητής λέγεται συνεπής (consistent), αν συγκλίνει κατά μέτρο στην θ, δηλαδή:

$\underset{n\to \mathrm{\infty }}{\lim }P(|T(X^{(n)})-\theta |>\epsilon )=0,\mathrm{\forall }\epsilon >0$.

Ο εκτιμητής λέγεται ισχυρά συνεπής (strongly consistent), αν συγκλίνει σχεδόν βέβαια στην θ, δηλαδή:

$\underset{n\to \mathrm{\infty }}{\lim }P(\underset{k\ge n}{\sup }|T(X^{(k)})-\theta |>\epsilon )=0,\mathrm{\forall }\epsilon >0$.

Ελαχιστοποίηση μέσου τετραγωνικού σφάλματος

Ένα περαιτέρω κριτήριο εκτιμητή είναι το μέσο τετραγωνικό σφάλμα (mean squared error) MSE

$\mathrm{M}\mathrm{S}\mathrm{E}(T(X))=E[(T(X)-\theta {)}^2]=\mathrm{B}(T(X){)}^2+\mathrm{V}\mathrm{a}\mathrm{r}(T(X)).$

Αυτό χρησιμοποιείται κυρίως για μεροληπτικούς εκτιμητές. Για αμεροληπτούς το μέσο σφάλμα (bias) ισούται με μηδέν, οπότε το μέσο τετραγωνικό σφάλμα είναι ίσο με τη διασπορά του εκτιμητή. Επομένως για έναν αμερόληπτο εκτιμητή η ελαχιστοποίηση του μέσου τετραγωνικού σφάλματος ταυτίζεται με την αποτελεσματικότητα.

Εφαρμογές

Μέση τιμή

Έστω $X=(X_1,\dots ,X_n)$ ένα τυχαίο δείγμα από κοινή συνάρτηση κατανομής μέσω του οποίου θέλουμε να εκτιμήσουμε τη μέση τιμή μ της κατανομής αυτής. Θεωρούμε ως εκτιμήτρια συνάρτηση τον αριθμητικό μέσο όρο

$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$.

Όταν οι τυχαίες μεταβλητές παίρνουν τις τιμές $X_i=x_i,1\le i\le n$ η συνάρτηση ονομάζεται δειγματική μέση τιμή

$\hat{\mu }=\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$.

Ο εκτιμητής αυτός είναι αμερόληπτος αφού

$E\left[\overline{X}\right]=E\left[\frac{1}{n}\sum _{i=1}^n{X}_i\right]=\frac{1}{n}E\left[\sum _{i=1}^n{X}_i\right]=\frac{1}{n}\sum _{i=1}^{n}E[X_i]=\frac{1}{n}\sum _{i=1}^n\mu =\frac{1}{n}n\mu =\mu$.

Σύμφωνα με το κεντρικό οριακό θεώρημα για μεγάλο αριθμό παρατηρήσεων και για οποιαδήποτε κατανομή των $X_i$ το $\overline{X}$ είναι κανονικά κατανεμημένο σύμφωνα με

$\overline{X}\sim N(\mu ;\frac{{\sigma }^2}{n})$ .

όπου ${\sigma }^2$ η διακύμανση της κατανομής των $X_i$. Για τον λόγο αυτό ο εκτιμητής είναι συνεπής.

Κανονικοποίηση

Σε περίπτωση που η δειγματικη μέση τιμή

$\overline{X}\sim N(\mu ;\frac{{\sigma }^2}{n})$

Έχω ότι η $\sqrt{n}\cdot \frac{\overline{X}-E\left[X\right]}{{\sigma }^2}\sim N(0;1)$. Αυτή η μέθοδος καλείται Κανονικοποίηση.

Εξωτερικοί σύνδεσμοι

• Fundamentals of Estimation Theory (αγγλικά)