Θεώρημα Γκάους-Μάρκοφ

Στη στατιστική και στην οικονομετρία, το θεώρημα Γκάους-Μάρκοφ αναφέρεται στην αποτελεσματικότητα του εκτιμητή ελαχίστων τετραγώνων του γραμμικού μοντέλου παλινδρόμησης. Η ονομασία του θεωρήματος οφείλεται στους μαθηματικούς Καρλ Φρίντριχ Γκάους και Αντρέι Μάρκοφ. Το θεώρημα διατυπώνει το εξής: Δεδομένων συγκεκριμένων υποθέσεων, ο εκτιμητής ελαχίστων τετραγώνων είναι αμερόληπτος και ο πιο αποτελεσματικός γραμμικός εκτιμητής των συντελεστών του μοντέλου γραμμικής παλινδρόμησης.

Παρουσίαση

Έστω το μοντέλο γραμμικής παλινδρόμησης σε μορφή πινάκων,

$Y=X\beta +ϵ$ όπου:

• $\beta =({\beta }_i{)}_{k\times 1}$ το διάνυσμα με τις πληθυσμιακές παραμέτρους που εκτιμώνται
• $X=(X_{ij}{)}_{n\times k}$ ένας στοχαστικός πίνακας με τις παρατηρήσεις των ανεξάρτητων μεταβλητών
• $Y=(Y_i{)}_{n\times 1}$ το διάνυσμα με τις παρατηρήσεις της εξαρτημένης μεταβλητής
• $ϵ=({ϵ}_i{)}_{n\times 1}$ το διάνυσμα με τα μη παρατηρήσιμα σφάλματα

Αν ισχύουν και οι παρακάτω υποθέσεις:

• $E({ϵ}_i|X)=0,\mathrm{\forall }i$ (αυστηρή εξωγένεια)
• $Var({ϵ}_i|X)={\sigma }^2,\mathrm{\forall }i$ (Δεσμευμένη ομοσκεδαστικότητα)
• $Cov({ϵ}_i,{ϵ}_j|X)=0,i\ne j$ (Ασυσχέτιστα σφάλματα)
• Ο πίνακας $X$είναι πλήρους βαθμού.

Τότε ο εκτιμητής $\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }Y$ είναι ο πιο αποτελεσματικός γραμμικός αμερόληπτος εκτιμητής του $\beta$. Δηλαδή θα ισχύει ότι $E(\hat{\beta })=\beta$ και θα έχει την μικρότερη διακύμανση στην κλάση των γραμμικών εκτιμητών. Στη βιβλιογραφία λέγεται και BLU (Best Linear Unbiased).

Απόδειξη

Καταρχάς, ο εκτιμητής είναι γραμμικός ως προς το $Y$ καθώς αν $A=(X^{\prime }X{)}^{-1}{X}^{\prime }$ τότε $\hat{\beta }=AY$ και από τις υποθέσεις της ομοσκεδαστικότητας και των ασυσχέτιστων σφαλμάτων προκύπτει $Var(Y|X)={\sigma }^2{I}_k$, όπου $I_k$ ο ταυτοτικός πίνακας πλευράς $k$.

Επομένως η διακύμανση του εκτιμητή είναι $Var(\hat{\beta }|X)={\sigma }^2(X^{\prime }X{)}^{-1}$.

Από την υπόθεση της αυστηρής εξωγένειας θα ισχύει ότι $E(Y|X)=X\beta$ οπότε $E(\hat{\beta }|X)=\beta$ και από το θεώρημα της διπλής μέσης τιμής προκύπτει ότι $E(\hat{\beta })=\beta$ το οποίο σημαίνει ότι είναι και αμερόληπτος. Συνεπώς αρκεί να δειχθεί ότι έχει τη μικρότερη διακύμανση μεταξύ των γραμμικών εκτιμητών.

Έστω ο γραμμικός αμερόληπτος εκτιμητής $b=CY$ και $D=C-A⟺C=D+A$ .

Αντικαθιστώντας το $C$ και επιβάλλοντας τη συνθήκη $E(b|X)=\beta$ πρέπει να ισχύει ότι $DX=0$ προκειμένου να είναι αμερόληπτος ο $b$.

Η διακύμανση του $b$θα δίνεται ως $Var(b|X)={\sigma }^{2}C{C}^{\prime }={\sigma }^2(X^{\prime }X{)}^{-1}+{\sigma }^{2}D{D}^{\prime }=Var(\hat{\beta }|X)+{\sigma }^{2}D{D}^{\prime }$ή ισοδύναμα

$Var(b|X)-Var(\hat{\beta }|X)={\sigma }^{2}D{D}^{\prime }$.

Ισχύει ότι ${\sigma }^2>0$ και για οποιοδήποτε $c\in {ℝ}^{1\times k}$ μη μηδενικού μέτρου θα ισχύει ότι $cD{D}^{\prime }{c}^{\prime }=G{G}^{\prime }=\sum _{i=1}^n{g}_i^2\ge 0$ όπου $G=cD=(g_i{)}_{1\times n}$.

Δηλαδή ο πίνακας ${\sigma }^{2}D{D}^{\prime }$ είναι θετικά ημιορισμένος και το θεώρημα έχει αποδειχθεί καθώς κάθε στοιχείο του πίνακα $Var(b|X)$ είναι μεγαλύτερο ή ίσο από το αντίστοιχο στοιχείο του πίνακα $Var(\hat{\beta }|X)$

Σχόλια

Εάν προστεθεί και η υπόθεση της κανονικότητας $ϵ|X\sim N(0,{\sigma }^2{I}_n)$ η αποτελεσματικότητα του εκτιμητή επεκτείνεται και για την ακρίβεια γίνεται ο καλύτερος αμερόληπτος εκτιμητής του $\beta$ καθώς αποδεικνύεται ότι η διακύμανση του σε αυτήν την περίπτωση είναι ίση με αυτήν που θεσπίζεται από το κάτω φράγμα Κραμέρ–Ράο.

Βιβλιογραφία

• Hayashi, Fumio (2000): Econometrics, Princeton University Press
• Greene, William H. (2002): Econometric Analysis, Prentice Hall, 5th Edition