econometrics

Εισαγωγή στην Οικονομετρία

Κεφάλαιο 1

Αντικείμενο και Σκοποί της Οικονομετρίας

Συναρτησιακές σχέσεις οικονομικής θεωρίας (ακριβείς/προσδιοριστικές)

→ μαθηματικές σχέσεις (στοχαστικά μοντέλα)

→ εκτιμήσεις

π.χ.

Βήμα Ι: Η Κεϋνσιανή συνάρτηση κατανάλωσης γράφεται

C = α + βY ή C= f(Y),

όπου C = δαπάνες κατανάλωσης και

Y= διαθέσιμο εισόδημα

Η σχέση αυτή είναι προσδιοριστική, δηλαδή για κάθε Y αντιστοιχεί ένα C

Βήμα ΙΙ: Η Κεϋνσιανή συνάρτηση κατανάλωσης μετατρέπεται σε στοχαστικό μοντέλο ως εξής:

Ci = α + βYi + ui , i=1,...,n,

όπου u ο διαταρακτικός όρος, δηλαδή τυχαία μεταβλητή που επηρεάζει την κατανάλωση

Βήμα ΙΙΙ: Εκτίμηση του στοχαστικού μοντέλου. Το εκτιμημένο μοντέλο γράφεται

C i=α∧

ET+ β∧

ΕΤ Y i+ u∧

i , i=1,...,n,

όπου

u∧

i τα κατάλοιπα

Ανοικτή Τριτοβάθμια Εκπαίδευση www.cears.edu.gr 1

http://www.cears.edu.gr/


Τύποι Δεδομένων

1. Διαστρωματικά δεδομένα (cross section data)

2. Χρονοσειρές (time series data)

3. Διαχρονικά-διαστρωματικά δεδομένα (panel data)

Αναλυτικά:

Διαστρωματικά δεδομένα:

Μετρήσεις μεταβλητών σε συγκεκριμένη χρονική στιγμή. Η διατρωμάτωση χαρακτηρίζεται από

τον δείκτη i και το μέγεθος του δείγματος με N

π.χ. ΑΕΠ, ανεργία, πληθωρισμός για 100 χώρες για το έτος 2005. Άρα εδώ Ν=100 με i=1,..., 100

Πρόβλημα: Συχνά παρατηρείται ασσύμετρη κατανομή, πράγμα που δεν επιτρέπει στον μέσο να

αποτελεί ακριβές μέτρο θέσης ή κεντρικής τάσης.

Λύση: Λογαριθμίζουμε τα διαθέσιμα δεδομένα

Συσχέτιση μεταβλητών υποδείγματος όπως φαίνονται από τα διαγράμματα διασποράς

Θετική Γραμμική Συσχέτιση


Υ

Χ

**

** ****

*

*

**

*

**

*

*

*

*

*

*

*

**

*

**



Αρνητική Γραμμική Συσχέτιση

Μη Γραμμική Συσχέτιση

Γραμμικά Ασυσχέτιστες Μεταβλητές


Υ

Χ

**

**

****

*

*

**

*

**

*

*

*

**

*

*

*

*

*

**

Υ

Χ

** ** ****

**

**

*

**

*

*

*

**

**

**

*

**

***

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

**

Υ

Χ

** ** ****

**

**

*

**

*

*

*

**

**

**

*

**

***

**

*

*

*

*

*

*

*

*

*

*

*

*

*

*

*

** *

**

* ***

**

*

**

** **

**

**



Χρονοσειρές:

Μετρήσεις μεταβλητών γα συγκεκριμένη αγορά για διαφορετικές χρονικές περιόδους, Οι

χρονοσειρές συμβολίζονται με Y t, t=1,...,T

π.χ. ΑΕΠ Ελλάδας από το 1930 έως το 2010

Πρόβλημα: Οι χρονοσειρές συχνά παρουσιάζουν αυτοσυχέτιση ή εμμονή (αφού η μέτρηση του

επόμενου έτους επηρεάζεται από το προηγούμενο)

Λύση: Χρήση μεθόδων αντιμετώπισης της αυτοσυσχέτισης

Panel Data:

Συνδιασμός χρονοσειρών και διαστρωματικν δεδομένων. Μετρήσεις μεταβλητών για διαφορετικές

αγορές και για διαφορετικές χρονικές περιόδους

Κεφάλαιο ΙΙ

Απλή Γραμμική Παλινδρόμηση

Υποθέσεις:

Η


(1) Y i=a+β Χ i+ui(γραμμική σχέση μεταξύΥ και Χ )

ui∼(0, σ2)

ui τυχαία μεταβλητήEui=0

(2) Eui2=σ 2σταθερή∀ Χ (αν δεν ισχύει αυτό οδιαταρακτικός όρος είναι ετεροσκεδαστικός )

(3) Eui u j=0 για i≠ j (οιδιαταρακτικοί όροι είναι ασυσχέτιστοι μεταξύ τους)Απόδειξη :Cov(ui ,u j)=E(u i−Eui)(u j−Eu j)=Eui u j=0

(4) X δεν είναι στοχαστική και οι τιμές δεν είναιόλες ίδιες μεταξύ τους δηλαδή ,σε επαναλαμβανόμενηδειγματοληψία (1)οι τιμές της μένουν σταθερές και

(2)η διακύμανση του Χ δεν είναι μηδέν ,και άρα δεν συσχετίζεται με τον διαταρακτικό όρο

Δηλαδή :Cov(X i ,u i)=0 ή E(X i ui)=0Απόδειξη :Cov (X i ,ui)=E(X i ui)−E (X i)E (u i)=E(Xi ui)



υπόθεση της γραμμικότητας αναφέρεται στους συντελεστές του υποδείγματος και όχι στις

μεταβλητές. Αυτό μαθηματικά σημαίνει ότι οι μερικές παράγωγοι της εξαρτημένης μεταβήτής

y i ώς προς τους συντελεστές του υποδείγματος είναι ανεξάρτητες αυτών. Δηλαδή, στο

υπόδειγμα μας∂ yi

∂a=1 και

∂ y i

∂ β=xi ανεξάρτητα από τα a και β

Η μεταβλητή Υ της υπόθεσης (1) είναι συνάρτηση της τυχαίας μεταβλητής u και επομένως η Υ

είναι επίσης τυχαία μεταβλητή. Επιπλέον, η κατανομή της Υ είναι κατανομή υπό συνθήκη,

δεδομένης της τιμής της Χ, δηλαδή για κάθε Χ υπάρχει ολόκληρη κατανομή και όχι μόνο μια τιμή

της Υ.

Εφόσον η Χi δεν είναι στοχαστική ισχύει:

Ε(Υi|Xi) = E(Yi) και V(Yi|Xi) = V(Yi)

Άρα μπορούμε να γράψουμε τις ακόλουθες σχέσεις:

Απόδειξη


(a) Y i=α+βΧ i+ui

E (Y i)=E(α+βX i+ui)=E(a)+E(βX i)+E(ui)

αλλά ,E (a)=a , γιατί α είναι μια παράμετροςΕ (βX i)=β (X i), γιατί β είναι μια παράμετρος και X i μια σταθεράΕ (ui)=0σύμφωνα με την υπόθεση(2)Άρα ,E (Y i)=α+ βX i

(b) Από τον ορισμό της διακύμανσηςV (Y i)=E (Y i−EY i)

2

αντικαθιστώ με EY i=a+ βX iκαι Y i=α+βΧ i+ui

Y (Y i)=E(α+βX i+ui−a−βΧ i)2=Ε(u i)

2=σ2

(5)E(Y i)=a+ βΧi

(6)V (Y i)=σ2



Μέθοδος ελαχίστων τετραγώνων

Θέλουμε να εκτιμήσουμε το παρακάτω γραμμικό υπόδειγμα

Y i=α+βΧ i+ui , i=1,... , n

Το εκτιμημένο υπόδειγμα γράφεται : Y i=α∧

ET+ β∧

ET X i+u∧

i , i=1,... , n

H μέθοδος των ελαχίστων τετραγώνων βασίζεται στην ελαχιστοποίηση του αθροίσματος των

τετραγώνων των καταλοίπων, δηλαδή,

min

a∧

, β∧ S(a

∧

, β∧

) ,

όπου S (a∧

, β∧

)=∑i=1

n

u∧

i2=∑

i=1

n

(Y i−α∧

−β∧

X i)2

Συνθήκες Πρώτης Τάξης

(7)∂ S

∂α∧ =S

a∧=−2∑

i=1

n

(Y i−a∧

−β∧

X i)=0

(8)∂ S

∂ β∧ =S

β∧=−2∑

i=1

n

(Y i−a∧

−β∧

X i)(X i)=0

(Κανονικές Εξισώσεις)

Για να βρούμε τους εκτιμητές α∧

και β∧

λύνουμε την (7)και(8)

(7)→−2∑i=1

n

(Y i−a∧

−β∧

X i)=0⇔∑i=1

n

(Y i−a∧

−β∧

X i)=0⇔∑i=1

n

Y i−na∧

−β∧

∑i=1

n

X i=0⇔∑i=1

n

Y i−β∧

∑i=1

n

X i=na∧

⇔a∧

=

∑i=1

n

Y i−β∧

∑i=1

n

X i

n

⇔a∧

=Y−β∧

X (9)




(8)→∑i=1

n

(Y i−Y +β∧

X−β∧

X i)(X i)⇔∑i=1

n

Y i X i−Y∑i=1

n

X i+ β∧

X∑i=1

n

X i−β∧

∑i=1

n

X i2=0

⇔∑i=1

n

Y i X i−Y n X+β∧

n X2−β∧

∑i=1

n

X i2=0 (αφού X=

∑i=1

n

X i

n)

⇔∑i=1

n

(Y i−Y )(X i−X )−β∧

∑i=1

n

(X i−X )2=0

αφού −β∧

(∑i=1

n

X i2−n X2

)=−β∧

(∑i=1

n

X i2−n∑i=1

n

X i

nX)=−β

∧

(∑i=1

n

X i2−∑

i=1

n

X i X )

−β∧

(∑i=1

n

X i2−2∑

i=1

n

X i X+∑i=1

n

X i X)=−β∧

(∑i=1

n

X i2−2∑

i=1

n

X i X+n X2)

−β∧

∑i=1

n

(X i2−2 X i X+ X 2

)=−β∧

∑i=1

n

(X i−X )

⇔ β∧

ET=

∑i=1

n

(Y i−Y )(X i−X )

∑i=1

n

(X i− X)2(10)

Εναλλακτικά:

(11) β∧

ET=

∑i=1

n

yi x i

∑i=1

n

x i2

ή

(12) β∧

ET=rS y

Sx

,

όπου r=∑i=1

n

y i x i

√∑i=1

n

y i2√∑

i=1

n

x i2

o δειγματικός συντελεστής συσχέτισης Υ i ,Χ i

και Sy=√∑

i=1

n

(Y i−Y )2

n, o δειγματικός εκτιμητής τυπικής απόκλισης




Συνθήκες Δεύτερης Τάξης

Για ελάχιστο η Εσσιανή μήτρα ων δευτέρων παραγώγων πρέπει να είναι θετικά ορισμένη, δηλαδή,

Sa∧

a∧>0 και ∣Η

∧

∣>0

Η∧

=(S

a∧

a∧ S

a∧

β∧

Sβ∧

a∧ S

β∧

β∧)

∣Η∧

∣=Sa∧

a∧ S

β∧

β∧−S

a∧

β∧

2, αφού Sα∧

β∧=S

β∧

α∧

∣Η∧

∣>0

Αν πάρω τις δεύτερες παραγώγους των (7) (8) προκύπτει:

Sa∧

a∧=2n>0

Sa∧

β∧=2∑

i=1

n

X i

Sβ∧

β∧=2∑

i=1

n

Χ i2

∣Η∧

∣=4n∑i=1

n

(X i−X )2>0 που προκύπτειως εξής :

∣Η∧

∣=Sa∧

α∧ S

β∧

β∧−S

a∧

β∧

2= 2n2∑

i=1

n

X i2−(2∑

i=1

n

X i)2= 4n∑

i=1

n

X i2−4∑

i=1

n

X i2= 4n∑

i=1

n

X i2−4 X∑

i=1

n

X i

4n (∑i=1

n

X i2−X∑

i=1

n

X i)= 4n (∑i=1

n

X i2−2 X∑

i=1

n

X i+ X∑i=1

n

X i)= 4n(∑i=1

n

X i2−2 X∑

i=1

n

X i+X n X )

4n (∑i=1

n

X i2−2 X∑

i=1

n

X i+n X2)= 4n∑

i=1

n

(X i− X)2

Γενικά οι εκτιμητές δίνονται από τις σχέσεις:

a∧

=Y−β∧

X

β∧

ET=∑i=1

n

(Y i−Y )(X i−X )

∑i=1

n

(X i−X )2=∑i=1

n

y i x i

∑i=1

n

xi2

σ∧

2=

∑i=1

n

(Y i−Y )2

n−1=

∑i=1

n

u∧

i2

n−Κ(Κ ο αριθμός των συντελεστών του υποδείγματος που εκτιμώνται με ΕΤ)




Ιδιότητες Γραμμής Παλινδρόμησης του Δείγματος

1. To άθροισμα των τιμών της Υ από το δείγμα είναι ίσο με το άθροισμα των τιμών που

υπολογίζουμε από την παλινδρόμηση, δηλαδή ∑i=1

n

Y i=∑i=1

n

Y∧

i (13)

Απόδειξη:

Y∧

i=a∧

ET+β∧

ET X i

(αθροίζω∀ i και τα δύο σκέλη) ∑i=1

n

Y∧

i=∑i=1

n

(a∧

ET+β∧

ET X i)

(αντικαθιστώ με πρώτη κανονική εξίσωση) ∑i=1

n

Y∧

i=∑i=1

n

(Y i)

2. Το άθροισμα των καταλοίπων είναι μηδέν. Δηλαδή ∑i=1

n

u∧

i=0 (14)

Απόδειξη:

u∧

=Y−Y∧

(αθροίζω∀ i και τα δύο σκέλη) ∑i=1

n

u∧

i=∑i=1

n

(Y−Y∧

)

(αφού∑i=1

n

Y∧

i=∑i=1

n

Y i) ∑i=1

n

u∧

i=∑i=1

n

Y i−∑i=1

n

Y∧

i⇔∑i=1

n

u∧

i=0

3. To άθροισμα των γινομένων των τιμών της Χ και των καταλοίπων είναι μηδέν, δηλαδή

∑i=1

n

Χ ιu∧

i=0 (15)




Απόδειξη:

u∧

i=Υ∧

i−α∧

ΕΤ−β∧

ΕΤ X i

(πολλαπλασιάζουμε με X i και τα δύο σκέλη) X i u∧

i=X iΥ∧

i−X i α∧

ΕΤ−β∧

ΕΤ X i2

(αθροίζουμε∀ iκαι τα δύο σκέλη) ∑i=1

n

X iu∧

i=∑i=1

n

(X iΥ∧

i−X i α∧

ΕΤ−β∧

ΕΤ X i2)

(από δεύτερη κανονικήεξίσωση(8)προκύπτει ότι το δεύτερο σκέλος είναι μηδέν)

άρα ∑i=1

n

Χ ιu∧

i=0

4. Το άθροισμα των γινομένων των καταλοίπων και των τιμών Υ που υπολογίζουμε από την

παλινδρόμηση του δείγματος είναι μηδέν, δηλαδή: ∑i=1

n

Υ∧

iu∧

i=0 (16)

Απόδειξη:

Υ∧

i=α∧

ΕΤ+ β∧

ΕΤ X i+ u∧

i

(πολλαπλασιάζουμε με ui και τα δύο σκέλη) u∧

i Υ∧

i=u∧

i(α∧

ΕΤ+ β∧

ΕΤ X i+ u∧

i)

(αθροίζουμε∀i και ταδύο σκέλη) ∑i=1

n

u∧

iΥ∧

i=∑i=1

n

(u∧

i(α∧

ΕΤ+ β∧

ΕΤ X i+ u∧

i))

∑i=1

n

u∧

i a∧

ET+ β∧

ET∑i=1

n

u∧

i X i=0

5. H εκτιμημένη γραμμική σχέση y i= αΕΤ+

β ΕΤ x i

περνάει από το σημείο των μέσων όρων των

τιμών της εξαρτημένης και ανεξάρτητης μεταβλητής στο δείγμα. Το σημείο αυτό ορίζεται ως εξής:

x=1N∑i=1

N

x i , y=1N∑i=1

N

y i . Δηλαδή, ο μέσος της εξαρτημένης μεταβλητής και ο μέσος της

τιμής του Υ που υπολογίζουμε από την παλινδρόμηση ισούται, δηλαδή:

Υ=Y∧

(17)




Απόδειξη:

Ξέρουμε ότι Y i=Y∧

i+ u∧

i , όπου Y∧

i=α∧

ΕΤ+ β∧

ET Χ i και u∧

i τα κατάλοιπα

Y i=Y∧

i+ u∧

i

(αθροίζω∀i καιδιαιρώ με n)1n∑i=1

n

Y i=1n∑i=1

n

Y∧

i+1n∑i=1

n

u∧

i⇔Y=Y∧

+1n

0

(επειδή ∑i=1

n

u∧

i=0) Y=Y∧

6. To συνολικό άθροισμα των τετραγώνων της εξαρτημένης μεταβλητής (TSS) ισούται με το

άθροισμα των “εξηγημένων” τετραγώνων (ESS) και του αθροίσματος των τετραγώνων των

καταλοίπων (RSS), δηλαδή

TSS = ESS + RSS (total sum of squares = explained sum of squares +residual sum of squares) (18)

ή αλλιώς ∑i=1

n

y i2=∑

i=1

n

y2+∑

i=1

n

u∧

i2

Απόδειξη:

Y i=Y∧

i+u∧

i

(αφαιρώ Y και από τα δύο σκέλη) Y i−Y=Y∧

i−Y +u∧

i

(αθροίζωκαι υψώνω στο τετράγωνο) ∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i−Y +u∧

i)2

(αναπτύσσω την ταυτότητα ) ∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i2−2Y

∧

i Y +2 Y∧

iu∧

i+Y 2−2Y u

∧

i+u∧

i2)

∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i−Y )2+2∑i=1

n

Y∧

iu∧

i−2∑i=1

n

Y u∧

i+∑i=1

n

u∧

i2

(ξέρωότι∑i=1

n

u∧

i=0) ∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i−Y )2+2∑i=1

n

Y∧

i u∧

i+∑i=1

n

u∧

i2

(αντικαθιστώ μεΥ∧

i=a∧

ET+β∧

ET X i) ∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i−Y )2+2a∧

ET∑i=1

n

u∧

i+2β∧

ET∑i=1

n

X i ui+∑i=1

n

u∧

i2

∑i=1

n

(Y i−Y )2=∑i=1

n

(Y∧

i−Y )2+∑i=1

n

u∧

i2⇔TSS=ESS+RSS




Συντελεστής Προσδιορισμού

Ο συντελεστής προσδιορισμού συμβολίζεται με R2 και εκπροσωπεί το ποσοστό της

μεταβλητότητας της εξαρτημένης μεταβλητής που “εξηγείται” από την παλινδρόμηση. Ως σημείο

σύγκρισης χρησιμοποιείται ο μέσος.

TSS=ESS+ RSS

(διαιρώ με TSS και τα δύο σκέλη) 1=ESSTSS+

RSSTSS

( λύνωως προςESSTSS)

ESSTSS=1−

RSSTSS⇔R

2=1−

RSSTSS

(19)

αλλιώς R2=ESSTSS

=

∑i=1

n

(Y∧

i−Y )2

∑i=1

n

(Y i−Y )2

(20) ή R2=

β2∑i=1

n

x i2

∑i=1

n

y2

(21) ή R2=

β2∑i=1

n

x i y i

∑i=1

n

y i2

(22)

ή R2=

(∑i=1

n

x i y i)2

(∑i=1

n

x i2)(∑

i=1

n

y i2)

(23) ή R2=1−

RSSTSS=1−

∑i=1

n

u∧

i2

∑i=1

n

(Y i−Y )2

(24)

και0⩽R2⩽1

• Ο συντελεστής προσδιορισμού παίρνει τιμές μεταξύ του μηδέν και του ένα 0⩽R2⩽1

• Στο διμεταβλητό υπόδειγμα ισχύει R2=r2 (25)

• Αν το υπόδειγμα εκτιμήθηκε με ΕΤ χωρίς σταθερό όρο τότε το R2 μπορεί να πάρει και

αρνητικές τιμές και κατά συνέπεια δεν χρησιμοποιείται

• Όσο πιο κοντά βρίσκεται η τιμή του R2 στην μονάδα, τόσο πιο ισχυρή γίνεται η γραμμική

σχέση εξάρτησης των μεταβλητών Υ και Χ.

Μη Κεντρικός Συντελεστής Προσδιορισμού

Αν, αντί του μέσου, ως σημείο σύγκρισης χρησιμοποιηθεί το μηδέν, τότε προκύπτει ο μη κεντρικός

συντελεστής προσδιορισμού (uncentered coefficient of determination) που συμβολίζεται με Ru2




(20)→Ru2=∑i=1

n

Y∧

i2

∑i=1

n

Y

Επομένος, ο μη κεντρικός συντελεστής προσδιορισμού Ru2 παριστάνει την αναλογία της

μεταβλητικότητας της Υ που “ερμηνεύεται” από την παλινδρόμηση όταν η μεταβλητικότητα

ορίζεται με βάση το μηδέν.

Ιδιότητες Εκτιμητών

Σύμφωνα με το θεώρημα των Gauss-Markov για το κλασσικό γραμμικό υπόδειγμα, οι εκτιμητές

που προκύπτουν με την μέθπδπ των ελαχίστων τετραγώνων είναι άριστοι γραμμικοί αμερόληπτοι

εκτιμητές. Αυτό σημαίνει ότι:

1. είναι γραμμικές συναρτήσεις των παρατηρήσεων της εξαρτημένης μεταβλητής Υ

2. είναι αμερόληπτοι, δηλαδή: Ε(α∧

)=α (26)

E(β∧

)=β (27)

3. είναι αποτελεσματικοί, δηλαδή μεταξύ όλων των γραμμικών αμερόληπτων εκτιμητών έχουν

τη μικρότερη διακύμανση, που δίνεται από τις ακόλουθες σχέσεις:

V (α∧

)=σ2 1n+

X2

∑i=1

n

x i2

(28)

V ( β∧

)=σ2(∑

i=1

n

x i2)−1(29)

Επιπλέον, η συνδιακύμανση των συντελεστών α∧

και β∧

δίνεται από την ακόλουθη σχέση:

Cov(α∧

, β∧

)=−σ2 X

∑i=1

n

x12

(30)




Απόδειξη

Ένας εκτιμητής θ∧

είναι γραμμικός εκτιμητής αν είναι της μορφής

θ∧

=∑i=1

n

a iY i ,όπου α i σταθερές και i=1,2,. .. , n.

Δηλαδή ,o εκτιμητής θ∧

είναι γραμμικός αν είναι γραμμική συνάρτησητων παρατηρήσεων του δείγματος

A.Θα δείξουμε ότι ο εκτιμητής β∧

είναι γραμμικός

O εκτιμητής β∧

δίνεται από τη σχέση : β∧

=

∑i=1

n

x i y i

∑i=1

n

x i2

(αντικαθιστώ με y i=Y i−Y ) β∧

=

∑i=1

n

x i(Y i−Y )

∑i=1

n

x i2

=

∑i=1

n

x iY i

∑i=1

n

x i2

−

Y∑i=1

n

x i

∑i=1

n

x i2

(αφου∑i=1

n

xi=0) β∧

=

∑i=1

n

x iY i

∑i=1

n

x i2

Η μεταβλητή Χ δεν είναι στοχαστική , επομένως ο λόγοςx i

∑i=1

n

x i2

είναι μια σταθερά∀ i=1,2,. .. ,n

Θέτω δi=xi

∑i=1

n

x i2

, β∧

=∑i=1

n

δ iY i

Άρα ο εκτιμητής β∧

είανι γραμμική συνάρτηση τουΥ

B. Θα δείξουμε ότι ο εκτιμητής a∧

είναι γραμμικός

a∧

=Y−β∧

X

(αντικαθιστώ β∧

=∑i=1

n

δ i Y i και Y=∑i=1

n

Y i

n) a

∧

=

∑i=1

n

Y i

n− X∑

i=1

n

δi Y i

(βγάζω το άθροισμα κοινο παράγοντα ) a∧

=∑i=1

n

(1n− X δ i)Y i

Αλλά ,1n− X δ i ,σταθερά και επομένως ο a

∧

είναι γραμμική συνάρτηση της Υ




Γ. Θα δείξουμε ότι οεκτιμητής β∧

είναι αμερόληπτος

β∧

=∑i=1

n

xi Y i

∑i=1

n

xi2

(αντικαθιστώ Y i=α+βX i+ui) β∧

=

∑i=1

n

x i(α+βX i+ui)

∑i=1

n

x i2

=a∑i=1

n

x i

∑i=1

n

x i2

+β∑i=1

n

x i X i

∑i=1

n

x i2

+

∑i=1

n

xi ui

∑i=1

n

xi2

(επειδή∑i=1

n

xi=0και∑i=1

n

x i X i=∑i=1

n

x i2) β

∧

=β+∑i=1

n

xiu i

∑i=1

n

xi2

έχω ∑i=1

n

x i X i=∑i=1

n

X i(X i−X )=∑i=1

n

X i2−X∑

i=1

n

X i

(προσθέτω και αφαιρώ X∑i=1

n

X i) ∑i=1

n

xi X i=∑i=1

n

X i2−2 X∑

i=1

n

X i+ X X n

(αφού X X n=∑i=1

n

X2) ∑

i=1

n

x i X i=∑i=1

n

X i2−2 X∑

i=1

n

X i+∑i=1

n

X2=∑

i=1

n

(X−X )2=∑i=1

n

x i2

Παίρνω την προσδοκώμενη τιμή του β∧

οπότε έχω:

Ε β∧

=Ε [ β+∑i=1

n

x i u i

∑i=1

n

x i2

]=E β+Ε [∑i=1

n

x i ui

x i2 ]

(αφού Εβ=β και Ε (∑i=1

n

xi u i

∑i=1

n

xi2

=0)) Eβ∧

= β

έχω E (∑i=1

n

x i ui

∑i=1

n

x i2

)=∑i=1

n

x i E u i

∑i=1

n

x i2

=0 γιατίx i

∑i=1

n

xi2

είναι μια σταθερά και Εui=0




Δ.θα δείξουμε ότι V ( β∧

)=σ2(∑i=1

n

x i2)−1

Είδαμε ότι β∧

=β +∑i=1

n

xi ui

∑i=1

n

xi2

ή β∧

=β +∑i=1

n

δ iui , όπου δi=x i

∑i=1

n

x i2

Σύμφωνα με τον ορισμό της διακύμανσης V ( β∧

)=E (β∧

−E β∧

)2

(αφού β αμερόληπτος) V (β∧

)=E(β∧

−β )2

(αντικαθιστώ με β∧

=β +∑i=1

n

δi ui) V (β∧

)=E(∑i=1

n

δi ui)2

(Επειδή(∑i=1

n

δiu i)2είναι ταυτότητα ) V (β

∧

)=E(∑i=1

n

δi2u i

2+2∑

i<s

n

δi δ sui us)=∑i=1

n

δi2 E ui

2+2∑

i<s

n

δi δ s Eui us

(Επειδή E u ius=0και E ui2=σ 2) V ( β

∧

)=σ2∑i=1

n

δi2=σ2∑

i=1

n

(x i

∑i=1

n

x i2

)

2

=σ2

∑i=1

n

x i2

E.Θα δείξουμε ότι Cov( α∧

, β∧

)=−σ2 X

∑i+ i

n

xi

(Από τον ορισμό) Cov (α∧

, β∧

)=Ε (α∧

−Ε(α∧

))(β∧

−Ε(β∧

))

(επειδή α∧

, β∧

αμερόληπτοι) Cov(α∧

, β∧

)=Ε (α∧

−α )(β∧

−β) (Ι )

α∧

−α=Y−b∧

X−α ( II)

Y i=α+βX i+ui⇒α=Y i−βX i−ui

(αθροίζωκαι τα δύο σκέλη) ∑i+1

n

α=∑i=i

n

Y i−β∑i=1

n

X i−∑i=1

n

ui

(διαιρώ με n)∑i=1

n

α

n=

∑i=1

n

Y 1

n−β∑i=1

n

X i

n−

∑i=1

n

u i

n




(αφού ∑i=1

n

α=n⋅α) a=Y−β X−∑i=1

n

ui

n=Y−β X−ui

(αντικαθιστώ το α στην( ΙΙ )) α∧

−α=Y−β∧

X−(Y−β X−ui)

(βγάζωκοινό παράγοντα X ) α∧

−α=−(β∧

−β ) Χ+ui

(αντικαθιστώ στην ( Ι)) Cov(α∧

, β∧

)=Ε [−(β∧

−β) X+ui] (β∧

−β)

Cov (α∧

, β∧

)=E[−(β∧

−β )2 X+u i(β∧

−β)]

Cov (α∧

, β∧

)=(−X)E(β∧

−β)2+E ui(β∧

−β )

Όμως E ui(β∧

−β )=0 γιατί

β∧

−β=β+∑i=1

n

x iui

∑i=1

n

x i2

−β=∑i=1

n

xiu i

∑i=1

n

x i2

άρα Eu i(β∧

−β)=Ε ui(∑i=1

n

xi ui

∑i=1

n

x i2 )=E(∑i=1

n

xi ui ui

∑i=1

n

x i2 )⇔

⇔E ui(β∧

−β )=(1

∑i=1

n

xi2)E[∑i=1

n

x iu i(u1+u2+.......+un

n )]⇔

⇔E ui( β∧

−β)=(1

∑i=1

n

x i2)E [∑i=1

n

x iu iu1+....+∑i=1

n

x iu i+......+∑x i

u iun

n ]=(1

∑i=1

n

x i2)(∑i=1

n

xi Eui2

n )= 1

∑i=1

n

x i2

∑i=1

n

x i

n⇔

(αντικαθιστώ x=X−X ) ⇔E u i(β∧

−β)=1

∑i=1

n

x i2

σ2∑i=1

n

(X i−X )

n⇔E ui(β

∧

−β)=σ2(∑i=1

n

X i

n∑i=1

n

x i2

−∑i=1

n

X

n∑i=1

n

xi2)⇔

(∑i=1

n

X=X⋅nκαι∑i=1

n

X=n⋅X) ⇔E ui( β∧

−β)=σ2

(n X

n∑i=1

n

xi2

−n X

n∑i=1

n

x i2)=0

Επομένως , Cov (α∧

, β∧

)=−X E (β∧

−β)2

(εξ ' ορισμούV (β∧

)=E (β∧

−β )2) Cov (α∧

, β∧

)=−X V (β∧

)=−Xσ 2

∑i=1

n

x i2




Ερμηνεία Συντελεστών

O συντελεστής παλινδρόμησης β παριστάνει τη μεταβολή στην προσδοκώμενη τιμή της

εξαρτημένης μεταβλητής, όταν η ερμηνευτική μεταβλητή μεταβάλεται κατά 1 μονάδα, Είναι

δηλαδή η μαράγωγος της Ε(Υi) ως προς Χi δηλαδή, dE(Y i)

dEX i

=β

H ελαστικότητα της Υ προς Χ δίνεται απότον τύπο :

ε yx=dydx

xy

ή ε yx=dydx

:yx

η εκτίμηση της ε yx είναι: ε∧

yx=β∧

ET

Χ i

Υ i

Eπειδή όμως η ελαστικότητα δεν παραμένει σταθερή σε όλο το μήκος της συνάρτησης, συνήθως

υπολογίζουμε την ελαστικότητα παίρνοντας τους μέσους των Χ και Υ.

Έτσι: ε yx=β∧

ETXY

, όπου ε xy η ελαστικότητα στο σημείο των μέσων (31)

Σταστιστική Επαγωγή

Μέχρι τώρα δεν καθορίσαμε την κατανομή πιθανότητας της u i.

Έστω u i∼N (0,σ2)

Τότε ισχύει :

α∼Ν (α ,σ 2 1ν+

x2

∑i=1

n

xi2)

β∼N (β ,σ 2(∑i=1

n

x i2)−1

)Επειδή όμως η παράμετρος της διακύμανσης του διαταρακτικούόρουσ 2 καιη τυπική απόκλισησ είναιάγνωστες , θα χρησιμοποιήσουμε τον αμερόληπτο εκτιμητή της , σ 2

Η στατιστική όμως( β−β )se( β )s

ακολουθεί την t κατανομή( t−student )

άρα t=( β−β)se ( β )s

∼t n−2

Η τετραγωνική ρίζα της διακύμανσης του εκτιμητήονομάζεται τυπικό σφάλμα καιη εκτίμησή τουδίνεται από τον τύπο :

se( β )=√Var ( β )

g=[σ∑

i=1

n

x i2]−

12(32)




Έλεγχος Υπόθεσης (Έλεγχος Σημαντικότητας )H 0: β=αριθμός ( μηδενική υπόθεση)H 0 : β≠αριθμός (εναλλακτικήυπόθεση)

ΒΗΜΑ1 :Υπολογίζουμε t−student στατιστική

t=β−αριθμόςse ( β )s

∼t n−2(33)

ΒΗΜΑ2 : Συγκρίνουμε την τιμήτης με την κριτική τιμήαπό τους πίνακες της t−student κατανομής μεn−2 βαθμούς ελευθερίας και δεδομένοα(επίπεδο σημαντικότητας )

Αν∣t∣⩽t n−2

α2 δεν απορρίπτουμε Η 0

Αν∣t∣>t n−2

α2 απορρίπτουμε Η 0

ΠΡΟΣΟΧΗ ! !Όταν ελέγχουμε Η 0: β=0 και απορρίψουμε την Η 0 λέμε ότι : ' ' η εκτίμηση β διαφέρει σημαντικά απότο μηδέν ' ' ή ότι ' ' η εκτίμηση είναι στατιστικά σημαντική' '

Διάστημα Εμπιστοσύνης για συντελεστές κλίσης

P [β−t n−2

α2se( β )⩽β⩽ β+t n−2

a2se( β)]=1−α (34)

H πιθανότητα οιτυχαίες μεταβλητές β−t n−2

α2 se ( β)και β+t n−2

α2 se ( β)να λάβουν τιμές πουπερικλείουν

την παράμετροτου πληθυσμού β είναι(1−α)%

Διάστημα εμπιστοσύνης για την διακύμανση του διαταρακτικού όρου σ2

P [(n−2) σ2

χ1−

12,

n−2

2⩽σ2⩽(n−2) σ2

χ a2,

n−2

2 ]=1−α (35)

Παράδειγμα

Σας δίνονται τα παρακάτω εκτιμημένα υποδείγματα υποδείγματα. Σε παρενθέσεις αναφέρονται τατυπικά σφάλματα.

Προβείτε σε ελέγχους στατιστικής σημαντικότητας των συντελεστών κλίσης και των σταθερώνόρων.

Y i=1.56(0.91)+2.67(1.19)

X i+u i , i=1,. .... ,12

Y i=0.35(0.0092)

+1.55(0.28)

X i+u i , i=1,. .,136




Λύση

α)Υ 1=1.56+2.67Χι+ ui , i=1,... ,12H 0: β=0H 1: β≠0

t=2.671.19=2.243 ~ t10 , α=0.05

∣t∣>t n−2

α2

∣2.243∣>2,228άρα απορρίπτουμε Η 0 υπόθεση ,κατά συνέπεια η μεταβλητή Χ i έχειστατιστικά σημαντικήεπίδραση στην Υ i

H 0: α=0H 1: α≠0

t=1.560.91=1.714 ∣t∣<2.228άρα δεν απορρίπτουμε Η 0υπόθεση για 95% διάστημα εμπιστοσύνης

(β)Υ i=0.35+1.55Xi+u i , i=1,.... ,136H 0: β=0H 0: β≠0

t=1.550.28= ~ t134, α=0.05

∣t∣>t n−2

α2

∣t∣=5.535>1.960 άρααπορρίπτουμε Η 0υπόθεση , κατάσυνέπεια η εκτίμηση β διαφέρει σημαντικά απότο μηδέν

H 0: α=0H 1: α≠0

t=1.350.092

~ t 134 t=0.38

∣t∣1.960 άρα δεν απορρίπτουμε Η 0 υπόθεση για 95% διάστημα εμπιστοσύνης

Έλεγχος με την κατανομή F

Ο έλεγχος της υπόθεσης β=0 μπορεί να γίνει και με την κατανομή F : Όταν β=0 ισχύει:

F=β2∑

i=1

n

x i2

σ2 =

∑i=1

n

y2

∑i=1

n

ui

n−2

(36) με1και n−2 βαθμούς ελευθερίας

Για δεδομένο επίπεδοσημαντικότητας α , ηυπόθεση β=0απρρίπτετατιόταν F⩾F α , όπου F α είναι ητιμή της Φ από τους πίνακες με 1 και n−2 β.ε.σε α επίπεδο σημαντικότητας

ΠΡΟΣΟΧΗ ! ! Η στατιστική F είναιτο τετράγωνο της στατιστικής t , t 2=F




Για τον υπολογισμό της F-στατιστικής μπορεί να κατασκευαστεί πίνακας ανάλυσης της

διακύμανσης (πίνακας ANOVA)

ΠΗΓΗΜΕΤΑΒΛΗΤΟΤΗΤΑΣ

Άθροισματετραγώνων Β.Ε.

Μέσοςαθροίσματοςτετραγώνων

F-στατιστική

Παλινδρόμηση ∑i=1

n y i2( RSS)

1 ∑i=1

n

y i2

1

F=

∑i=1

n

y i2

1

∑i=1

n

u i2

( n−2)

Κατάλοιπα ∑i=1

n u i2( ESS)

n-2 ∑i=1

n ui2

[ n−2]

Σύνολο ∑i=1

n

y i2( TSS)

n-1 ∑i=1

n

y i2

( n−2)

Έλεγχος του συντελεστή συσχέτισης

Ο έλεγχος του συντελεστή συσχέτισης, δηλαδή ο έλεγχος της υπόθεσης πως ο συντελεστής

συσχέτισης στον πληθυσμό ρ είναι μηδέν, είναι ο ίδιος με τον έλεγχο του συντελεστή β. Όταν

δηλαδή ελέγχουμε για σημαντικότητα το συντελεστή β, είτε με το κριτήριο τ είτε με το κριτήριο F,

ελέγχουμε ταυτόχρονα και το συντελεστή συσχέτισης. Συνήθως, υπολογίζουμε την στατιστική:

t=r√n−2

√1−r2(37) και απορρίπτουμε την υπόθεση ότι ρ=0 αν |t| ≥tα/2 , n-2

Πρόβλεψη στο απλό γραμμικό υπόδειγμαΈστω μια δοσμένητιμή Χ f της μεταβλητής Χ i i=1,. .. , nΜε βάση την εκτίμηση του υποδείγματος και τηδεδομένη τιμή Χ f , μπορούμε να προβλέψουμε τηνεξαρτημένη μεταβλητή Υ.Η σημειακή πρόβλεψη δίνεταιαπό : Υ f=α+ β Χ f

(αντικαθιστώ a=Y− β X ) Y f=Y− β X + βΧ f

(αντικαθιστώ x=X− X ) Y f=Y + βx f

Η πραγματική τιμή Υ f είναι άγνωστη και θεωρητικά δίνεται απότο υπόδειγμαY f=α+ βΧ f +u f (α)

(αθροίζω κ ' διαιρώ με n) Y=α+ β X + u ( β )(αφαιρώ(α)−( β )) Y f−Y=βΧ f−β X +u f− u=βx f +u f− u




Το σφάλμα πρόβλεψης συμβολίζεται με e f και ορίζεταιως η απόκλισητης πραγματικής τιμής Υ 0 απότην πρόβλεψή της με βάσητο υπόδειγμα , δηλαδή

e f=Y f−Y f=−( β−β ) x f +(u f− u)Όταν ο εκτιμητής είανι αμερόληπτος το μέσοσφάλμα πρόβλεψης είναι0. Δηλ.

Ε (e f )=0

και Var (e f )=σ 2

(1+1n+

x f2

∑i=1

n

xi2)

Επίσηςe f ~ N (E (e f ) ,Var (e f ))Tο σφάλμα πρόβλεψης κατανέμεται ως μια t−student τυχαία μεταβλητή με n−2 β.ε.δηλαδή

t=e f

se(e f )a=

Y 0−Y 0

se (e f )a

~ t n−2 (38) , όπου se (e f )=√Var (e f )I 1

Διάστημα Εμπιστοσύνης : Y f±tn−2 ,α

2

⋅√Var (e f )a(39)

Περαιτέρω εξειδίκευση του υποδείγματος

Λογαριθμικός – Λογαριθμικός μετασχηματισμός

ΠΡΟΣΟΧΗ!!

Ο λογαριθμικός μετασχηματισμός εφαρμόζεται μόνο όταν οι μεταβλητές λαμβάνουν μόνο θετικές τιμές

Το υπόδειγμα είναι της μορφής: ln(Y i)=α+ βln (X i)+u i (40)

Ο συντελεστής κλίσης β αντιστοιχεί στην ελαστικότητα της Y i ως προς X i , β=ε yx

Το υπόδειγμα (40) υποθέτει σταθερή ελαστικότητα της Y i ως προς X i ή ότι η αρχική εξάρτηση

της Y i πάνω στην X i είναι πολλαπλασιαστικού τύπου Y i=A X iβ eu i

Έστω η εκθετική συνάρτηση Y i=ea+ βX i+ui

Η συνάρτηση μετατρέπεται σε γραμμική αν λογαριθμίσουμε με βάση το e. Δηλαδή:

ln(Y i)=ln (eα+βX i+ui)⇒lnY i=α+ βX i+ui

Η συνάρτηση αυτή, όπως είναι γνωστό, συνεπάγεται σταθερό ρυθμό μεταβολής της Y i




Λογαριθμικός – Γραμμικός μετασχηματισμός

Στην περίπτωση αυτή λογαριθμίζουμε μόνο την εξαρτημένη μεταβλητή

ln(Y i)=α+ β X i+ui (41)

Η ελαστικότητα της Y i ως προς X i δίνεται από τον τύπο: ε YX=βX i αφού

dln(Y i)

dX i /X i

X i=βX i

αν β>0: μια αύξηση (μείωση) της μεταβλητής X i κατά μία μονάδα οδηγεί σε μια (100xβ)%

αύξηση (μείωση) της Y i

Ισχύει ότι:

ε YX= β X

Ο εν λόγω μετασχηματισμός χρησιμοποιείται κυρίως

• όταν η ανεξάρτητη μεταβλητή είναι ψευδομεταβλητή (παίρνει την τιμή 0 ή 1) ή έχει μονάδα

μέτρησης τον χρόνο και

• η εξαρτημένη μεταβλητή παίρνει μόνο θετικές τιμές

Παράδειγμα (Πανεπιστήμιο Πατρών, Τμήμα Οικονομικών Επιστημών Εξετάσεις 2011)

Έστω ότι P i είναι η τιμή πώλησης διαμερισμάτων στην περιοχή της Πάτρας το έτος 2009. Έστω

ότι έχετε ένα τυχαίο δείγμα 125 τιμών πώλησης. Επίσης, έστω ότι Χ i ο αριθμός δωματίων του

διαμερίσματος. Θέλετε να εκτιμήσετε το υπόδειγμα ln(Ρi)=α+ β X i+ui .

Με βάση τα παρακάτω στοιχεία

∑i=1

n

( pi− p)2=19,5955 , ∑i−1

n

(X i−X )2=78,288

∑i=1

n

( pi− p)(X i− X )=21,25014

p=6,59585 X=4,7361111 pi=lnPi

1.Εκτιμήστε με τη μέθοδο των ελαχίστων τετραγώνων τις παραμέτρους α και β




2.Εκτιμήστε το τυπικό σφάλμα του εκτιμητή β και προβείτε σε έλεγχο σημαντικότητας για το β

όταν το άθροισμα των τετραγώνων των καταλοίπων είναι ίσο με ∑i=1

n

ui2=13,82746

( t από πίνακες 1,96)

3.Υπολογίστε το 95% διάστημα εμπιστοσύνης του β και αποφασίστε σχετικά με την υπόθεσηβ=0,30 ( t από πίνακες 1.96)

4.Ερμηνεύστε τον εκτιμημένο συντελεστή β

5.Υπολογίστε το συντελεστή προσδιορισμού και προβείτε σε σχολιασμό του

Λύση1. αΕΤ=Y− β X

β ΕΤ=∑i−1

n

y i x i

∑i=1

n

x i2

=∑i=1

n

( pi− p)(X i− X )

∑i=1

n

(X i−X )2=

21,2501478,288

=0,27143

α= p− β X=6,59585−0,27143⋅4,736=5,31036

άρα ln(P i)=5,31036+0,27143 X i

2.se( β)=√Var ( β )

a=[ σ∑

i=1

n

xi2]−

12 όμως

σ=√ σ 2=√0,11241=0,33527

συνεπώςse ( β)=√(0,33527⋅78,288)A=0,19518

Θα κάνουμε έλεγχο σημαντικότητας για τον συντελεστή βH 0 : β=0H 1 : β≠0

t=βse( β)A

=0,271430,19518

=1,39066

∣t∣<1,96άρα δεν απορρίπτουμε την Η 0 υπόθεση

3. P [ β−t n−2

a2 se( β)⩽β⩽ β+t n−2

a2 se ( β)]

άραP [0,27143−1,96∗0,19518⩽β⩽0,27143+1,96∗0,19518 ]=0,95

P [−0,11112⩽β⩽0,65398 ]=0,95άρα το διάστημα εμπιστοσύνης είναι [−0,111120,65398]




H 0 : β=0,30Η 1: β≠0,30

a=0,05

t=β−0,30se ( β )

=0,27143−0,30

0,19518=−0,14637

∣t∣<1,96 άρα δεν απορρίπτουμε H 0 υπόθεση

4. Ο εκτιμημένος συντελεστής β είναι ένας θετικός αριθμός, πράγμα που σημαίνει ότι μια

αύξηση του αριθμού των δωματίων του διαμερίσματος κατά μία μονάδα οδηγεί σε μια 27,143 %

((100x0,27143)%) αύξηση της τιμής πώλησης του διαμερίσματος.

Αντίστοιχα, μια μείωση του αριθμού των δωματίων του διαμερίσματος κατά μία μονάδα, οδηγεί σε

μια 27,143% μείωση της τιμής πώλησης του διαμερίσματος.

5. R2=1−∑i=1

n

u i2

∑i=1

n

(Y i−Y )2=1−

∑i=1

n

u i2

∑i=1

n

( p i− p)2=1−

13,8274619,5955

=0,29435

Που σημαίνει ότι το ποσοστό της μεταβλητότητας της εξαρτημένης μεταβλητής που “εξηγείται”

από την παλινδρόμηση είναι 29,435%. Δηλαδή, μόνο το 29,435% της μεταβολής της τιμής

πώλησης διαμερισμάτων στην περιοχή της Πάτρας το 2009 εξηγείται από την παλινδρόμηση,

καθώς υπάρχουν κι άλλοι παράγοντες που δεν έχουμε λάβει υπόψιν μας, όπως π.χ. Ο όροφος κτλ.

Γραμμικός - Λογαριθμικός μετασχηματισμός

Στην περίπτωση αυτή λογαριθμίζουμε μόνο την ανεξάρτητη μεταβλητή. To υπόδειγμα γίνεται:

Y i=α+ β ln (X i)+ui (42)

και υποθέτουμε ότι η ελαστικότητα της Y i ως προς X i είναι αντιστρόφως ανάλογη του

επιπέδου της εξαρτημένης μεταβλητής Y i . Δηλαδή, καθώς αυξάνεται το Y i , η αντίδραση της

Χ i μειώνεται.

Η ελαστικότητα δίνεται από τον τύπο ε YX=β1Y i

Ισχύει ότι: ε YX= β1

Y ia




O χρόνος ως ερμηνευτική μεταβλητή

Αν x t=t , t=1,. ... ,T όπου Τ το μέγεθος του δείγματος, τότε το υπόδειγμα γράφεται:

Y t=a+ βt+u t

• αν β>0 τότε έχουμε ανοδική πορεία μεταβλητής στο χρόνο

• αν β<0 τότε έχουμε καθοδική πορεία μεταβλητής στο χρόνο

Y t=a+ βt+ut

αφού Ε (ut)=0 E (Y t)=α+ βt

Κατά συνέπεια η αναμενόμενη τιμή της Y t είναι γραμμική συνάρτηση του χρόνου, άρα

Δt=t−(t−1)=1 επομένως

Ε (Υ t−Y t−1)

Δt

=E (Y t)−E (Y t−1)

Δt

=α−βt−α− β(t−1)

1

Επομένως ο συνελεστής β μετρά τη μέση μεταβολή της Y t κάθε χρονική περίοδο

Βασικές έννοιες χρονολογικών σειρών

Χρονολογική σειρά (time series) είναι ένα δείγμα y1, y2,. ... , yT , όπου ο δείκτης παριστάνει

ισαπέχοντα χρονικά σημεία (έτη, μήνες κτλ.) ή χρονικά διαστήματα (6 μήνες, 2 έτη, 5 έτη κτλ.).

Υποθέτουμε ότι οι παρατηρήσεις y1, y2,. ... , yT , είναι συγκεκριμένες τιμές ή πραγματοποιήσεις

των τυχαίων μεταβλητών Υ 1,Υ 2,. ... ,Υ T , και ότι οι τυχαίες μεταβλητές Υ 1,Υ 2,. ... ,Υ T , είναι

μέρος μόνο μιας άπειρης σειράς (ακολουθίας) τυχαίων μεταβλητών. Η ακολουθία ονομάζεται

στοχαστική ή τυχαία διαδικασία και συνήθως παριστάνεται με {Υ t }

Μια στοχαστική διαδικασία χαρακτηρίζεται ως δεύτερης τάξης ή ασθενώς στάσιμη ή κατά

συνδιακύμανση στάσιμη αν:

Ε (Υ t)= μ , ανεξάρτητη από t

V (Y t)=σ 2, ανεξάρτητη από tCov (Y t ,Y t+k)=Cov(Y t+s ,Y t+k+s)=γ(k) , ανεξάρτητη από t

για k=0 :Cov(Y t ,Y t)=Var (Y t)=σ 2=γΥ (0)

ασθενώς στάσιμη

Η συνάρτηση ρΥ (k )=γY (k )

γY (0)ονομάζεται συνάρτηση αυτοσυσχέτισης και ισχύει

−1⩽ ρΥ (k )⩽1 . Το διάγραμμα της ρΥ (k ) ως προς k ονομάζεται κορελλόγραμμα.




ρΥ (k )=∑

t=k+1

T

(Y t−Y )(Y t−k−Y )

∑t=1

T

(Y t−Y )2Δειγματική Συνάρτηση Αυτοσυσχέτισης

ρk=cov (Y t ,Y t−k)

√var (Y t)var (Y t−k )Αυτοσυνδιακύμανση

1

√TΤυπικό Σφάλμα

Έλεγχος Υπόθεσης για Αυτοσυσχέτισης

Η 0 : ρY (k )=0, k⩾1H 1 : ρY (k )≠0, k⩾1

αν ∣ρY (k )∣>2

√T απορρίπτουμε Η 0 υπόθεση σε επίπεδο σημαντικότητας α %

Διαχωρισμός wold (wold decomposition)

Αν μια διαδικασία y t είναι ασθενώς στάσιμη, τότε μπορεί να γραφεί ως y t=d t+∑j=0

+∞

ψ j ut− j

όπου

ψ0=1

∑j=0

+∞

ψ j2<+∞

u t δεν αυτοσυσχετίζονταιd t προσδιοριστική διαδικασία, δηλαδή θεωρείται προβλέψιμο

Αν d t=0 τότε y t=∑j−0

+∞

ψ j u t− j γραμμική διαδικασία, δηλαδή η σειριακή συσχέτιση της y t

καθορίζεται απόλυτα από την ακολουθία των συντελεστών {ψ j } j=0+∞

Μια ασθενώς στάσιμη χρονοσειρά {Υ t } είναι εργοδική όταν γ (k )=cov (Y t ,Y t−k)→0 καθώς

k→+∞




Ιεράρχηση στοχαστικών υποθέσεων χωρίς σειριακή συσχέτιση

E (u t)=0

E (u t2)=σ 2

E (u t us)=0, ∀ t≠s

λευκός θόρυβος

u t | I t ~ (0,σ 2)

I t=(ut ,u t−1 , ....) καιI t−1=(ut−1 ,u t−2 , ....)

περίπτωση “ακολουθίας διαφορών martingale”

u t ~ i.i.d (0, σ 2) ανεξάρτητος λευκός θόρυβος

u t ~ N.i.d (0,σ 2) Gaussian ανεξάρτητος λευκός θόρυβος

Αυτοπαλίνδρομο Υπόδειγμα πρώτης τάξης AR(1)

Έστω υπόδειγμα Y t=α+φY t−1+u t , u t λευκός θόρυβος

Λύνοντας προς τα πίσω προκύπτει:

Y t=α+φY t−1+ut

⇔ Y t=α+φ(α+φY t−2+ut−1)+ut

⇔ Y t=α+φα+φ2Υ t−2+φut−1+ut

⇔ ⋯

⇔ Y t=α∑j=0

t−1

φ j+φt Y 0+∑

j=0

t−1

φ j ut− j

όπου Υ 0 αρχική τιμή Υ για τ=0

Έστω |φ|<1 (συνθήκη στασιμότητας) και t→+∞

Τότε Υ t=α

1−φ+∑

j=0

+∞

φ j ut− j , γιατί για | x |<1ισχύει ∑j=0

+∞

x j=

11−x

και Ε (Y t)=α

1−φ+∑

j=0

+∞

φ j E (ut− j)=α

1−φ

και var (Y t)=σ u

2

1−φ2

και γY (k )=σ Υ2 φk (συνδιακύμανση)

Άρα ρY (k )=γΥ (k )

γΥ (0)=

σ Υ2 φk

σ Υ2=φk συνάρτηση αυτοσυνδιακύμανσης για AR(1)

Διαχωρισμός wold: y t=d t+∑j=0

+∞

ψ j ut− j , με ψ j=φ j




Αυτοπαλίνδρομο Υπόδειγμα τάξης p AR(p)

y t=α+φ1 y t−1+φ2 y t−2+…+φ p y t− p+u t , t=1,… ,T , ut λευκός θόρυβος

Η AR(p) διαδικασία μπορεί να γραφεί: φ(L) y t=α+u t

όπου φ(L)=1−φ1 L−φ2 L2−…−φ p L p , πολυώνυμο p τάξης του L

ΟΡΙΣΜΟΣ

Μια AR(p) διαδικασία είναι στάσιμη αν όλες οι ρίζες r j , για j=1,.... , p του πολυωνύμου

φ(L) βρίσκονται εκτός του μοναδιαίου κύκλου, δηλαδή αν φ(L j)=0 τότε πρέπει

|r j |>1∀ j

Προσοχή!

Αν κάποια ρίζα είναι μιγαδική, δηλαδή μπορεί να εκφραστεί ως r j=α±b i όπου α,b πραγματικοί

αριθμοί και i=√−1 τότε |r j |=√α2+b2

Αν Δ<0, η εξίσωση έχει δύο μιγαδικές ρίζες, z1,2=−β±i√−Δ

2α

Μη-Στασιμότητα

Μη-στάσιμες ονομάζονται οι χρόνοσειρές για τις οποίες τουλάχιστον μια ροπή τους (μέσος,

διακύμανση, αυτοσυνδιακύμανση, αυτοσυσχέτιση) εξαρτάται άμεσα από τον χρόνο.

H μη-στασιμότητα αναφέρεται στην άμεση εξάρτηση της αναμενόμενης τιμής και/ή της

διακύμανσης και/ή της συνάρτησης αυτοσυνδιακύμανσης μιας διαδικασίας από τον χρόνο. Οπτικά,

οι μη στάσιμες χρονοσειρές εμφανίζουν ορισμένα πρόδηλα χαρακτηριστικά.

1. Εμφάνιση έντονων δομών ή σχηματισμών (structures or patterns)

2. Εμφάνιση τάσεων (trends)

Παρακάτω δίνονται διαγραμματικά παραδείγματα στάσιμων και μη-στάσιμων χρονοσειρών.




Παραδείγματα μη στάσιμων χρονοσειρών

1. Στάσιμες γύρω από την τάση (trend stationary)

y t=β 0+ β1 t+ β 2 t2+…+ βk tk

+ut ή y t= f (t )+u t

με {ut } ασθενώς στάσιμη χρονοσειρά μηδενικού μέσου

Ε ( y t)=β 0+ β1 t+ β 2 t2+...+ β k t k

Var ( yt)=σ y2=σ u

2

Cov( y t , y t−k)=γ y(k )=γu(k )




H Μέθοδος της Μέγιστης Πιθανοφάνειας

Στο κλασσικό κανονικό μοντέλο οι διαταρακτικοί όροι U 1 ,U 2,. ..U N είναι ανεξάρτητες τυχαίες

μεταβλητές που ακολουθούν την κανονική κατανομή με μέσο μηδέν και διακύμανση σ 2. Άρα, ησυνάρτηση πυκνότητας του διαταρακτικού όρου είναι:

f (u i)=1

σ√(2π)αexp{−1

2(u i−0

σ )2

}Επομένως, η συνάρτηση πιθανοφάνειας του δείγματος είναι:

L=∏i=1

n1

σ√2πa exp{−1

2u1

2

σ2}ή

L=1

(2πσ2)N2

e{−12

∑i=1

N

u i2

σ 2 }Αντικαθιστούμε όπου ut=Y t−α−βX t οπότε

L=1

(2πσ2)N2

e {−12∑i=1

N

(Y t−α−βX t

σ )2

}είναι η συνάρτηση πιθανοφάνειας των παρατηρήσεων Y t του δείγματος.

Λογαριθμίζοντας προκύπτει:

log L=−T2

log 2π−Τ2

log σ2−

12⋅∑i=1

N

(Y t−α−βX t )

σ 2(1)

Αναζητούμε τις τιμές των α , β ,σ 2 που μεγιστοποιούν την παραπάνω συνάρτηση

∂ log L∂ α

=∑i=1

Ν

(Y−α−βX t)

σ 2 =0

∂ log L∂ β

=

∑i=1

Ν

(Y−α−βX t) Χ i

σ 2 =0

∂ log L∂ σ 2 =−

Ν2σ2+

12

∑i=1

N

(Y t−α−βX i)2

(σ 2)2 =0




Από τις δύο πρώτες εξισώσεις έχουμε :

∑i=1

N

Y i=n⋅α*+ β*∑

i=1

N

X i

∑i=1

N

Y i X i=α*∑ι=1

Ν

Χ i+ β*∑i=1

N

X i2

Όπου α* , β* οι εκτιμητές μέγιστης πιθανοφάνειας.Οι παραπάνω εξισώσεις είναι ίδιες με τισ κανονικές εξισώσεις που προκύπτουν από τη μέθοδο τωνελαχίστων τετραγώνων. Άλλωστε, μεγιστοποίηση της logL ως προς α και β, σημαίνει ελαχιστοποίησητου τελευταίου όρου, αφού είναι αρνητικός, δηλαδή ελαχιστοποίηση του αθροίσματος των τετραγώνων

των αποκλίσεων∑i=1

N

(Y i−α−βX i)2

Από την τρίτη εξίσωση έχουμε:

σ *2=

∑i=1

N

(Y t−α*−β* X i)

n,όπου σ*2 ο εκτιμητής διακύμανσης μέγιστης πιθανοφάνειας.

Επειδή οι μέγιστης πιθανοφάνειας εκτιμητές είναι ίδιοι με αυτούς των ελαχίστων τετραγώνων,

μπορούμε να πούμε:σ*2=∑i=1

N

u2

nα) σ *2 δεν είναι αμερόληπτος εκτιμητής της διακύμανσης σ2 δηλαδή Ε (σ*2)≠σ2

β) σ*2 είναι συνεπής eeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeeγ) σ*2 είναι ασυμπτωτικά αποτελεσματικός iiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiii

Γραμμικό Υπόδειγμα: Πολυμεταβλητή Παλινδρόμηση

Αντίθετα με το υπόδειγμα απλής γραμμικής παλινδρόμησης, εδώ η εξαρτημένη μεταβλητή είναι

συνάρτηση πολλών ερμηνευτικών μεταβλητών. Το υπόδειγμα γράφεται:

y i=β1+ β2 X 2, i+ β3 X 3,i+....+ βk X k ,i+u i , ∀ i

όπου i ο αριθμός των παρατηρήσεων

k ο αριθμός των μεταβλητών (θέτουμε Χ 1, i=1 )

Χ 2, i η i παρατήρηση της 2

δηλαδή,

y1=β1+ β2 X 2,1+ β3 X 3,1+....+ βk X k ,1+u1

y2=β1+ β2 X 2,2+ β3 X 3,2+....+ βk X k ,2+u2

y3=β1+ β2 X 2,3+ β3 X 3,3+....+ βk X k ,3+u3

⋮yn=β1+ β 2 X 2,n+ β3 X 3, n+....+ β k X k ,n+un

Με μήτρες το παραπάνω σύστημα μπορεί να γραφεί: y=Xβ+u




όπου y(nx1)=[y1

y2

⋮yn], X (nxk)=[

1 X 2,1 X 3,1 ... X k ,1

1 X 2,2 X 3,2 ... X k ,2

⋮ ⋮ ⋮ ⋮ ⋮1 X 2,n X 3, n ... X k ,n

], β(kx1)=[β1

β2

⋮β k], u(nx1)=[

u1

u2

⋮un]

ή y i= xi ' β+ui ή y i=β ' x i+ui όπου x i ' (1xk)=(1 X 2,1 … X k ,i)

Υποθέσεις

(1) Y i=β1+ β2 Χ2, i+β3 X3, i+...+βk X k ,i+ui(γραμμική σχέση μεταξύ Υ και Χ)

ui∼(0,σ2)

ui τυχαία μεταβλητήEui=0

(2) Eui2=σ 2σταθερή∀ Χ (E(u' u)=σ2 Ι ) (αλλιώς οδιαταρακτικός όρος είναι ετεροσκεδαστικός )

(3) Euiu j=0 για i≠ j(οι διαταρακτικοί όροι είναι ασυσχέτιστοι μεταξύ τους)

(4 ) Οι ερμηνευτικές μεταβλητές δεν είναι στοχαστικές, οι τιμές τους παραμένουν σταθερέςκαι δεν είναι όλες ίδιες μεταξύ τους

(5) Δεν υπάρχουν ακριβείς γραμμικές σχέσεις ανάμεσα στις ερμηνευτικές μεταβλητές(6) Ο αριθμός των παρατηρήσεων του δείγματος είναι μεγαλύτερος από τον αριθμό των συνετελστών

του υποδείγματος που θέλουμε να εκτιμήσουμε. Δηλαδή, r (X )=k (Αν δεν ισχύει αυτό τότε έχουμε πρόβλημα πολυσυγγραμικότητας)

Μέθοδος Ελαχίστων ΤετραγώνωνΘέλουμε να εκτιμήσουμε το παρακάτω γραμμικό υπόδειγμα:

Y i=β1+β2 Χ2, i+ β3 Χ3, i+.....+βκ Χκ ,i+ui

Η μέθοδος των ελαχίστων τετραγώνων βασίζεται στην ελαχιστοποίηση του αθροίσματος τωντετραγώνων των καταλοίπων, δηλαδή

min β S=∑i=1

n

u i2=u' u⇔

⇔S=( y−Χ β)' ( y−X β)⇔⇔S= y ' y− y ' X β− β ' Χ ' y+ β ' Χ ' Χ β⇔

⇔S= y ' y−2 β ' Χ ' y+ β ' Χ ' Χ β ,αφού y ' X β 1x1

Συνθήκες Πρώτης Τάξης




∂ S

∂ βa=0⇔−2X ' y+2X ' X β=0⇔ X ' X β=Χ ' y⇔ βΕΤ=(Χ ' Χ )−1 Χ ' y με

X ' X=[n ∑

i=1

n

X 1 ∑i=1

n

X 2 ... ∑i=1

n

X k

∑i=1

n

X 1 ∑i=1

n

X 12 ∑

i=1

n

X 1 X 2 ... ∑i=1

n

X 1 X k

∑i=1

n

X 2 ∑i=1

n

X 2 X 1 ∑i=1

n

X 22 ... ∑

i=1

n

X 2 X k

⋮ ⋮ ⋮ ... ⋮

∑i=1

n

X k ∑i=1

n

X k X 1 ∑i=1

n

X k X 2 ... ∑i=1

n

X k2] β=[

β1

β2

⋮

β k] X ' y=[

∑i=1

n

Y i

∑i=1

n

X 1Y i

∑i=1

n

X 2Y i

⋮

∑i=1

n

X k Y i

]Εναλλακτικά όταν χρησιμοποιούμε αποκλίσεις από τους μέσους ο εκτιμητής είναι:

β ΕΤ=(x ' x)−1(x ' y) με

x ' x=[∑i=1

n

x12 ∑

i=1

n

x1 x2 ... ∑i=1

n

x1 xk

∑i=1

n

x2 x1 ∑i=1

n

X 22 ... ∑

i=1

n

x2 xk

⋮ ⋮ ... ⋮

∑i=1

n

xk x1 ∑i=1

n

xk x2 ... ∑i=1

n

x k2 ] β=[

β1

β 2

⋮

βk] X ' y=[

∑i=1

n

Y i

∑i=1

n

X 1Y i

∑i=1

n

X 2Y i

⋮

∑i=1

n

X k Y i

]για να υπάρχει ο βΕΤ πρέπει r ( x)=k για να είναι η Χ'Χ βαθμού και άρα αντιστρέψιμη

Σημείωση!

1) Ο βαθμός (rank) μιας μήτρας Α ορίζεται ως η τάξη (ή οι διαστάσεις) της μεγαλύτερης

ορίζουσας που μπορεί να προκύψει από την Α και που είναι διαφορετική από το μηδέν και

συμβολίζεται με r(A). Αν η ορίζουσα μιας τετραγωνικής ρίζας Α είναι ίση με μηδέν, η μήτρα

ονομάζεται ιδιάζουσα.

2) Α−1αντίστροφη μήτραA−1 A=AA−1

=I

A−1=

1∣A∣

adj A

adj A (adjoint) είναι η ανάστροφη της μήτρας που έχει ως στοιχεία τις αντίστοιχες προσημασμένες ελάσσονες ορίζουσες της Α




πχ A=[1 3 52−1 42 1 3]

Οι προσημασμένες ελάσσονες ορίζουσες είναιP11=−7 P21=−4 P31=17

P12= 2 P22=−7 P32= 6P13= 4 P23= 5 P33=−7και∣A∣=19

άρα adj A=[−7 −4 17

2 −7 64 5 −7 ]

και A−1=

119 [−7 −4 17

2 −7 64 5 −7 ]

ΠαράδειγμαΈστω το υπόδειγμα Υ=Χ

nx1⋅Β

2x1+u όπου n=135 και

X ' X=[147,74 4,62854,6285 27,931]

X ' y=[169,3461,265]

Υπολογίστε τον εκτιμητή ΕΤ του βΛύση

βΕΤ=(Χ ' Χ )−1 Χ ' y

(X ' X )−1=

1∣X ' X∣

adj (X ' X )=1

4105,1029⋅[ 27,931 −4,6285−4,6285 147,74]=[ 0,0068 −0,00112

−0,00112 0,03598]β ΕΤ=[ 0,0068 −0,00112

−0,00112 0,03598]⋅[169,3461,265]=[1,0831

2,014 ]β1=1,0831

β2=2,014

Συνθήκες Δεύτερης Τάξης

πρέπει∂

2 S∂ β∂ β '

=2X ' X (θετικά ορισμένη)

Σημείωση Μια συμμετρική μήτρα Α διάστασης nxn είναι θετικά ορισμένη όταν ∀ n-διάστατο διάνυσμα x≠0ισχύει X ' AX >0

Γενικά οι εκτιμητές δίνονται από τις σχέσειςβΕΤ=(Χ ' Χ )−1 Χ ' y

σ2=1

n−k∑i=1

n

ui2=

u' un−k




Ιδιότητες Γραμμής Παλινδρόμησης

1. Χ ' u=0ΑπόδειξηAπό συνθήκες πρώτης τάξης X ' y−X ' X β=0⇒

Χ ' (Χ β+u)−X ' X β=0⇒X ' X β+X ' u−X ' X β=0⇒

X ' u=0

2. y ' u=0Απόδειξηy ' u=(X β) ' u= β ' Χ ' u= β '×0=0

3. β ΕΤ−β=( X ' X )−1 X ' u (σφάλμα δειγματοληψίας)Απόδειξη

β ΕΤ=(X ' X )−1 X ' y

(αντικαθιστώ με y=Xβ+u) β ET=(Χ ' Χ )−1 Χ ' (Χβ+u)

= (Χ ' Χ )−1 Χ ' Χ β+(X ' X )−1 X ' u= β+(X ' X )−1u

(αφαιρώ β κι από τα δύο μέλη) β ΕΤ−β=(X ' X )−1 X ' u

4. H αναμενόμενη τιμή του σφάλματος δειγματοληψίας είναι μηδένΑπόδειξηα) Αν οι ερμηνευτικές μεταβλητές δεν είναι στοχαστικές

E ( β ΕΤ− β )=Ε [(Χ ' Χ )−1u ]

(γιατί Χ σεν είναι στοχαστικές ) (X ' X )−1 X ' E (u)(γιατί Ε(u)=0) (X ' X )−1

×0=0β) Αν οι ερμηνευτικές μεταβλητές είναι στοχαστικέςE ( β ΕΤ−β | Χ )=Ε [(Χ ' Χ )−1 Χ ' u | X ]=(X ' X )−1 X ' E (u | X )=(X ' X )−1 X '×0=0

(γιατί Ε(u|Χ)=0)ΠΡΟΣΟΧΗ!Nόμος Επαναλαμβανομένων Προσδοκιών: Ε [Ε (Υ | Χ )]=Ε (Υ )Άρα Ε [Ε ( βΕΤ−β | Χ )]=Ε ( β ΕΤ−β)Επομένως, αφού Ε ( β ΕΤ−β | Χ )=0⇒ E [E ( β ΕΤ−β | Χ )]=Ε (0)⇒ E ( βΕΤ−β )=0⇒

(αφού Ε(β)=β ) E ( β ΕΤ )−Ε ( β )=0⇒ E ( β ΕΤ )=β

5. Var ( β ΕΤ )=Var ( β ET− β )=σ2(Χ ' Χ )−1

ΑπόδειξηVar ( β ΕΤ )=Var ( βET−β )

= Var ((X ' X )−1 X ' u)(Θέτω Α=(Χ ' Χ )−1 Χ ' ) =Var (Au)(Αφού Var aX=a2Var (X )) = A Var (u)A'

= Aσ2 Ι n A'=σ2 ΑΑ'

=σ 2(Χ ' Χ )−1 Χ ' Χ ((Χ ' Χ )' )−1

(αφού(Χ ' Χ )'=Χ ' (Χ ' ) '=(Χ ' Χ )) = σ 2(Χ ' Χ )−1




Gauss-markov

ΘΕΩΡΗΜΑ

Στο κλασσικό γραμμικό υπόδειγμα, οι εκτιμητές των συντελεστών που προκύπτουν από τη μέθοδο

των ελαχίστων τετραγώνων, δηλαδή, βΕΤ=(X ' X )−1 X ' y είναι άριστοι γραμμικοί αμερόληπτοι,

οι δε διακυμάνσεις και συνδιακυμάνσεις τους δίνονται από την σχέση: Var ( βΕΤ )=σ 2(Χ ' Χ )−1

Τα διαγώνια στοιχεία της μήτρας Var ( β ΕΤ ) δίνουν τις διακυμάνσεις των εκτιμητών

β1, β 2... βk , ενώ τα υπόλοιπα τις συνδιακυμάνσεις.

Var ( β ET )=Var ( β ET− β )=[Var ( β1) Cov ( β1, β2) ⋯ Cov ( β1, βk)

Cov( β 2, β1) Var ( β2) ⋯ ⋮

⋯ ⋯ ⋯ Cov( β k+1, β k)

Cov( βk , β1) ⋯ Cov( βk , βk−1) Var ( β k)]

H παραπάνω μήτρα λέγεται μήτρα διακυμάνσεων-συνδιακυμάνσεων, είναι συμμετρική και θετικά

ορισμένη.

Ισχύει ότι:

Var ( βΕΤ |Χ)=Var ( βΕΤ−β | Χ )=σ 2(Χ ' Χ )−1

καιVar ( βΕΤ−β )=E [Var ( β ΕΤ−β | Χ )]+Var [E ( βΕΤ−β | Χ )]

(αφού Ε ( βΕΤ−β | Χ )=0)

Var ( βΕΤ−β )=E [Var ( β ΕΤ−β | Χ )]=σ2 Ε [(Χ ' Χ )−1]

Απόδειξη

Θα αποδείξουμε ότι Var ( β)−Var ( β)⩾0 ( β αποτελεσματικός εκτιμητής)




Θέτω β=Cy=CXβ+Cu , όπου C k×n αυθαίρετη μήτραE ( β)=Ε (CXβ+Cu)=CX E ( β)+C E (u)=CXβ (αφού E(u)=0)

Για να είναι ο εκτιμητής αμερόληπτος πρέπει CX=I k

Τότε Ε ( β )=βΘέτω Α=(Χ ' Χ )−1 Χ 'άρα β=Ay και Var ( β−β )=σ 2 Α Α'ΈστωC=D+A=D+(X ' X )−1 X '∀D k×n

CX= I k⇒(D+A) X=I k⇒DX +AX=I k⇒DX +(X ' X )−1 X ' X= I k⇒DX− I k=I k⇒DX =0Επομένως πρέπει DX=0 έτσι ώστε ο εκτιμητής β να είναι αμερόληπτος

Var ( β)=Var ( β−β)=σ2 CC 'σ2(D+A)(D+A) '

σ 2(D+(X ' X )−1 X ' )(D+(X ' X )−1 X ' ) '

σ2(D+(X ' X )−1 X ' )(D '+X (X ' X )−1

)

σ 2(DX (X ' X )−1

+DD '+(X ' X )−1 X ' X (X ' X )−1+(X ' X )−1 X ' D ' )

σ2(DD '+(X ' X )−1

)

(αφού DX (X ' X )−1=0, X ' X (X ' X )−1

=I , (X ' X )−1 X ' D'=0)

Var ( β )−Var ( β )=σ 2(DD'+(X ' X )−1

)−σ2(Χ ' Χ )−1

=σ 2 DD '⩾0επειδή ∀Dk×n , DD '⩾0και D' D⩾0

O Eκτιμητής της διακύμανσης του διαταρακτικού όρου

O εκτιμητής σ 2=

u ' un−k

είναι αμερόληπτος εκτιμητής του σ2 , δηλαδή Ε ( σ 2)=σ 2

Απόδειξη

u=Y−Y=Y−X β=Y−X (X ' X )−1 X ' y=[ I n−X (X ' X )−1 X ' ]× y

Θέτω Μ=Ι−Χ (Χ ' Χ )−1 Χ 'Με

ΜΧ=0 (MX=[ I−X (X ' X )−1 X ' ] X=X−X=0)M ' M=M ([ I−X (X ' X )−1 X ' ] ' [ I−X (X ' X )−1 X ' ]=[ I−X (X ' X )−1 X ' ][ I−X (X ' X )−1 X ' ]=M )άρα ισχύει u=My=M (Xβ+u)=MXβ+Μu

E ( u ' u)=E [(Mu)' Mu ]=E (u ' M ' Mu)=E (u ' Mu)=(επειδή Μ 1×1) = E [tr (u ' Mu )]=E [tr (Muu ' )]=tr [M E (uu ' )]=




(από υπόθεση E (u ' u)=σ 2 Ι ) = tr [M σ2 I n]=tr (σ2 Μ )=σ2 tr (M )=σ2 tr [ I n−X (X ' X )−1 X ' ]=

σ 2 tr ( I n)−tr [X (X ' X )−1 X ' ]=σ 2[ tr( I n)−tr ( I k )]=σ2

(n−k )

άρα E( u' un−k )=σ2

⇒ E ( σ2)=σ 2

(αμερόληπτος εκτιμητής)

Σημείωση!

Ορισμός: Το ίχνος (tr) του πίνακα ορίζεται ως το άθροισμα των διαγωνίων στοιχείων του πίνακα

(τετραγωγικού)

Ιδιότητες:

1. tr (A)1×1= A

1×1

2. tr (A+B)=tr(A)+tr (B)

3. tr (λ⋅A)=λ⋅tr (A) , λ∈ℝ

4. tr (A⋅B⋅C )=tr (B⋅C⋅A)=tr (C⋅A⋅B) , A , B ,C τετραγωνικοί πίνακες

Ορισμός: Ένας εκτιμητής ονομάζεται συνεπής (consistent) αν είναι ασυμπτωτικά αμερόληπτος,

δηλαδή,

limn→∞

E( β )=β ,και η διασπορά τείνει στο μηδέν καθώς το n τείνει στο άπειρο, δηλαδή,

limn→∞

Var ( β )=0,

Στατιστική Επαγωγή

Έλεγχος Υπόθεσης ( β j=αριθμός)

Η 0: β j=αριθμόςΗ 1: β j≠αριθμός

ΒΗΜΑ 1: Υπολογίζουμε t student στατιστική

t=β j−β j

σ √ [(X ' X )−1] jj∼t n−k

όπου σ 2=

u ' un−k

BHMA 2: Συγκρίνουμε την τιμή της με την κριτική τιμή από τους πίνακες της t-student κατανομήςμε n-k βαθμούς ελευθερίαςΑν ∣t∣⩽t n−k

a/2 δεν απορρίπτουμε Η 0

Αν ∣t∣>t n−ka / 2 απορρίπτουμε Η 0




Προσοχή!

Η εκτίμηση του τυπικού σφάλματος se ( β j)=√ Var ( β j) δίνεται από τη ρίζα του j στοιχείου της

κύριας διαγωνίου της μήτρας σ 2(X ' X )−1

To 100(1-α)% διάστημα εμπιστοσύνης:

P [ β j−t n−ka /2⋅σ √[(X ' X )−1

] jj⩽β j⩽ β j+ tn−ka /2⋅σ √[(X ' X )−1

] jj ]

Έλεγχος Γραμμικής Υπόθεσης

Η υπόθεση που θέλουμε να ελέγξουμε μπορεί να μην είναι έλεγχος μεμονωμένων συντελεστών,

αλλά ένας γραμμικός συνδυασμός αυτών, γραμμένος σε σύστημα εξισώσεων:

Η 0: Rβ=r ή Η 0 : Rβ−r=0

όπου R είναι μία q×k μήτρα με q⩽k και q ο αριθμός των γραμμικών περιορισμών και

r είναι ένα q×1 διάνυσμα σταθερών όρων

Προσοχή!

1. Η ανάλυση αυτή δεν ισχύει σε περίπτωση μη-γραμμικών ελέγχων

2. Το q προκύπτει από τη μέτρηση του αριθμού των ισοτήτων στους περιορισμούς

3. Οι περιορισμοί πρέπει να είναι γραμμικά ανεξάρτητοι

4. Η R πρέπει να είναι πλήρους γραμμοβαθμοί (full rank), δηλαδή r(R)=q

Παράδειγμα

Δίνεται το παρακάτω υπόδειγμα:

log(W i)=β1+ β2 S i+ β3 Y i+ β4 expi+ui

όπου W i =μισθμός S i =χρόνια εκπαίδευσης Υ i =χρόνια εργασίας στην τωρινή εργασίαexpi =συνολικά χρόνια προϋπηρεσίας

με k=4 ανεξάρτητες μεταβλητές

Θέλουμε να ελέγξουμε τους περιορισμούς β2=β3 και β4=0ή αλλιώς β2−β3=0 και β4=0




Οι περιορισμοί αυτοί μπορούν να γραφούν ως Rβ=r

R=[0 1 −1 00 0 0 1 ], β=[

β1

β2

β3

β4], r=[oo]

Οι δύο γραμμές του R είναι ανεξάρτητες μεταξύ τους, επομένως η υπόθεση του βαθμού του πίνακα

ικανοποιείται.

Έστω τώρα ότι θέλουμα να προσθέσουμε κι άλλον περιορισμό. Τον β2−β3=β4 . Ο περιορισμός

αυτός είναι περιττός, γιατί ισχύει πάντα όταν ισχύουν οι δύο προηγούμενοι. Αν τον εισάγουμε στο

σύστημα έχουμε q=3 και

R=[0 1 −1 00 0 0 10 1 −1 −1], β=[

β1

β 2

β3

β 4], r=[

000]

Η 3η γραμμή είναι η διαφορά των δύο πρώτων και κατά δυνέπεια η R δεν είναι πλήρους

γραμμοβαθμού και κατά συνέπεια η υπόθεση του βαθμού του πίνακα δεν ικανοποιείται.



econometrics

Documents

covx i

et i ui y i

nx i2o i

uie y i

uiy y i

i6v y i

i ui ui0

et y i ui