lecture 4 modul 1 2019-2020

1

Классическая линейная регрессия.

Проверка гипотез о конкретном

значении коэффициентов регрессии.

Лекция по эконометрике № 4

Демидова

Ольга Анатольевна

https://www.hse.ru/staff/demidova_olga

E-mail:[email protected]

23.09.2019

2

•Классическая линейная регрессия

•Проверка гипотез о конкретном значениикоэффициентов парной регрессии

•Доверительные интервалы длякоэффициентов парной регрессии

•Прогнозирование по модели парной регресии

•Доверительные интервалы для среднего ииндивидуального прогноза

•Проверка нормальности распределения

План лекции № 4

3

ε – сумма влияния многих факторов, каждый из которых

незначительно влияет на Y. По Центральной предельной

теореме такая случайная величина имеет нормальное

распределение.

Классическая линейная регрессия

Y = 0 + 1X + ε

4


Если εi , i = 1,…,n распределены нормально,

т.е. εi ~ N(0, σε2),

То оценки параметров β0 и β1 тоже распределены

нормально, причем

2

1

2

1

2

00 ,~ˆ

n

i

i

n

i

i

xn

X

N

n

i

ix

N

1

2

2

11 ,~ˆ

niXXxгде ii

,...,1,

5


Дисперсия возмущений σε2 неизвестна, для нее

используется оценка

^

Случайная величина имеет распределение

2

2

n

RSS

2

RSS

)2(2 n

6


2ˆ00

0,~ˆ

N

2

1

2

1

2

2ˆ

0

n

i

i

n

i

i

xn

X

7


,,~ˆ 2

ˆ111

N

n

i

ix1

2

22ˆ

1

),1,0(~ˆ

1ˆ

11 N

n

i

ix1

2

22ˆ

ˆˆ

1

???,~ˆ

ˆ

1ˆ

11

2

2

2ˆ

2ˆ ˆˆ

1

1

8


,2

ˆ2

n

RSS ),2(~ 2

2n

RSS

),2(~)2(ˆ 2

2

2

nn

2

2

2ˆ

2ˆ ˆˆ

1

1

),2(~)2(ˆ

2

2ˆ

2ˆ

1

1 nn

9


kk

Nkt

/)(

)1,0(~)(

2???,~

ˆ

ˆ

1ˆ

11

),2(~

)2(

)2(ˆ

ˆ

ˆ

ˆ

2ˆ

2ˆ

ˆ

11

ˆ

11

1

1

1

1

nt

n

n

10

Проверка гипотез состоит из

•Выбора основной и альтернативной гипотезы

•Вычисления некоторой тестовой статистики

•Выбора уровня значимости α (числа между 0 и 1),

Самые распространенные уровни значимости 0.05 и

0.01

•Разбиения множества значений тестовой статистики

на две области: там, где основная гипотеза

отвергается и там, где основная гипотеза не

отвергается

Проверка гипотез

11

Модель: Y = 0 + 1X + ε

Нулевая гипотеза:

Альтернативная гипотеза:

Проверка гипотез о конкретном значении

коэффициентов регрессии при двусторонней

альтернативной гипотезе

0

110 : H

0

111 : H

12

Сначала необходимо оценить по n наблюдениям модель:

Если нулевая гипотеза не отвергается, то тестовая статистика


коэффициентов регрессии при двусторонней

альтернативной гипотезе

Имеет t – распределение с (n – 2) степенями свободы.

XY 10ˆˆˆ

)2(~)ˆ.(.

ˆ

1

0

11

ntes

t

13

t Distribution: Critical values of t

Degrees of Two-tailed test 10% 5% 2% 1% 0.2% 0.1%

freedom One-tailed test 5% 2.5% 1% 0.5% 0.1% 0.05%

1 6.314 12.706 31.821 63.657 318.31 636.62

2 2.920 4.303 6.965 9.925 22.327 31.598

3 2.353 3.182 4.541 5.841 10.214 12.924

4 2.132 2.776 3.747 4.604 7.173 8.610

5 2.015 2.571 3.365 4.032 5.893 6.869

… … … … … … …

… … … … … … …

18 1.734 2.101 2.552 2.878 3.610 3.922

19 1.729 2.093 2.539 2.861 3.579 3.883

20 1.725 2.086 2.528 2.845 3.552 3.850

… … … … … … …

… … … … … … …

120 1.658 1.980 2.358 2.617 3.160 3.373

1.645 1.960 2.326 2.576 3.090 3.291

Таблицы для t - распределения

14

Правило принятия решения при двусторонней

альтернативной гипотезе и уровне значимости α:

Нулевая гипотеза отвергается

если

Функция плотности

распределения t(n-2)

crtt 2/

0

110 : H

2/2/

crt 2/crt 2/

Серым цветом выделена область отвержения нулевой гипотезы

при двусторонней альтернативной гипотезе.

15

Модель

Проверка гипотезы о значимости коэффициента

0: 10 H

2/2/

crt 2/crt 2/

0: 11 H

)ˆ.(.

ˆ

1

1

es

t

XY 10

Если нулевая гипотеза отвергается, то говорят, что коэффициент

значим. Если нулевая гипотеза не отвергается, то коэффициент

называется незначимым. Серым цветом выделена область

отвержения нулевой гипотезы.

11

16


Проверка гипотезы о значимости коэффициента.

t - статистика

t – статистика коэффициента наклона выделена красным

цветом.

. reg EARNINGS S

Source | SS df MS Number of obs = 570

---------+------------------------------ F( 1, 568) = 65.64

Model | 3977.38016 1 3977.38016 Prob > F = 0.0000

Residual | 34419.6569 568 60.5979875 R-squared = 0.1036

---------+------------------------------ Adj R-squared = 0.1020

Total | 38397.0371 569 67.4816117 Root MSE = 7.7845

------------------------------------------------------------------------------

EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]

---------+--------------------------------------------------------------------

S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206

_cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347

------------------------------------------------------------------------------

17

Модель

P – VALUE (P – Значение) для проверки гипотезы о

значимости коэффициента

0: 10 H

2/valuep 2/valuep

tt

0: 11 H

)ˆ.(.

ˆ

1

1

es

t

XY 10

P – value – минимальный уровень значимости, при котором

нулевая гипотеза отвергается. На рисунке это площадь всей

заштрихованной области.

H

18


P-value

В таблице выделены P-value для проверки гипотез о значимости

коэффициентов регрессии.

. reg EARNINGS S


---------+------------------------------ F( 1, 568) = 65.64

Model | 3977.38016 1 3977.38016 Prob > F = 0.0000


---------+------------------------------ Adj R-squared = 0.1020

Total | 38397.0371 569 67.4816117 Root MSE = 7.7845

------------------------------------------------------------------------------


---------+--------------------------------------------------------------------

S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206

_cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347

------------------------------------------------------------------------------

19


Связь P-value и уровня значимости α.

Если P-value коэффициента регрессии меньше, чем выбранный

уровень значимости α, то нулевая гипотеза отвергается и

соответствующий коэффициент является значимым. В

приведенном примере при любом разумном уровне значимости

константа незначима, а коэффициент наклона значим.

. reg EARNINGS S


---------+------------------------------ F( 1, 568) = 65.64

Model | 3977.38016 1 3977.38016 Prob > F = 0.0000


---------+------------------------------ Adj R-squared = 0.1020

Total | 38397.0371 569 67.4816117 Root MSE = 7.7845

------------------------------------------------------------------------------


---------+--------------------------------------------------------------------

S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206

_cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347

------------------------------------------------------------------------------

20


Основная гипотеза:



коэффициентов регрессии при односторонней

альтернативной гипотезе (>)

0

110 : H

0

111 : H

21


коэффициента регрессии при односторонней

альтернативной гипотезе (>)

Правило отвержения нулевой гипотезы при

односторонней альтернативной гипотезе (>)

и уровне значимости α .

Основная гипотеза

отвергается, если


распределения t(n-2)crtt

0

110 : H

crt


при односторонней альтернативной гипотезе (>)

22


Основная гипотеза:




альтернативной гипотезе (<)

0

110 : H

0

111 : H

23



альтернативной гипотезе (<).

Правило отвержения нулевой гипотезы при

односторонней альтернативной гипотезе (<)

и уровне значимости α .

Основная гипотеза

отвергается, если


распределения t(n-2)crtt

0

110 : H

crt


при односторонней альтернативной гипотезе (<).

24

Найдем множество всех значений параметра β1 , гипотеза о

равенстве которым при заданном уровне значимости α и

двусторонней альтернативной гипотезе не отвергается.

Доверительные интервалы для оценок

коэффициентов регрессии

1ˆ

25

Гипотеза H0: β1 = β10 не отвергается, если |t| ≤ tα/2

cr, где

т.е. или

откуда



)ˆ.(.

ˆ

1

0

11

est

crtes

2/

1

0

11

)ˆ.(.

ˆ

)ˆ.(.ˆ12/

0

11 est cr

)ˆ.(.ˆ)ˆ.(.ˆ12/1

0

112/1 estest crcr

26

(1-α)100% доверительный интервал для

коэффициента наклона β1 имеет вид:



)ˆ.(.ˆ)ˆ.(.ˆ12/1112/1 estest crcr

27

Модель: Y = 0 + 1X + u



В последней колонке – 95% доверительные интервалы для

коэффициентов регрессии.

. reg EARNINGS S


---------+------------------------------ F( 1, 568) = 65.64

Model | 3977.38016 1 3977.38016 Prob > F = 0.0000


---------+------------------------------ Adj R-squared = 0.1020

Total | 38397.0371 569 67.4816117 Root MSE = 7.7845

------------------------------------------------------------------------------


---------+--------------------------------------------------------------------

S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206

_cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347

------------------------------------------------------------------------------

28

Модель: Y = 0 + 1X + u

Проверка значимости коэффициентов с помощью

доверительных интервалов

Если 0 принадлежит доверительному интервалу для

коэффициента, то этот коэффициент является незначимым.

В приведенном примере коэффициент β0 незначим, а

коэффициент β1 - значим.

. reg EARNINGS S


---------+------------------------------ F( 1, 568) = 65.64

Model | 3977.38016 1 3977.38016 Prob > F = 0.0000


---------+------------------------------ Adj R-squared = 0.1020

Total | 38397.0371 569 67.4816117 Root MSE = 7.7845

------------------------------------------------------------------------------


---------+--------------------------------------------------------------------

S | 1.073055 .1324501 8.102 0.000 .8129028 1.333206

_cons | -1.391004 1.820305 -0.764 0.445 -4.966354 2.184347

------------------------------------------------------------------------------

29

Прогнозирование по модели парной регрессии

121

)var()ˆ,ˆcov(2

)ˆvar()ˆvar()evar(

)ˆ()ˆ(ˆe

прогноза ьногоиндивидуал Ошибка

ˆˆˆ

?XдляПрогноз

,...,1,

1

2

1

1

2

2

1

1

2

22

1101

1

2

101n

111100111n

1101

11101

1n

10

n

i

i

n

n

i

i

n

n

i

i

nn

n

nnnn

nn

nnn

iii

x

XX

x

X

x

X

n

X

X

XYY

XY

XY

niXY

30


n

i

i

n

n

i

i

n

n

i

i

n

n

i

i

x

XX

n

x

XX

x

X

x

X

n

1

2

2

12

1

2

1

1

2

2

1

1

2

22

1n

)(11

121

)evar(

31


)2(~

)(11ˆ

ˆ

)1,0(~

)(11

ˆ

1

2

2

12

11

1

2

2

12

11

nt

x

XX

n

YY

N

x

XX

n

YY

n

i

i

n

nn

n

i

i

n

nn

32


2ˆ

,)(1

1ˆˆˆ

прогноза ьногоиндивидуал для интервал ныйДоверитель

2

1

2

2

12

2/110

n

RSS

x

XX

ntX

n

i

i

nn

33


n

i

i

n

n

i

i

n

n

i

i

n

n

nnn

nn

nn

nnn

x

XX

x

X

x

X

n

X

X

XYYE

XY

XYE

XY

1

2

1

1

2

2

1

1

2

22

101

1

2

101n

11100111n

1101

1101

11101

21

)ˆ,ˆcov(2

)ˆvar()ˆvar()e~var(

)ˆ()ˆ(ˆ)(e~

прогноза среднего"" Ошибка

прогноз средний""ˆˆˆ

)(

прогноз ьныйиндивидуал

34


2ˆ

,)(1

ˆˆˆ

прогноза среднего"" для интервал ныйДоверитель

2

1

2

2

12

2/110

n

RSS

x

XX

ntX

n

i

i

nn

35

35

Тестирование регрессионных

остатков на нормальность

распределения

36

36

Проверка нормальности распределения остатков

Визуальный анализ

•Сравнение гистограммы остатков с гистограммой

нормального распределения0

.2.4

.6D

en

sity

-4 -2 0 2 4resi1

Density

density

37

37


Визуальный анализ

Q-Q plot (Q-norm plot)

-40

00

-20

00

02

00

04

00

06

00

0R

esid

uals

-4000 -2000 0 2000 4000Inverse Normal

38

38


Тест Jarque-Bera

(.,.):

.)(.,~:

1

0

NeH

NeH

i

i

)2(~)3(4

1

6

222

kskn

JB

Sk – skewness, k – kurtosis (нормированные третий и

четвертый центральные моменты)

n

1i4

4

i

2n

1i

2n

1i3

3

i

ˆ

)(X1

;)(1

ˆ;ˆ

)(X1

X

nk

XXn

X

nsk i

39

39


Недостаток: Тест Jarque-Bera применим только при

большом числе наблюдений, при малом следует

использовать тест Шапиро – Уилка.

Весьма популярным является тест Колмогорова-

Смирнова проверки нормадбности.

lecture 4 modul 1 2019-2020

Documents