regresi%25c3%25b3n%2blineal%2bsimple

Facultad de Economa y Negocios FEN-1

Vctor Hugo Gonzlez Jaramillo, PhD ( c ) Regresin Lineal Simple

Copyright 2011 Pearson Education, Inc. publishing as Prentice Hall 13-1

Anlisis de Regresin Lineal Simple

Vctor Hugo Gonzlez J. PhD (c)

Mtodos Estadsticos III


Objetivos de Aprendizaje

Objetivos: Como usar el anlisis de regresin para predecir el

valor de una variable dependiente basado en una variable independiente.

El significado de los coeficientes de regresin b0 y b1 Como evaluar las asunciones del anlisis de regresin

y conocer que hacer si las asunciones son violadas. Realizar inferencias acerca de la pendiente y el

coeficiente de correlacin. Estimar los valores medios y predecir valores

individuales.


Correlacin vs. Regresin

Un diagrama de dispersin puede ser usado para mostrar las relaciones entre las dos variables.

El anlisis de Correlacin es usado para medir la fuerza de asociacin (relacin lineal) entre las dos variables. La correlacin es pertinente solamente con la fuerza

de la relacin. El efecto causal no se da con la correlacin. Diagramas de dispersin y Correlacin fueron vistos

en Mtodos estadsticos I.


Introduccin al Anlisis de Regresin

El anlisis de relacin es usado para: Predecir el valor de una variable dependiente basado

en el valor de por lo menos una variable independiente.

Explicar el impacto de cambios en una variable independiente sobre la variable dependiente.

Variable Dependiente: La variable que deseamos predecir o explicar

Variable Independiente: La variable usada para predecir o explicar la variable dependiente.


Modelo de Regresin Lineal Simple

Solamente una variable independiente, X

Relacion entre X y Y es descrita por una funcin lineal.

Cambios en Y son asumidos a ser relacionados a cambios en X.


Tipos de Relaciones

Y

X

Y

X

Y

Y

X

X

Relaciones lineales Relaciones curvilineas




Tipos de Relaciones

Y

X

Y

X

Y

Y

X

X

Fuertes relacin Baja Relacin


Tipos de Relaciones

Y

X

Y

X

Ninguna Relacin


ii10i XY Componente Lineal


Interseccin Poblacional Y

Coeficiente de Pendiente Poblacional

Trmino de error aleatorio

Variable Dependiente

Variable independiente

Componente del Error Aleatorio


Error aleatorio para este valor de Xi

Y

X

Valor observado de Y para Xi

Valor de prediccin de Y

para Xi

ii10i XY

Xi

Pendiente = 1

Intercepcin = 0

i



i10i XbbY

La ecuacin de regresin lineal simple provee un estimado de la lnea poblacional de regresin

Ecuacin de regresin lineal simple (Lnea de Prediccin)

Valor estimado de la interseccin

Valor estimado de la pendiente

Estimado (o predecido) valor Y para la observacin i

Valor de X para la observacin i


The Least Squares Method

b0 y b1 son obtenidos al encontrar los valores que minimizan la suma de las diferencias de los cuadrados entre Y and :

2i10i

2ii ))Xb(b(Ymin)Y(Ymin

Y




Encontrando la Ecuacin de los mnimos cuadrados

Los coeficientes b0 y b1 , y otros resultados de regresin, sern encontrados con Excel.

Formulas son mostradas a continuacin


b0 es el valor estimado promedio de Y cuando el valor de X es cero

b1 es el cambio estimado en el valor promedio de Y como un resultado de una-unidad en incremento en X

Interpretacin de la pendiente y la intercepcin


Ejemplo de Regresin Lineal Simple

Un agente de bienes races desea examinar la relacin entre el precio de venta de una casa y su tamao (medido en pies cuadrados)

Una muestra aleatoria de 10 casas es seleccionada Variable dependiente(Y) = Precios de casas en

$1000s Variable independiente(X) = Pies cuadrados


DatosPrecio Casa $1000s

(Y)Pies Cuadrados

(X)245 1400312 1600279 1700308 1875199 1100219 1550405 2350324 2450319 1425255 1700


0

50

100

150

200

250

300

350

400

450

0 500 1000 1500 2000 2500 3000

Hou

se P

rice

($10

00s)

Square Feet

Diagrama de Dispersin

House price model: Scatter Plot


Usando funciones de Excel

1. Choose Data 2. Choose Data Analysis

3. Choose Regression




Usando Funcin de Anlisis de Datos en Excel

Entre Ys y Xs y opciones deseadas


Usando PHStatAdd-Ins: PHStat: Regression: Simple Linear Regression


Excel Output

Regression Statistics

Multiple R 0.76211

R Square 0.58082

Adjusted R Square 0.52842

Standard Error 41.33032

Observations 10

ANOVAdf SS MS F Significance F

Regression 1 18934.9348 18934.9348 11.0848 0.01039

Residual 8 13665.5652 1708.1957

Total 9 32600.5000

Coefficients Standard Error t Stat P-value Lower 95% Upper 95%

Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Square Feet 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

La Ecuacin de regresin es:

cuadrados) (Pies 0.10977 98.24833 casa la de Precio


050

100150200250300350400450

0 500 1000 1500 2000 2500 3000

Square Feet

Hous

e Pr

ice

($10

00s)

Representacin Grfica

Modelo Precio Casa: Diagrama Dispersin y la lnea de prediccin

cuadrados) (Pies 0.10977 98.24833 Casa la de Precio

Pendiente= 0.10977

Interseccin= 98.248


Interpretacin de bo

b0 es el valor estimado promedio de Y cuando el valor de X es cero (si X = 0 esta en el rango de valores observados de X)

Porque una casa no puede tener un valor de pies cuadrados de 0, b0 no tiene aplicacin prctica

cuadrados) (Pies 0.10977 98.24833 Casa Precio


Interpretando b1

b1 estima el cambio en el valor promedio de Y como el resultado del incremento de una unidad en X Aqu, b1 = 0.10977 nos dice que el valor medio de

una casa se incrementa por 0.10977($1000) = $109.77, en promedio, por cada pie cuadrado de superficie.

cuadrados) (pies 0.10977 98.24833 casa precio




317.850)0.1098(200 98.25cuadrado) (pie 0.1098 98.25 Casa Precio

Predecir el precio de una casa con 2000 pies cuadrados:

El precio para una casa con 2000 pies cuadrados es de 317.85($1,000s) = $317,850

Realizando predicciones


050

100150200250300350400450

0 500 1000 1500 2000 2500 3000

Square Feet

Hous

e Pr

ice

($10

00s)

Realizando predicciones Cuando usamos un modelo de regresin para prediccin,

solamente se predice sobre un rango relevante.

Rango revelante para interpolacin

No tratar de extrapolar ms all del rango

observado de Xs


Medidas de variacin

La variacion total est en 2 partes:

SSE SSR SST Suma total

de cuadrados

Suma de cuadrados de

regresin

Suma de cuadrados del

error

2i )YY(SST 2ii )YY(SSE 2i )YY(SSRdonde:

= valor medio de la variable dependiente

Yi = valor observado de la variable dependiente= valor predecido de Y para un dado valor de XiiY

Y


SST = Suma de cuadrados totales (Variacin Total)

Medidas de variacin de los valores de Yi alrrededor de la media Y

SSR = Suma de cuadr. Regresion (Variacin explicada)

Variacin atribuble a la relacin entre X y Y

SSE = Suma de cuadrado del error (Variacin no explicada)

Variacin en Y atribubles a otros factores diferentes a X

Medidas de variacin


Xi

Y

X

Yi

SST = (Yi - Y)2SSE = (Yi - Yi )2

SSR = (Yi - Y)2

__

_Y

Y

Y_Y

Medidas de variacin


El coeficiente de determinacin es la porcin de la variacin total en la variable dependiente que es explicada por la variacin en la variable independiente.

El coeficiente de variacin es tambin llamado r-squared y es denotado como r2

Coeficiente de determinacin, r2

1r0 2 note: totalescuadr. de suma

regresin cuadr. de suma2 SSTSSRr




r2 = 1

Valores de r2 aproximados

Y

X

Y

X

r2 = 1

r2 = 1

Perfect linear relationship between X and Y:

100% of the variation in Y is explained by variation in X



Y

X

Y

X

0 < r2 < 1

Dbil relacin lineal entre X y Y:

Algunos pero no todas las variaciones en Y es explicada con las variaciones en X



r2 = 0

No hay relaciones lineales entre X y Y:

El valor de Y no depende de X. (Ninguna de la variacin en Y es explicada por la variacin en X)

Y

Xr2 = 0


Ejemplo de un modelo de regresin lineal simple: Coeficiente de determinacin, r2 en Excel


Multiple R 0.76211

R Square 0.58082



Observations 10


Regression 1 18934.9348 18934.9348 11.0848 0.01039

Residual 8 13665.5652 1708.1957

Total 9 32600.5000


Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Square Feet 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

58.08% de la variacin en precios casa es explicada por

la variacin en pies cuadrados

0.5808232600.500018934.9348

SSTSSRr 2


Error estandar de la estimacin

La desviacin estndard de la variacin de las observaciones alrrededor de la lnea de regresin es estimado por:

2

)(

21

2

n

YY

nSSES

n

iii

YX

Donde:SSE = Suma de cuadr. Del error

n = tamao muestral


Error estndar del estimado en Excel


Multiple R 0.76211

R Square 0.58082



Observations 10


Regression 1 18934.9348 18934.9348 11.0848 0.01039

Residual 8 13665.5652 1708.1957

Total 9 32600.5000


Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Square Feet 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

41.33032SYX




Comparando errores estndar

YY

X XYXS small YXS large

SYX es una medida de la variacin de los valores observados de Y desde una lnea de regresin

La magnitud de SYX debe siempre ser tomada con respecto al tamao de los valores de Y values en los datos muestrales.

i.e., SYX = $41.33K es moderadamente pequeo relativo al precio de las casas en el rango de $200K - $400K


Asunciones de regresinL.I.N.E

Linealidad La relacin entre X y Y es lineal

Independencia de los errores Valores de los errores son estadisticamente independientes

Normalidad del Error Los valores de los errores son normalmente distribudos para

cualquier X Equal o Igual Varianza (tambin llamado homocedasticidad)

La distribucin de probabilidad de los errores tiene varianza constante.


Anlisis Residual

El residual para la observacin i, ei, es la diferencia entre el valor observado y el predecido.

Se chequean las asunciones de la regresin examinando los residuos. Linealidad Evaluar independencia Evaluar normalidad Examinar varianza constante en todos los niveles de X

(homocedasticidad)

Anlisis grfico de los residuos Graficar residuos vs. X

iii YYe


Anlisis para linealidad en los residuos

Not Linear Linearx

resi

dual

s

x

Y

x

Y

x

resi

dual

s


Anlisis de residuos para independencia

Not IndependentIndependent

X

Xresi

dual

s

resi

dual

s

X

resi

dual

s


Normalidad

Examinar el Stem-and-Leaf Display de los residuos

Examinar el Boxplot of the Residuals Examinar el Histogram of the Residuals Construir un grfico de la probabilidad Normal

de los Residuos




Anlisis de normalidad de los residuos

Percent

Residual

Cuandose usa un normal probability plot, los errores normales se grafican en una lnea recta

-3 -2 -1 0 1 2 3

0

100


Anlisis de residuos para igual varianza

Non-constant variance Constant variancex x

Y

x x

Y

resi

dual

s

resi

dual

s


House Price Model Residual Plot

-60

-40

-20

0

20

40

60

80

0 1000 2000 3000

Square Feet

Res

idua

ls

Excel Output de los residuos

RESIDUAL OUTPUT

Predicted House Price Residuals

1 251.92316 -6.923162

2 273.87671 38.12329

3 284.85348 -5.853484

4 304.06284 3.937162

5 218.99284 -19.99284

6 268.38832 -49.38832

7 356.20251 48.79749

8 367.17929 -43.17929

9 254.6674 64.33264

10 284.85348 -29.85348No parece violar ninguna asuncin de

regresinCopyright 2011 Pearson Education, Inc. publishing as Prentice Hall 13-46

Usado cuando los datos son tomados sombre un tiempo para detectar si la autocorrelacin est presente

Autocorrelacin existe si los residuos en un perodo de tiempo estn relacionados a los residuos en otro perodo de tiempo

Medida de Autocorrelacin:Durbin-Watson Statistic


Autocorrelacin

Autocorrelacin es la correlacin de los errores (residualess) sobre el tiempo

Viola la asuncin de regresin que los residuos son aleatorios e independientes

Time (t) Residual Plot

-15-10

-505

1015

0 2 4 6 8

Time (t)

Res

idua

ls

Aqu, Los residuos tienen tendencia cclica, no aleatoria. Tendencia cclica son signos de autocorrelacin positiva


The Durbin-Watson Statistic

n1i

2i

n

2i

21ii

e

)ee(D

El rango est entre 0 D 4 D debera estr cerca a 2 si H0 es verdad

D menor que 2 puede dar seal positiva de autocorrelacin , D mayor que 2 puede ser seal de autocorrelacin negativa

Durbin-Watson statistic es usado para probar autocorrelacin

H0: residuos no son correlacionadosH1: autocorrelacin positiva est presente




Prueba para Autocorrelacin Positiva

Calcular Durbin-Watson statistic = D (Durbin-Watson Statistic usando Excel o Minitab)

Regla de Decisin: reject H0 if D < dL

H0: No existe autocorrelacin positiva

H1: autocorrelacin positiva est presente

0 dU 2dL

Rechazar H0 No rechazar H0

Encontrar los valores dL and dU desde la tabla Durbin-Watson(para muestras de tamao n y nmero de variables independientes k)

No concluyente


Supongase que tenemos la siguiente serie de tiempo:

Existe Autocorrelacin?

y = 30.65 + 4.7038x R2 = 0.8976

0

20

40

60

80

100

120

140

160

0 5 10 15 20 25 30

Tim e

Sale

s

Probar Autocorrelacin Positiva


Ejemplo con n = 25:

Durbin-Watson CalculationsSum of Squared Difference of Residuals 3296.18Sum of Squared Residuals 3279.98Durbin-Watson Statistic 1.00494

y = 30.65 + 4.7038x R2 = 0.8976

0

20

40

60

80

100

120

140

160

0 5 10 15 20 25 30

Tim e

Sale

s

Probando Autocorrelacin Positiva

Excel/PHStat output:

1.004943279.983296.18

e

)e(eD n

1i

2i

n

2i

21ii


Aqu, n = 25 y hay k = 1 una variable independiente

Usando la tabla Durbin-Watson, dL = 1.29 y dU = 1.45

D = 1.00494 < dL = 1.29, entonces rechazar H0 y concluir que existe autocorrelacin positiva.

Prueba para autocorrelacin Positiva

Decision: rechazar H0D = 1.00494 < dL

0 dU=1.45 2dL=1.29Rechazar H0

No rechazar H0No concluyente


Inferencias acerca de la pendiente

El error estandar del coeficiente de la pendiente de la regresin (b1) es estimado por:

2iYXYX

b)X(X

SSSXSS

1

donde:= Estimacin del error estndar de la pendiente

= Error estndar de la estimacin

1bS

2nSSESYX


Inferencias sobre la pendiente: t test

t test para una pendiente poblacional Hay una relacin lineal entre X y Y?

Hiptesis nula y alternativas son: H0: 1 = 0 (No existe relacin lineal) H1: 1 0 (existe relacin lineal)

Test statistic

1b

11STAT S

bt

2nd.f.

donde:

b1 = coeficiente de la pendiente de la regresin

1 = Pendiente de la hiptesis

Sb1 = error estndar de la pendiente




Inferencias sobre la pendiente: t test - Ejemplo

House Price in $1000s

(y)

Square Feet (x)

245 1400

312 1600

279 1700

308 1875

199 1100

219 1550

405 2350

324 2450

319 1425

255 1700

(sq.ft.) 0.1098 98.25 price house Ecuacin de regresin estimada:

La pendiente de este modelo es 0.1098

Hay una relacin entre los pies cuadrados de la casa y su precio de venta o precio de casa?



H0: 1 = 0H1: 1 0From Excel output:

Coefficients Standard Error t Stat P-valueIntercept 98.24833 58.03348 1.69296 0.12892Square Feet 0.10977 0.03297 3.32938 0.01039

1bSb1

329383032970

0109770S

bt

1b

11STAT ..

.



Test Statistic: tSTAT = 3.329

Hay suficiente evidencia que los pies cuadrados afectan el precio de venta de la casa.

Decision: Rechazar H0

Reject H0Reject H0

/2=.025

-t/2Do not reject H0

0 t/2

/2=.025

-2.3060 2.3060 3.329

d.f. = 10- 2 = 8

H0: 1 = 0H1: 1 0



H0: 1 = 0H1: 1 0

From Excel output: Coefficients Standard Error t Stat P-value

Intercept 98.24833 58.03348 1.69296 0.12892Square Feet 0.10977 0.03297 3.32938 0.01039

p-value

Hay suficiente evidencia que los pies cuadrados afectan el precio de venta de la casa.

Decision: Rechazar H0, si el p-value <


F Test para significancia

F Test :

donde:

MSEMSRFSTAT

1knSSEMSE

kSSRMSR

donde FSTAT sigue una distribucin F con k numerador y (n k - 1)denominador grados de libertad

(k = el nmero de variables independientes en el modelo de regresin)


F-Test para significancia:Output de Excel


Multiple R 0.76211

R Square 0.58082



Observations 10


Regression 1 18934.9348 18934.9348 11.0848 0.01039

Residual 8 13665.5652 1708.1957

Total 9 32600.5000

11.08481708.195718934.9348

MSEMSRFSTAT

With 1 and 8 degrees of freedom

p-value for the F-Test




H0: 1 = 0H1: 1 0 = .05df1= 1 df2 = 8

Test Statistic:

Decision:

Conclusion:

Rechazar H0 at = 0.05

Hay suficiente evidencia que el tamao de la casa afecta el precio de venta.

0

= .05

F.05 = 5.32Rechazar H0No

rechazar H0

11.08FSTAT MSEMSR

Critical Value:

F = 5.32

F Test para significancia

F


Intervalo de confianza para la pendiente

Estimacin del intervalo de confianza de la pendiente:

Excel para los precios casas:

Al 95% de confianza, el intervalo de confianza para la pendiente es de (0.0337, 0.1858)

1b2/1Sb t


Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Square Feet 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

d.f. = n - 2


Siendo las unidades del precio de casa en $1000s, Tenemos 95% confianza que el impacto promedio sobre el precio de venta est entre $33.74 y $185.80 por pie cuadrado de superficie


Intercept 98.24833 58.03348 1.69296 0.12892 -35.57720 232.07386

Square Feet 0.10977 0.03297 3.32938 0.01039 0.03374 0.18580

Este 95% intervalo de confianza no incluye 0.

Conclusion: Hay una relacin significativa entre el precio de la casa y los pies cuadrados al .05 nivel de significancia

Estimacin del intervalo de confianza para la pendiente


t Test para el coeficiente de correlacin

Hipotesis H0: = 0 (no correlation between X and Y)H1: 0 (correlation exists)

Test statistic

(con n 2 grados de libertad)

2nr1

-rt2STAT

0 b if

0 b if

12

12

rr

rr

donde



Hay evidencia de una relacin lineal entre los pies cuadrados y precios casa al .05 nivel de significancia?

H0: = 0 (No correlacion)H1: 0 (correlacion existe) =.05 , df = 10 - 2 = 8

3.329

210.7621

0.762

2nr1

rt22STAT



Conclusion:Hay evidencia de una asociacin lineal al 5% nivel de significancia

Decision:Rechazar H0

Reject H0Reject H0

/2=.025

-t/2Do not reject H0

0 t/2

/2=.025

-2.3060 2.30603.329

d.f. = 10-2 = 8

3.329

210.7621

0.762

2nr1

rt22STAT




Estimando los valores medios y prediciendo los valores individuales

Y

XXi

Y = b0+b1Xi

Intervalo de confianza para la mediade Y, dado Xi

Intervalo de prediccin para un valor individual Y,dado Xi

Meta: Formar intervalos alrrededor de Y para expresar incertidumbre acerca del valor Y para un dado Xi

Y


Intervalo de confianza para el promedio Y, dado X

Estimar el intervalo de confianza para elValor medio de Y dado un particular Xi

Tamao del intervalo vara de acuerdo a la distancia desde la media, X

ihtY YX2/

XX|Y

S

: para confianza de intervaloi

2i

2i

2i

i )X(X)X(X

n1

SSX)X(X

n1h


Intervalo de prediccin para un valor Y, dado X

Estimar el intervalo de confianza paraValor individual de Y dado un particular Xi

Este trmino extra aade al ancho de intervalo para reflejar la incertidumbre adicional para un caso para un caso individual

ihtY

1S

:Y para confianza de Intervalo

YX2/

XX i


Estimacin de los valores medios: Ejemplo

Encontrar el intervalo del 95% para el precio medio de casas de 2,000 pies cuadrados

Precio predecidoYi = 317.85 ($1,000s)

Estimar el intervalo de confianza para Y|X=X

37.12317.85)X(X

)X(Xn1StY

2i

2i

YX0.025

Los puntos finales del intervalo de confianza son 280.66 y 354.90, o desde $280,660 a $354,900

i


Ejemplo de estimacin de los valores individuales

Encontrar el intervalo de prediccin al 95% para una casa individual con 2,000 pies cuadrados

Precio pronosticado Yi = 317.85 ($1,000s)

Estimar intervalos de prediccin para YX=X

102.28317.85)X(X

)X(Xn11StY

2i

2i

YX0.025

El intervalo es desde 215.50 a 420.07, o desde $215,500 a $420,070

i


Encontrar con Excel estos intervalos

Para Excel, usar

PHStat | regression | simple linear regression

Chequear:confidence and prediction interval for X=box y entrar el valor X y el nivel de confianza deseado.




Input values

Encontrar el intervalo de confianza y Prediccin en Excel

Confidence Interval Estimate for Y|X=Xi

Prediction Interval Estimate for YX=Xi

Y

regresi%25c3%25b3n%2blineal%2bsimple

Documents

pearson education

publishing as prentice

variable usada

variable dependiente

anlisis de correlacin

funcin lineal

anlisis de relacin

coeficientes de regresin