regresión lineal simple

31
1 ESTADISTICA I Regresión Lineal Simple

Upload: alfreandre

Post on 15-Jan-2016

332 views

Category:

Documents


0 download

DESCRIPTION

Explicacion estadistica de la tecnica de regresion lineal simple

TRANSCRIPT

Page 1: Regresión Lineal Simple

1 1 Slide

Slide

ESTADISTICA I

Regresión Lineal Simple

Page 2: Regresión Lineal Simple

2 2 Slide

Slide

Simple Linear Regression

Modelo de Regresión Lineal Simple Método de mínimos cuadrados Coeficiente de Determinación Supuestos del Modelo Prueba de Significancia Ecuación de Regresión Estimada para

estimación y regresión Soluciones por computadora Análisis Residual: Validando los Supuestos del

Modelo Análisis Residual: Valores extremos y

observaciones

Page 3: Regresión Lineal Simple

3 3 Slide

Slide

The Simple Linear Regression Model

Modelo de Regresión Lineal Simpley = 0 + 1x +

Ecuación de Regresión Lineal SimpleE(y) = 0 + 1x

Ecuación de Regresión Lineal Simple Estimada o Línea de Regresión Muestral

y = b0 + b1x

^

Page 4: Regresión Lineal Simple

4 4 Slide

Slide

Método de Mínimos Cuadrados

Criterio de Mínimos Cuadrados

donde:yi = Valor observado de la variable

dependiente para la iésima observaciónyi = Valor estimado de la variable

dependiente para la iésima observación

min (y yi i )2

^

Page 5: Regresión Lineal Simple

5 5 Slide

Slide

Pendiente de la Ecuación de Regresión Estimada

Intercepto de y para la Ecuación de Línea de Regresión Muestral

b0 = y - b1xdonde:xi = valor de la variable independiente para la iésima observaciónyi = valor de la variable dependiente para la iésima observación

x = valor medio de la la variable independiente y = valor medio de la variable dependiente n = número total de observaciones

____

bx y x y n

x x ni i i i

i i1 2 2

( ) /

( ) /

__

El Método de Mínimos Cuadrados

Page 6: Regresión Lineal Simple

6 6 Slide

Slide

Regresión Lineal SimpleReed Auto periódicamente tiene una venta especial de fines de semana largos. Como parte de la campaña de publicidad se lanzan al aire 1 o mas comerciales de TV durante los fines de semana precedentes a la venta. Los datos de una muestra de 5 ventas previas se muestran a continuación.

Number of TV Ads Number of Cars Sold1 143 242 181 173 27

Example: Reed Auto Sales

Page 7: Regresión Lineal Simple

7 7 Slide

Slide

Pendiente para la Ecuación de Regresión Estimada (o de mínimos cuadrados)

b1 = 220 - (10)(100)/5 = 5

24 - (10)2/5 Intercepto de y para la Ecuación de Regresión

Estimada b0 = 20 - 5(2) = 10

Ecuación de la Línea de Regresión Estimada (o de mínimos cuadrados)

y = 10 + 5x

^

Example: Reed Auto Sales

Page 8: Regresión Lineal Simple

8 8 Slide

Slide

Example: Reed Auto Sales Diagrama de Dispersión

y = 5x + 10

0

5

10

15

20

25

30

0 1 2 3 4TV Ads

Ca

rs S

old

Estimación puntual usando la Línea de Regresión: si se lanzan 2 anuncios de TV, luego esperaremos vender 20 autos.

Page 9: Regresión Lineal Simple

9 9 Slide

Slide

The Coefficient of Determination

Relación entre SST, SSR, SSE

SST = SSR + SSE

Coeficiente de Determinación

r2 = SSR/SSTdonde:

SST = Suma de cuadrados total SSR = Suma de cuadrados de la

regresión SSE = Suma de cuadrados de errores

( ) ( ) ( )y y y y y yi i i i 2 2 2^^

Page 10: Regresión Lineal Simple

10 10 Slide

Slide

Coeficiente de Determinación

r2 = SSR/SST = 100/114 = .8772

La relación de regresión es muy fuerte ya que el 88% de la variación en el número de autos vendidos puede ser explicado por la relación lineal entre el número de Anuncios de TV y el número de autos vendidos.

Example: Reed Auto Sales

Page 11: Regresión Lineal Simple

11 11 Slide

Slide

Coeficiente de Correlacion Muestral

donde:b1 = pendiente de la ecuación de regresión

estimada

Su signo +/- indica una relación directa o indirecta, pudiendo variar numéricamente desde -1 a +1

The Correlation Coefficient

21 ) de (signo rbrxy

iónDeterminac de eCoeficient ) de (signo 1brxy

xbby 10ˆ

Page 12: Regresión Lineal Simple

12 12 Slide

Slide

Coeficiente de Correlación Muestral

El signo de b1 en la ecuación is “+”.

rxy = +0.9366

Ejemplo: Reed Auto Sales

21 ) de (signo rbrxy

ˆ 10 5y x

=+ .8772xyr

Page 13: Regresión Lineal Simple

13 13 Slide

Slide

Supuestos del Modelo

Supuestos del Término de Error o Componente Residual• El error es una variable aleatoria con

media igual a cero.• La varianza de , denotada por 2, es la

misma para todos los valores de la variable independiente.

• Los valores de son independientes.• El error es una variable aleatoria

normalmente distribuida.

Page 14: Regresión Lineal Simple

14 14 Slide

Slide

Prueba de Significancia

Para probar la significancia de una relacion de regresión, tenemos que realizar una prueba de hipótesis para determinar si el valor de b1 es cero.

Se usan comúnmente dos pruebas:• Prueba t• Prueba F

Ambas pruebas requieren un estimado de s 2, que es la varianza de e en el modelo de regresión.

Page 15: Regresión Lineal Simple

15 15 Slide

Slide

Un Estimado de s 2

El Error Cuadrado Medio (MSE) nos da este estimado de s 2, y también se denota como s2.

s2 = MSE = SSE/(n-2)donde:

Prueba de Significancia

210

2 )()ˆ(SSE iiii xbbyyy

Page 16: Regresión Lineal Simple

16 16 Slide

Slide

Prueba de Significancia

Un estimado de s• Para estimar s tomamos la raiz cuadrada de s 2.• El s resultante se llama Error Estándar del

Estimado.

2

SSEMSE

ns

Page 17: Regresión Lineal Simple

17 17 Slide

Slide

Hipótesis H0: 1 = 0

Ha: 1 = 0 Prueba Estadística

Regla de Rechazo

Rechazar H0 si t < -to t > t

donde t se basa en una distribución t

con n - 2 grados de libertad.

Prueba de Significancia: Prueba t

tbsb

1

1

Page 18: Regresión Lineal Simple

18 18 Slide

Slide

Prueba t• Hipótesis H0: 1 = 0

Ha: 1 = 0

• Regla de rechazo Para = 0.05 y g.l. = 3, t.025 =

3.182 Rechazar H0 si t > 3.182

• Prueba Estadísticat = 5/1.08 = 4.63

• Conclusiones Rechazar H0

Example: Reed Auto Sales

Page 19: Regresión Lineal Simple

19 19 Slide

Slide

Intervalo de Confianza para 1

Podemos utilizar un intervalo de confianza de 95% para 1 probando las hipótesis que acabamos de ver en la Prueba t.

H0 será rechazado si el valor hipotético de 1 no está incluído en el intervalo de confianza para 1.

Page 20: Regresión Lineal Simple

20 20 Slide

Slide

Intervalo de Confianza para 1

La forma de un intervalo de confianza para 1 es:

donde b1 es el punto estimado

es el margen de errores el valor t que provee un

áreade a/2 en el extremo

superior de una distribución t con n - 2

grados de libertad

12/1 bstb a

12/ bsta2/at

Page 21: Regresión Lineal Simple

21 21 Slide

Slide

Ejemplo: Reed Auto Sales

Regla de RechazoRechazar H0 si 0 no está incluído en el

intervalo de confianza para 1. Intervalo de Confianza de 95% para 1

= 5 +/- 3.182(1.08) = 5 +/- 3.44

or 1.56 to 8.44 Conclusión

Ya que 1 = 0 está fuera del intervalo de confianza, la conclusión es rechazar H0

12/1 bstb a

Page 22: Regresión Lineal Simple

22 22 Slide

Slide

Prueba de Significancia: Prueba F

Hipótesis H0: 1 = 0

Ha: 1 = 0

Prueba EstadísticaF = MSR/MSE

Regla de RechazoRechazar H0 si F > F

donde F está basado en una distribución F con 1 g.l. en el numerador, y n - 2 g.l. en el denominador.

Page 23: Regresión Lineal Simple

23 23 Slide

Slide

Prueba F• Hipótesis H0: 1 = 0

Ha: 1 = 0

• Regla de rechazo Para = 0.05 y g.l. = 1, 3: F.05 =

10.13 Rechazar H0 si F > 10.13.

• Prueba EstadísticaF = MSR/MSE = 100/4.667 = 21.43

• ConclusiónPodemos rechazar H0.

Ejemplo: Reed Auto Sales

Page 24: Regresión Lineal Simple

24 24 Slide

Slide

Algunas precauciones acerca de la interpretación de las Pruebas de

Significancia Rechazando H0: Si b1 = 0 y concluyendo que

la relación entre x e y es significante, no nos permite concluir que exista una relación causa-efecto entre x e y.

Sólo porque debamos rechazar H0: Dado que b1 = 0 y se demuestre la significancia estadística, no nos permite concluir que exista una relación lineal entre x e y.

Page 25: Regresión Lineal Simple

25 25 Slide

Slide

Estimación del Intervalo de Confianza para E(yp)

Estimación del Intervalo de Predicción de yp

yp + t/2 sind

donde el coeficiente de confianza es 1 - y t/2 está basado en una distribución t con n - 2

g.l.

Usos de la Ecuación de Regresión Estimada

/ y t sp yp a 2

Page 26: Regresión Lineal Simple

26 26 Slide

Slide

Estimación PuntualSi 3 anuncios de TV se lanzan antes de una venta, esperamos que la media de carros vendidos sea:

y = 10 + 5(3) = 25 carros Intervalo de Confianza para E(yp)

El intervalo de confianza de 95% para la media del número de carros vendidos cuando 3 anuncios de TV han sido lanzados es:

25 + 4.61 = 20.39 to 29.61 cars Intervalo de Predicción para yp

El estimado del intervalo de predicción de 95% para el número de carros vendidos en una semana en particular cuando se han lanzado 3 anuncios de TV es:

25 + 8.28 = 16.72 to 33.28 cars

^

Example: Reed Auto Sales

Page 27: Regresión Lineal Simple

27 27 Slide

Slide

Residuo para la Observación i

yi – yi

Residuo estandarizado para la Observacion i

donde:

Residual Analysis

^

y ysi i

y yi i

^

^

s s hy y ii i 1^

Page 28: Regresión Lineal Simple

28 28 Slide

Slide

Example: Reed Auto Sales

Residuals

Observation Predicted Cars Sold Residuals1 15 -12 25 -13 20 -24 15 25 25 2

Page 29: Regresión Lineal Simple

29 29 Slide

Slide

Example: Reed Auto Sales

Residual Plot

TV Ads Residual Plot

-3

-2

-1

0

1

2

3

0 1 2 3 4TV Ads

Re

sid

ua

ls

Page 30: Regresión Lineal Simple

30 30 Slide

Slide

Análisis de Residuos

Detectando extremos o atípicos• Un atípico es una observación inusual en

comparación con los demás datos.• Minitab y algunos otros programas,

clasifican an observacion como un atípico si su valor residual estandarizado es < -2 o > +2.

• Esta regla de residuos estandarizada algunas veces falla en identificar algún dato muy grande como si fuese un atípico.

• Esta regla puede ser obviada utilizando los residuos estudentizados.

• El |i ésimo residuo estudentizado| será mayor que el |i ésimo residuo estandarizado|.

Page 31: Regresión Lineal Simple

31 31 Slide

Slide

The End