instituto de ciencias matemáticas · 2013. 1. 24. · guayaquil, jueves 23 de febrero 2012 ....

Escuela Superior Politécnica del Litoral

“Impulsando la sociedad del

conocimiento”

1

Instituto de Ciencias Matemáticas

Guayaquil, Jueves 23 de Febrero 2012

Presentado por:

Andrea Elizabeth Fuentes Puglla

Raúl Alejandro Pinos Loayza

Nathaly Rivera Flores

Regresión Lineal

Supuestos:

Se concluye:

Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 2

( , )i iY g X β


( ) 0 2 = constante

Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖

′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1

0 1 1 2 2 1 1i p p iY X X X

Cuando la ,se recurre al Modelo Lineal Generalizado.

Es una generalización de la Regresión Lineal para poder

responder a otros tipos de modelos además de los lineales siempre y cuando la variable a ser explicada forme parte de las familias exponenciales.



2No es constante

1 2,..., 1, PX X XYienlace

Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera

5 Guayaquil, Jueves 23 de Febrero 2012

Es una clase de distribuciones de probabilidad

cuya formulación matemática comparten cierta forma:


𝒇 𝒙;𝜽 = 𝑥 𝑔 𝜃 𝑒[𝜂 𝜃 𝑇(𝑥 )]



Distribución Binomial

Como miembro de la familia exponencial consideremos la variable aleatoria

Bernoulli. Su función de probabilidad es:

𝑝 𝑥; 𝜃 = 𝜃𝑥(1− 𝜃) 1−𝑥

= exp 𝑥 𝑙𝑜𝑔𝜃+ 1 − 𝑥 log 1 − 𝜃

= exp 𝑥 𝑙𝑜𝑔 𝜃 + log 1 − 𝜃 − 𝑥 𝑙𝑜𝑔(1− 𝜃)

= exp log 1 − 𝜃 + 𝑥(𝑙𝑜𝑔𝜃− 𝑙𝑜𝑔 1− 𝜃 )

= exp log 1 − 𝜃 + 𝑥 log( 𝜃

1−𝜃)

= exp 𝑥 log( 𝜃

1−𝜃) 1− 𝜃 ∗ 1

= 𝑒𝑥𝑝[𝜂 𝜃 𝑇(𝑥)] 𝑔 𝜃 𝑥

El parámetro natural 𝜂 𝜃 = log( 𝜃

1−𝜃)



Distribución Poisson

Para la distribución Poisson se hace algo similar al descomponerlo en una familia exponencial, su

función de probabilidad es:

𝑓 𝑥 =𝑒−𝜆 𝜆𝑥

𝑥 ! , 𝜆 = 0,1,2,3,…

Para llevar esta expresión a su forma de familia exponencial es cuestión de un poco de algebra:

𝑒−𝜆𝜆𝑥

𝑥!= 𝑒𝑥𝑝 log

𝑒−𝜆𝜆𝑥

𝑥!

= exp log 𝑒−𝜆 + log 𝜆𝑥 − log(𝑥!)

= 𝑒𝑥𝑝 −𝜆 + 𝑥 𝑙𝑜𝑔 𝜆 − log(𝑥!)

= 𝑒𝑥𝑝 −𝜆 + 𝑥 𝑙𝑜𝑔 𝜆 − log(𝑥!)

= 𝑒𝑥𝑝 𝑥 𝑙𝑜𝑔 𝜆 𝑒𝑥𝑝−𝜆 log 1

𝑥!

Donde el parámetro natural 𝜂 (𝜆) es igual 𝑙𝑜𝑔 𝜆



Regresión Logística permite estimar la relación entre una variable de respuesta binomial (dependiente) y un conjunto de variables independientes (explicativas)

Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖

′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1

𝜋 𝒙𝑖 = 𝑃 𝑌 = 1ǀ𝑥𝑖 = 𝒙𝑖′𝜷



La Función de Respuesta E[Y] no es rectilínea cuando la variable a ser explicada es indicadora, si no mas bien sigmoidal, esto hace que se pueda utilizar la Distribución Logística que convierta a la Función de Respuesta E[Y] por lo que utilizaremos la función de enlace de la distribución de Bernoulli, por lo que se obtiene::

Dándose origen de esta forma a la denominada Regresión Logística.



. Se recurre al cálculo de la función de verosimilitud.

Por lo que se cumple:


∂lnL

∂β0 =

∂lnL

∂β1 = . . . .=

∂lnL

∂βp−1 = 0

Se obtiene: ∂lnL∂β

= (𝑦𝑖 − 𝑛𝑖𝜋𝑖)𝑛𝑖=1 𝑥𝑖


Como resultado de la primera y segunda derivada de la función de verosimilitud se obtiene las siguientes ecuaciones:

i=

𝑒 𝒙𝑖′ 𝜷

1 + 𝑒 𝒙𝑖′ 𝜷

− 𝑒 𝒙𝑖

′ 𝜷

1 + 𝑒 𝒙𝑖′ 𝜷

2

𝒙𝑖 𝒙′𝑖 𝒀𝑖 − 𝜋𝑖

𝒙′𝑖 𝑊 𝒙𝑖 𝐺 = 𝜋𝑖(1 − 𝜋𝑖)𝒙𝑖𝒙′𝑖



Es una técnica estadística en lo que se utiliza un modelo no lineal que pertenece a la categoría del análisis de datos de recuento. En estos casos, la variable dependiente toma más de dos valores discretos: 0, 1 , 2 , 3, . . . La variable aleatoria sigue una distribución de Poisson, con parámetro que está relacionada con las variables de explicación X.


iy i

𝑦𝑖 = 0,1,2,… = Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖

′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1


Dado que la Función de Respuesta E[Y] toma valores discretos, se utiliza la función de enlace, obtenida de la Distribución de Poisson:, el cual es:


𝐸 𝑌 = ℯ (𝛽0 +𝛽1𝑥1+⋯+𝛽𝑝−1𝑥𝑝−1)

Dándose origen de esta forma a la denominada Regresión Poisson.


. Se recurre al cálculo de la función de verosimilitud.

Por lo que se cumple:


∂lnL

∂β0 =

∂lnL

∂β1 = . . . .=

∂lnL

∂βp−1 = 0

Se obtiene: ∂lnL

∂β = (𝑦𝑖 − 𝜋𝑖)

𝑛𝑖=1 𝑥𝑖

𝑙𝑛 𝐿 = 𝑦𝑖 ln 𝜋𝑖

𝑛

𝑖=1

− 𝜋𝑖

𝑛

𝑖=1



Para evitar la existencia de falsas raices, se incluye en el algoritmo la segunda derivada de la funcion.



function R1 = reglogcontr(y,x,b0)

[n,ppp]=size(x);

beta=b0;

dife=1;

pp=zeros(1,n);

w=zeros(n);

x=[ones(n,1),x];

whiledife>0.0001

bini=beta;

for i=1:n

suma=x(i,:)*beta;

pp(i)=1/(1+exp(-suma));

end

p=pp';

for i=1:n

w(i,i)=p(i)*(1-p(i));

end

beta=bini+(inv(x'*w*x))*x'*(y-p);

dife=sum(abs(beta-bini));

end

Sb=inv(x'*w*x);

R1=zeros(ppp,4);

for i=1:ppp+1

R1(i,1)=beta(i);

R1(i,2)=sqrt(Sb(i,i));

R1(i,3)=R1(i,1)/R1(i,2);

R1(i,4)=abs(R1(i,3));

R1(i,4)=tcdf(R1(i,4),n-ppp);

R1(i,4)=(1-R1(i,4))*2;

End

Guayaquil, Jueves 23 de Febrero 2012 Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 22

instituto de ciencias matemáticas · 2013. 1. 24. · guayaquil, jueves 23 de febrero 2012 ....

Documents