-
Escuela Superior Politécnica del Litoral
“Impulsando la sociedad del
conocimiento”
1
Instituto de Ciencias Matemáticas
Guayaquil, Jueves 23 de Febrero 2012
Presentado por:
Andrea Elizabeth Fuentes Puglla
Raúl Alejandro Pinos Loayza
Nathaly Rivera Flores
-
Regresión Lineal
Supuestos:
Se concluye:
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 2
( , )i iY g X β
Guayaquil, Jueves 23 de Febrero 2012
( ) 0 2 = constante
Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖
′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1
0 1 1 2 2 1 1i p p iY X X X
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 3
Guayaquil, Jueves 23 de Febrero 2012
-
Cuando la ,se recurre al Modelo Lineal Generalizado.
Es una generalización de la Regresión Lineal para poder
responder a otros tipos de modelos además de los lineales siempre y cuando la variable a ser explicada forme parte de las familias exponenciales.
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 4
Guayaquil, Jueves 23 de Febrero 2012
2No es constante
1 2,..., 1, PX X XYienlace
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera
5 Guayaquil, Jueves 23 de Febrero 2012
-
Es una clase de distribuciones de probabilidad
cuya formulación matemática comparten cierta forma:
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 6
𝒇 𝒙;𝜽 = 𝑥 𝑔 𝜃 𝑒[𝜂 𝜃 𝑇(𝑥 )]
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 7
Distribución Binomial
Como miembro de la familia exponencial consideremos la variable aleatoria
Bernoulli. Su función de probabilidad es:
𝑝 𝑥; 𝜃 = 𝜃𝑥(1− 𝜃) 1−𝑥
= exp 𝑥 𝑙𝑜𝑔𝜃+ 1 − 𝑥 log 1 − 𝜃
= exp 𝑥 𝑙𝑜𝑔 𝜃 + log 1 − 𝜃 − 𝑥 𝑙𝑜𝑔(1− 𝜃)
= exp log 1 − 𝜃 + 𝑥(𝑙𝑜𝑔𝜃− 𝑙𝑜𝑔 1− 𝜃 )
= exp log 1 − 𝜃 + 𝑥 log( 𝜃
1−𝜃)
= exp 𝑥 log( 𝜃
1−𝜃) 1− 𝜃 ∗ 1
= 𝑒𝑥𝑝[𝜂 𝜃 𝑇(𝑥)] 𝑔 𝜃 𝑥
El parámetro natural 𝜂 𝜃 = log( 𝜃
1−𝜃)
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 8
Distribución Poisson
Para la distribución Poisson se hace algo similar al descomponerlo en una familia exponencial, su
función de probabilidad es:
𝑓 𝑥 =𝑒−𝜆 𝜆𝑥
𝑥 ! , 𝜆 = 0,1,2,3,…
Para llevar esta expresión a su forma de familia exponencial es cuestión de un poco de algebra:
𝑒−𝜆𝜆𝑥
𝑥!= 𝑒𝑥𝑝 log
𝑒−𝜆𝜆𝑥
𝑥!
= exp log 𝑒−𝜆 + log 𝜆𝑥 − log(𝑥!)
= 𝑒𝑥𝑝 −𝜆 + 𝑥 𝑙𝑜𝑔 𝜆 − log(𝑥!)
= 𝑒𝑥𝑝 −𝜆 + 𝑥 𝑙𝑜𝑔 𝜆 − log(𝑥!)
= 𝑒𝑥𝑝 𝑥 𝑙𝑜𝑔 𝜆 𝑒𝑥𝑝−𝜆 log 1
𝑥!
Donde el parámetro natural 𝜂 (𝜆) es igual 𝑙𝑜𝑔 𝜆
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 9
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 10
Regresión Logística permite estimar la relación entre una variable de respuesta binomial (dependiente) y un conjunto de variables independientes (explicativas)
Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖
′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1
𝜋 𝒙𝑖 = 𝑃 𝑌 = 1ǀ𝑥𝑖 = 𝒙𝑖′𝜷
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 11
La Función de Respuesta E[Y] no es rectilínea cuando la variable a ser explicada es indicadora, si no mas bien sigmoidal, esto hace que se pueda utilizar la Distribución Logística que convierta a la Función de Respuesta E[Y] por lo que utilizaremos la función de enlace de la distribución de Bernoulli, por lo que se obtiene::
Dándose origen de esta forma a la denominada Regresión Logística.
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 12
. Se recurre al cálculo de la función de verosimilitud.
Por lo que se cumple:
Guayaquil, Jueves 23 de Febrero 2012
∂lnL
∂β0 =
∂lnL
∂β1 = . . . .=
∂lnL
∂βp−1 = 0
Se obtiene: ∂lnL∂β
= (𝑦𝑖 − 𝑛𝑖𝜋𝑖)𝑛𝑖=1 𝑥𝑖
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 13
Como resultado de la primera y segunda derivada de la función de verosimilitud se obtiene las siguientes ecuaciones:
i=
𝑒 𝒙𝑖′ 𝜷
1 + 𝑒 𝒙𝑖′ 𝜷
− 𝑒 𝒙𝑖
′ 𝜷
1 + 𝑒 𝒙𝑖′ 𝜷
2
𝒙𝑖 𝒙′𝑖 𝒀𝑖 − 𝜋𝑖
𝒙′𝑖 𝑊 𝒙𝑖 𝐺 = 𝜋𝑖(1 − 𝜋𝑖)𝒙𝑖𝒙′𝑖
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 14
Guayaquil, Jueves 23 de Febrero 2012
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 15
Es una técnica estadística en lo que se utiliza un modelo no lineal que pertenece a la categoría del análisis de datos de recuento. En estos casos, la variable dependiente toma más de dos valores discretos: 0, 1 , 2 , 3, . . . La variable aleatoria sigue una distribución de Poisson, con parámetro que está relacionada con las variables de explicación X.
Guayaquil, Jueves 23 de Febrero 2012
iy i
𝑦𝑖 = 0,1,2,… = Ε Yi ǀX = xi = 𝒙𝑖′𝜷 + 𝜀𝑖 ;𝑌 = 0,1 , 𝒙𝑖
′𝜷 = 𝛽0 + 𝛽1𝑥1 +⋯+ 𝛽𝑝−1𝑥𝑝−1
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 16
Dado que la Función de Respuesta E[Y] toma valores discretos, se utiliza la función de enlace, obtenida de la Distribución de Poisson:, el cual es:
Guayaquil, Jueves 23 de Febrero 2012
𝐸 𝑌 = ℯ (𝛽0 +𝛽1𝑥1+⋯+𝛽𝑝−1𝑥𝑝−1)
Dándose origen de esta forma a la denominada Regresión Poisson.
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 17
. Se recurre al cálculo de la función de verosimilitud.
Por lo que se cumple:
Guayaquil, Jueves 23 de Febrero 2012
∂lnL
∂β0 =
∂lnL
∂β1 = . . . .=
∂lnL
∂βp−1 = 0
Se obtiene: ∂lnL
∂β = (𝑦𝑖 − 𝜋𝑖)
𝑛𝑖=1 𝑥𝑖
𝑙𝑛 𝐿 = 𝑦𝑖 ln 𝜋𝑖
𝑛
𝑖=1
− 𝜋𝑖
𝑛
𝑖=1
-
Guayaquil, Jueves 23 de Febrero 2012
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 18
-
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 19
Guayaquil, Jueves 23 de Febrero 2012
-
Guayaquil, Jueves 23 de Febrero 2012
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 20
Para evitar la existencia de falsas raices, se incluye en el algoritmo la segunda derivada de la funcion.
-
Guayaquil, Jueves 23 de Febrero 2012
Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 21
function R1 = reglogcontr(y,x,b0)
[n,ppp]=size(x);
beta=b0;
dife=1;
pp=zeros(1,n);
w=zeros(n);
x=[ones(n,1),x];
whiledife>0.0001
bini=beta;
for i=1:n
suma=x(i,:)*beta;
pp(i)=1/(1+exp(-suma));
end
p=pp';
for i=1:n
w(i,i)=p(i)*(1-p(i));
end
beta=bini+(inv(x'*w*x))*x'*(y-p);
dife=sum(abs(beta-bini));
end
Sb=inv(x'*w*x);
R1=zeros(ppp,4);
for i=1:ppp+1
R1(i,1)=beta(i);
R1(i,2)=sqrt(Sb(i,i));
R1(i,3)=R1(i,1)/R1(i,2);
R1(i,4)=abs(R1(i,3));
R1(i,4)=tcdf(R1(i,4),n-ppp);
R1(i,4)=(1-R1(i,4))*2;
End
-
Guayaquil, Jueves 23 de Febrero 2012 Andrea Fuentes Puglla Raúl Pinos Loayza Nathaly Rivera 22