estimación bayesiana.pdf

Bayesian Model Estimation and Selection for the WeeklyColombian Exchange Rate

Camilo Avellaneda Juan David Mogollon Juan Diego Meja

Topicos de Econometra IFacultad de Ciencias EconomicasUniversidad Nacional de Colombia

5 de junio de 2015

Camilo Avellaneda, Juan David Mogollon, Juan Diego Meja ( Topicos de Econometra I Facultad de Ciencias Economicas Universidad Nacional de Colombia )Bayesian Model Estimation and Selection for the Weekly Colombian Exchange Rate5 de junio de 2015 1 / 56

Contenido

Introduccion Antecedentes Metodologa Resultados Conclusiones


Introduccion

El ariculo data de diciembre de 2001, se encuentra indexado en la revista de eco-noma del rosario y en Cuadernos de Economa del Banco de la Republica. El docu-mento revisa los antecendentes de las tecnicas adecuados para la modelacion de lavolatividad en series de tiempo financieras, y los resultados de mas importantes parael computo bayesiando basado en Metodos de Monte Carlo. Todo esto se ilustra enla seleccion de modelos para la serie de tiempo de la tasa de cambio semanal enColombia.


funcion de Verosimilitud

Siendo X1, X2, .., Xn una sucesion de variables aleatorias indenticamente distri-buidas pero no necesariamente independientes, la funcion conjunta de densidad deX1, X2, .., Xn se conoce con el nombre de Funcion de Verosimilitud deX1, X2, .., Xn

Funcion de Verosimilitud de la muestra

Si X1, X2, .., Xn es una muestra aleatoria de una poblacion con funcion dedensidad fX(x, ), , entonces la funcion de verosimilitud de la muestracorresponde a:

P (x|) = L(;x1, x2, .., xn) =ni=1 fx(xi, )


El metodo bayesiano considera las creencias conjuntas sobre Y y . Para cada valor numerico nuestra Prior distribution P () describe

nuestras creencias que representa las verdaderas caractersticaspoblacionales.

Para cada y y Y, nuestro podelo muestral es P (y|) describenuestras creencias que y pudo haber sido la salida de nuestro estudio sisupieramos que es el verdadero parametro.

Para cada valor numerico de la distrubucion posterior describenuestras creencias de que es el verdadero valor, una vez obserado elconjunto de datos.


Densidad Poterior

Posterior density

La distribucion posterior se obtiene de la distribucion prior y el modelo muestrava la Regla de Bayes

p(|y) = p(y|)p()p(y|)p()d


La seleccion de modelos frecuentista es limmitada. Sus estadsticas estan orientadasa la adecuacion del modelo como R2, criterio de informacion de Akaike,Press, entreotros.,y el esquema de prueba de hipotesis esta restringuido pues requiere que lashipotesis esten anidadas.


ARMA(1,1) El modelo no es adecuad ya que la varianza no es constante sinembargo se usa como referencia para comparaciones.

ARMA(1,1) Para los niveles de retorno y GARCH(1,1) para la varianza. sesigue asumiendo normalidad

ARMA(1,1) para los niveles y GARCH(1,1) + distribucion t-student. ARMA(1,1) + EGARCH(1,1)+ distribucion gausiana generalizada. ARMA(1,1) + GARCH(1,1) con la mixtura de dos normal como termino de

error.

ARMA(1,1) + GARCH(1,1) con distribucion Pearson tipo IV. Modelo de volativilidad estocastica con una t-student en el termino de error.


Modelos

Figura: Verosimilitud ARCH, caso simple

Figura: Verosimilitud GARCH, t t


Modelos

Figura: Verosimilitud EGARCH, t GG

Figura: Verosimilitud GARCH, t MN


Modelos

Figura: Verosimilitud GARCH, t PearsonTypeIV


Modelos

Figura: Verosimilitud Volatilidad Estocastica


Cuadro: Modelos y distribuciones Prior

Modelo 0 1 1 0 1 1 2 n

ARMA(1,1) N(0,5) B(1,1) B(1,1) IG(2,0.001)

GARCH(1,1):N N(0,5) U(-1,1) U(-1,1) 10

U(0,1) U(0,1)

GARCH(1,1):t N(0,5) B(1,1) B(1,1) 120

U(0,1) U(0,1) 1(n2)2

Modelo 0 1 1 0 1 1 EGARCH(1,1):GED N(0,5) B(1,1) B(1,1) N(0,1) N(0,5) U(-1,1) U(0,80)

Modelo 0 1 1 0 1 1

GARCH(1,1)MixN N(0,5) B(1,1) B(1,1) 1/20 U(0,1) U(0,1) U(0,1) 1/(2)2

Modelo 0 1 1 0 1 1 r GARCH(1,1) T-IV p N(0,5) B(1,1) B(1,1) IG(2,0.0001) U(0,1) U(0,1) IG(2,0.001) N(0,1)

Modelo 2

Volatilidad S. U(-1,1) N(0,5) U(5,80) IG(2,0.001)


El analisis bayesiano requiere de simulacion, esto para solucionar problemas comono conjugamiento, y la imposiblidad para obtener expresiones analiticas de las dis-tribuciones posterior. Sin embargo la simulacion puede que no sea directa, por estose acude a los metodos de Monte Carlo.La simulacion basada en Cadenas de Markov, pretende aproximar la distribucionestacionaria de la cadena. Si se logra convergencia, se puede realizar el analisisestadstico. El muestrador de Gibbs y los algoritmos Metropolis-Hastings son losmetodos mas utilizados.


Introduccion a la Estadstica Bayesiana

Estimaciones de los parametros con buenas propiedades estadsticas Descripciones parsimoniosas de los datos observados Predicciones de datos faltantes y de datos futuros Un marco computacional para estimacion, seleccion y validacion de modelos

Ademas de esto, una propiedad que hay que resaltar dentro del trabajo bayesiano esque se pueden obtener resultados importantes a partir de pocos datos. Para obteneruna idea mucho mas detallada ver Bolstad (2007) o Hoff (2009).


p(|y) = p(y|)p()p(y|)p()d (1)

donde p() es la distribucion prior, que resume las ideas subjetivas que se tengande la distribucion del constructo y p(y|) consiste basicamente en la informacionque se obtiene mediante la muestra dados ciertos valores previos.


Ley Fuerte de los Grandes Numeros

Recordemos de la teora basica de probabilidad que cuando (Xi)i1 es una sucesionde variables aleatorias independientes e igualmente distribuidas con E(Xi) = se tiene que:

Xn con probabilidad 1.

Este teorema es muy util para calcular valores esperados y en general integrales queno tienen solucion analtica.

Problema: En muchos casos para los modelos propuestos en estadstica bayesianano es posible tener p(|y) completamente determinada, razon por la cual se ve lanecesidad de desarrollar otro metodo para calcular valores esperados.


Algoritmo MCMC

Que es MCMC?

Markov Chain: Un proceso estocastico cuyo valor futuro depende unicamente delvalor presente.Monte Carlo: Simulacion.

El objetivo del algoritmo MCMC es generar una muestra de la distribucion posteriorp(|y) cuando esta no se conoce completamente (hace falta conocer un termino denormalizacion)


Cadenas de Markov

Definicion: Un proceso estocastico (Xt)tN se dice que es una cadena de Markov atiempo discreto y estado continuo s y solo s f(xt+1|xt, xt1, ..., x0) = f(xt+1|xt).

Notese que, ft(xt) =f(xt|x)ft1(x)dx, lo cual recibe el nombre de ecuaciones

de Chapman-Kolmogorov

Definicion (Distribucion Lmite): Se dice que pi es la distribucion lmite s y solos pi(xt) =

f(xt|x)pi(x)dx

Luego, el objetivo es crear una cadena de Markov tal que su distribucion lmite seap(|y), tal que se puedan correr simulaciones para esta posterior.

Una vez la cadena de Markov ha logrado convergencia, las simulaciones de la dis-tribucion lmite parecen ser de p(|y), luego parece razonable utilizar la ley de losgrandes numeros para calcular su esperanza.


Problema: La ley de los grandes numeros asume que las variables son iid, lo cualno es cierto para (Xt)tN

Solucion: Teorema Ergodico Sea (Xt)tN una cadena de Markov, aperiodica,irreducible y recurrente positiva y con E(g(Xt))

Muestreador de Gibbs

Para cada parametro es necesario conocer la distribucion condicional completa, estoes: p(j |1, 2, ..., j1, j+1, ..., k, y)

Algoritmo: Por simplicidad asumamos que los parametros de interes son 1, 2, 3y sea = (1, 2, 3).

1 Seleccione un vector de valores iniciales (0)

2 Obtenga un valor (1)1 de la distribucion condicional p(1|(0)2 , (0)3 , y)



5 Repetir M veces los pasos 2 a 4 para obtener (t) en cada Draw.


Metropolis Hastings

Suponga que se tiene una distribucion posterior p(|y) de la cual se quiere tomaruna muestra, pero:

La posterior no parece ser una distribucion conocida. La posterior tiene mas de dos parametros. Algunas de las distribuciones condicionales completas no parecen tener una

forma conocida.

En este caso, la solucion acostumbrada es utilizar el algoritmo de Metropolis Has-tings.


Algoritmo Metropolis Hastings

1 Escoger algun valor inicial (0)

2 En la iteracion t, seleccione un candidato de una distribucion proposalJt(

|(t1))3 Calcular el acceptance ratio

r = p(|y)/Jt(|(t1))

p((t1)|y)/Jt((t1)|)4 Aceptar como (t) con probabilidad min(r, 1), si es el caso, (t) =

5 En caso de que el valor propuesto no sea aceptado, tomar (t) = (t1)

6 Repetir los pasos 2-4 M veces para obtener M draws de p(|y).


Eleccion Usual de la Distribucion Proposal

Denotemos: Jt(|) = q(|) (notese que se elimina el sub-ndice t), una de las

elecciones mas usuales para q(.) esta dada por:

q(|) = Exp( 122 ( )2)

Notese que para esta distribucion proposal se tiene que q(|) = q(|), luego,el acceptance ratio se reduce a:

r = p(|y)

p((t1)|y)

Cuando se tiene mas de un parametro:

q(|) = Exp( 122|| ||2)


Ejemplo

Supongamos que se tiene un experimento binomial: (Yi)i1 variables aleatoriasindependientes e igualmente distribuidas, con prior pi() = 2cos2(4pi).


Ejemplo

La distribucion posterior es:

pi(|Y ) f(Y |)pi()

pi(|Y ) 2n Yi(1 )nn Yicos2(4pi)


Ejemplo

Es importante notar que no hay = en la ecuacion anterior, razon por la cual losmetodos analticos podran ser bastante tortuosos, dado que sera necesario calcular,una constante de integracion. Asuma que se obtuvieron 2 exitos y 8 fracasos.

Se procede a programar el algoritmo de Metropolis-Hastings con 10000.000 derepeticiones, se obtiene que la estimacion de la media es 0,2643212


Ejemplo


RJMCMC

El muestreador de Salto Reversible de Cadenas de Markov Monte Carlo (RJMCMC)(Green, 1995), extiende la metodologa del algoritmo Metropolis-Hastings a espa-cios mas generales. El espacio del parametro puede variar entre las iteraciones dela cadena de Markov. Para que el algoritmo Metroplis-Hastings funcione se debenaceptar unicamente estados que tengan probabilidad positiva de hacer un movi-miento reversible de vuelta al estado original.


Metodologa

Para ilustrar la estimacion y el uso de los metodos se considera la observacionsemanal de la tasa de cambio dolar-peso desde octubre 21 de 1991 hasta el 29 dediciembre de 1999. Se considera un total de T = 428 observaciones.

Tasa de Cambio diaria

Corresponde al promedio ponderado del comercio, compra y venta de dolaresAmericanos en el mercado abierto.


Basando en la grafica y con ayuda de un test de raiz unitaria es facil concluir quela tasa de cambio tiene raiz unitaria.


Como es usual, se trabaja con la primera diferencia de la serie de tasa de cam-bio (ert) transformada, tambien conocida como tasa de retorno compuesto (rt =ln(ert) ln(ert1)


hay que destacar que los coeficientes de asimetra y la curtosis para rt los cuales son0,8581 y 5,6872 respectivamente, ambas son significativamente positivas y muchomayores que el comun, lo que evidencia asimetra y leptocurtosis. Segun Vlaar yPalm(1993), la oblicuidad puede ser el resultado de la asimetria en el ajuste deparidad y la alta curtosis debida varianza que varia con el tiempo.


ARMA(1,1) El modelo no es adecuad ya que la varianza no es constante sinembargo se usa como referencia para comparaciones.

ARMA(1,1) Para los niveles de retorno y GARCH(1,1) para la varianza. sesigue asumiendo normalidad

ARMA(1,1) para los niveles y GARCH(1,1) + distribucion t-student. ARMA(1,1) + EGARCH(1,1)+ distribucion gausiana generalizada. ARMA(1,1) + GARCH(1,1) con la mixtura de dos normal como termino de

error.

ARMA(1,1) + GARCH(1,1) con distribucion Pearson tipo IV. Modelo de volativilidad estocastica con una t-student en el termino de error.


Se realizo solo una cadena por modelo debido a las limitaciones computacionales.La actualizacion se realizo elemento a elemento en orden aleatorio. En casa caso ala cadena final de 80000 corridas, se le tomanor los pasos de 50 a 300 para evitargrandes autocorrelaciones en la cadena. La convergencia de cada cadena se evaluobajo el criterio de Geweke, la serie alcanza estacionariedad.


Seleccion del modelo

Consiste en aplicar el algoritmo RJMCMC y calcular las probabilidadesposterior, corriendo 200000 iteraciones y mostrando la proporcion de laseleccion de cada uno de los 7 modelos para cada 2000 iteraciones.

La estabilidad de la cadena se chequea visualmente El diagnostico de Geweke compara las medias de dos regiones (no

traslapadas) de la cadena generada mediante un test de diferencias demedias, donde los errores estandar corresponden a valores ajustados por laautocorrelacion.


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloARMA(1,1)


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloGARCH-Normal


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloGARCH-t


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloEGARCH-ged


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloGARCH-Mixtura de N.


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modeloGARCH- TIPO IV de Pearson


Resultados

Figura: Graficos de convergencia e histogramas de la muestra posterior para el modelo devolatilidad estocastica


Resultados


Factor de Bayes

En un contexto bayesiano, los contrastes se usan para juzgar la siguiente hipotesis:

H0 : 0 vs H1 : 1donde es el vector de parametros de interes.

El contraste de este sistema de hipotesis se hace mediante B10 =P (y|H1)P (y|H0) , donde

P (y|Hi) se conoce como la funcion de probabilidad de los datos bajo Hi. Si B10 < 1 entonces la evidencia de los datos soportan H0 Si B10 (1, 3) los datos soportan muy levemente H1 Si B10 (3, 10) existe evidencia apenas suciente para rechazar H0 Si B10 (10, 100) existe fuerte evidencia para rechazar H0 Si B10 > 100 la decision de rechazar H0 es certera.


Resultados


Resultados

Bajo la metodologa de salto reversible, la probabilidad posterior mas alta es0,9999 que corresponde el modelo ARMA(1,1)+GARCH(1,1) condistribucion Pearson tipo IV.El modelo tiene un desempeno muuy por encimade los demas modelos.

En una nueva corrida de la cadena con los modelos restantes, el mejordesempeno lo tiene el modelo ARMA(1,1)+GARCH(1,1) con Mixtura denormales.

los resultados estan condicionados a los modelos seleccionados inicialmente. Se encuentran las tablas con la informacion de los parametros. Ademas de los

resultados de convergencia de los diferentes modelo.


Resultados


Sugerencias

Seleccionar un numero mas grande de modelos Simular cadenas paralelas. Actualizar los parametros por bloques Se puede considerar todos los parametros incluso lo que no se consideran

significativos.

Chequear robustes, es decir, asignar otras prior. Asignar prior Jerarquicamente, para mejorar cada modelo.


Conclusiones

El ejercicio provee evidencia de que el cuarto modelo es el cuarto modelo masprobable a posterior despues de los modelos seis, cinco y tres en ese orden.

Los resultados de la escogencia de modelos son condicionados a los modelosseleccionados en un comienzo, dependiendo de si se tienen mas o menosmodelos, los resultados pueden cambiar.

La robustez del RJMCMC haca diferentes priors podra ser evaluada, pero nose realizo por su costo computacionalmente hablando


Referencias


estimación bayesiana.pdf

Documents