techniques to understand computer simulations: …aabeliuk/documents/markov.pdftechniques to...

Techniques to Understand Computer Simulations: Markov

Chain Analysis Luis R. Izquierdo, Segismundo S.

Izquierdo, José Manuel Galán and José Ignacio Santos (2009)

Presentador: Andres Abeliuk

Objetivos

• Ayudar a los investigadores a comprender la dinámica de los modelos de simulación que se han implementado y se pueden ejecutar en un computador.

• Un modelo computacional es una relación determinista input-output, i.e. una función.

• Cualquier modelo computacional se puede re-implementar en muchos formalismos diferentes , dando lugar a representaciones alternativas de la misma relación input-output.

• Generadores de números pseudoaleatorios nos dan el potencial para simular variables aleatorias dentro de nuestros modelos de computadora, y por lo tanto, simular los procesos estocásticos.

• Cualquier output obtenida de un modelo parametrizado sigue una distribución de probabilidad específica. Esta distribución de probabilidad se puede aproximar a un grado arbitrario de precisión mediante la reiterada ejecución del modelo.

• Los modelos formales que muchos usan en la literatura de simulación social, pueden ser representados como cadenas de Markov homogéneas en el tiempo.

• Analizar un modelo como una cadena de Markov puede hacer evidente muchas características del modelo que no eran tan evidentes antes de realizar dicho análisis.

Cadenas de Markov homogéneas en el tiempo (THMCs)

• El futuro dado el pasado, solo depende del presente:

P (Xn+1 = xn+1 | Xn = xn, Xn-1 = xn-1, ..., X0 = x0) = P (Xn+1 = xn+1 | Xn = xn)

• Las probabilidades de transición pi,j son independientes del tiempo:

P(Xn+1 = j | Xn = i) = P(Xn = j | Xn—1 = i) = pi,j

Caminata aleatoria

Análisis de la dinámica de THMCs

• Suele dividirse en dos partes:

– la dinámica transitoria (tiempo finito) y

– la dinámica asintótica (tiempo infinito)

• El comportamiento transitorio se caracteriza por la distribución de los estados del sistema para un plazo fijo, n ≥ 0.

• El comportamiento asintótico se caracteriza por el límite de la distribución de cuando n tiende a infinito, cuando este límite existe.

Dinámica transitoria

• Buscamos vector a(n) que contiene la probabilidad de encontrarse en cualquiera de los posibles estados en el paso n.

a(n) = [a1(n), … , aM

(n)] , ai(n) = P(Xn = i), M estados

• Proposición 1:

a(n) = a(0) · Pn

• Por lo tanto, p(n)i,j es la probabilidad estar en el

estado j después de n pasos de haber comenzado en el estado i, es decir, p(n)

i,j = P (Xn = j | X0= i).

• Caminante al azar comienza en una posición inicial aleatoria, i.e. a(0) = [1/17, …, 1/17].

• La distribución exacta de la posición del caminante en el paso 100 es a(100) = a(0) · P100

• La matriz de transición de la mayoría de los

modelos NO puede ser fácilmente derivada, o

es inviable para operar con ella.

• No obstante, esta desventaja no es tan importante como uno podría esperar.

• Es posible deducir muchas propiedades de un THMC, aun sin conocer los valores exactos de su matriz de transición.

Conceptos importantes

• Accesibilidad

– Si empezando por el estado i existe la posibilidad de que el sistema puede visitar el estado j en algún momento en el futuro ( i→j ):

Formalmente: Existe n ≥ 0, tq. p(n)i,j > 0.

• Comunicación

– Un estado i se dice que se comunican con el estado j si i→j y j→i, se escribe i↔j.

• Clases de comunicación

– Un conjunto de estados C ⊂ S se dice que es una clase de comunicación si:

• Dos estados cualquiera en la clase se comunican entre sí. Formalmente, (i ∈ C, j ∈ C ) ⇒ i↔j

• El conjunto C es máximal. Formalmente, (i ∈ C, i↔j) ⇒ j ∈ C

• Clase cerrada (absorbente)

– Si ningún estado dentro de una clase de comunicación C conduce a algún estado fuera de C

– Formalmente C es cerrada si i ∈ C y j ∉ C implica que j no es accesible desde i.

• Tenga en cuenta que una vez que una cadena de Markov visita una clase de comunicación cerrada, no puede salir de él

• Proposición 2. Teorema de descomposición (Chung, 1960)

El espacio de estados S de cualquier cadena de Markov puede ser únicamente dividida de la

siguiente manera: S = C1 ∪ C2 ∪ ... ∪ Ck ∪ T ,

donde C1, C2, ..., Ck son clases cerradas, y T es la unión de todas las otras clases de comunicación.

• Estados transitorios y recurrentes

– Un estado i se dice que es transitorio, si teniendo en cuenta que empezamos en el estado i, existe una probabilidad no nula de que nunca vamos a volver a i

– De lo contrario, el estado se denomina recurrente (empezando por un estado recurrente ,con probabilidad 1 se volvera)

• Estados periódicos y aperiódicos

– Un estado i tiene periodo d si cualquier retorno al estado i debe ocurrir en múltiplos de d pasos de tiempo

– Si d=1 es aperiódico

• Los elemento de una misma clase tienen el mismo periodo

Dinámica asintótica

• Proposición 3. dinámica general de THMCs finitos.

• Considere un THMC finito que se ha dividido como se indica en la Proposición 2. Entonces: – Todos los estados de T son transitorios.

– Todos los estados en Cv son recurrentes.

• Proposición 3 establece que tarde o temprano el THMC entrará en una de las clases absorbentes y permanecerá en ella para siempre

“Atrapado” en una clase absorbente

• Aperiódica

– La distribución de probabilidades converge a un limite y es única

– No depende del estado inicial, solo de P.

– Corriendo una simulación durante el tiempo suficiente servirá para calcular π igual de bien.

¿Cuánto tiempo es suficiente?

• Desafortunadamente, no hay respuesta para

eso.

• Lo positivo: – Tiene que ser estable en el tiempo

– Independiente de las condiciones iniciales

– Lo anterior permite realizar una amplia gama de pruebas que nos pueden dar cuenta cuando es suficiente.

• Periódica (periodo d)

– Tiene d distribuciones de probabilidad

– Dependen del estado inicial.

• Ejemplo Caminata aleatoria:

• Partiendo por estado 1

• Afortunadamente todo THMC (aperiódico o periódico) tiene una distribución única π*

• No depende del estado inicial

– Luego solo basta una larga simulación para determinar el tiempo que pasa en cada estado.

Modelo con varios estados absorbentes

• S = {abs1} ∪ {abs2} ∪ … ∪ {absk} ∪ T

• Si solo hay 1 estado absorbente (i.e. S = {abs1} ∪ T) el sistema eventualmente terminara en el estado absorbente.

• Si hay más de un estado absorbente depende de las condiciones iniciales en cual terminara.

Ejemplos

Robustez de estados absorbentes a las perturbaciones

• En los modelos evolutivos estas perturbaciones pueden derivarse de los procesos de mutación.

• En los modelos culturales pueden derivarse de la experimentación.

• Resultados interesantes: – Se puede escapar de un estado absorbente debido a

perturbaciones.

– Los estados absorbente que pueden ser alcanzada con gran probabilidad en el modelo imperturbable se observan con una probabilidad muy baja en el modelo con el ruido.

Ejemplo

Resumen

• El tipo de análisis que se explica en este artículo es útil incluso en los casos que no es posible derivar analíticamente las probabilidades. – Estas funciones de probabilidad siempre se puede

aproximar con algún grado de precisión mediante la ejecución del modelo de equipo varias veces.

• El punto importante es darse cuenta que existen tales funciones – Saber cuándo y cómo dependen de las condiciones

iniciales, pueden ofrecer una perspectiva valiosa sobre la dinámica de los modelos.