Exercises chaires de Markov 3

Ex 3.1

Tpbistodsastique ⇐s Vy , §¥Cx , g) = B⇐ Vy , ¥*TG ) PG ,y)

-

-Tty )

Nec TG ) = 19¥ txt*⇐ Hy , CTpkg ) = Tcg )

c) Si P est stochastic ve symeltrique , elle est bistochasticve :

€*"" y) = §⇒Mgx) ⇐ I.

Ct irreducibility uniquemesne invariant :

lamesore uniform B-1*1 '

De plus , diag P to ⇒ Fx I PG.x ) > O

⇒ P est ape'riodique

.

Alors,

on a convergencevers la loi stationnai re ( mache irreducible

,

re'current positive , spelriddigue )

Tn Cx )n •

TG ) - ¥,

-

Ex 3.2

Sites reversible,

TG) PG, g) = Tfg ) Ply . x )

⇐⇒ fCTP) Cy ) = €*TG) PG , g) a §¥Cy) Pig , x ) -Tty)

done it est invariantepour

P.

↳ rdciproqueestfousse :

If•ID= mesore uniform = I est invariant

> • ! I mais Ici) PCI,

2) = Mz& T Cz) Plz

,

I ) = O.

•2

€3.1a) chain irreducible⇐ Vx

,y ,

it exist un ahem in de transitionspossibles de x Ig

⇐s tx, y ,

it existed ans g un Chemin

d' aretes reliant x sy

⇐ legraphe Gest annexe .

↳ chain est aperiodicve si , pourtout xf*

,

pgcd f n l P"

Cx,x ) s O ) = I

.

No tons que poortout sommet x E G

,e'tant donne

'

un voi sing ,

on a P2- Cx,x ) z PC x , g) Ply .

x) . . .PC x

, yl Ply , x) > O-

⇒ 21N C RE) V.× ,tomes

On a pgcd CRG)) = I si et salement si ily a un nombreimpair dans

RE )

chain aperiod ique⇒ legraphe G Amet on cycle de long:psire .

b) Si t est une mesure reversible,Nos Tx voisin deg ;

Tf¥ ⇐ Tiggy .

Par connex ite' de G ,

il faut done :

TG)

g=ate

;Tex) = este deg x

f. somme surtous les etsts

A=

este. קgdgx

ate = I ←= este

. ( 2 # aretes)

delCsi kgrspheestsbaggde,

si Gs CV, E) .

TG) = deaf21El

c) le theorem eyodiquegsrmtit que , pour tout etat xe*,

card { n s N I Xn=x }→ degasT p - s .

21ElN-Sto

les sonnets les plus visite's parla marche histoire sur le

graphe sont done aux de plus bout tyre .

Ex 3.4

TPC k,

ki- B ) = NIN

P Ck,

k - i) = IN

E- Int.EE#8%01%02%05

" °

T.in#aiaNN

On peut bien passer detoutetotkstoutautreetstkfeo.NOen un nombre fini d

'e'tapes -s chain irreducible .

b) Chechens une mesure reversible .

lick ) p Ck,

let . ) =tick .- l ) Pcktl

,

k )

tick ) Naik =

Thet ' ) kindttlkti ) = Nuff #k ) relation derdwrrence .

Tci ) = N IT co )

Itcz) = N¥Tto) ⇒ pzrrelcurrence ,

TC 's) = NCNv-2) Tco ) Ifk ) a ( Nh ) Tco) .

2×3

condition de normalisation :

A = §! .tk ) = Tco) §! ( kN ) = Tco) 2N

Tco) =L ,

tick) = In ( kN) Ioi bin onside DCN,Az) .

c) ① Is chain n' est pas apelriodique .

Si Xo est pair , Xn s n mod 2 Hn .

On ne peut dans a cos pasNoir Tn → IT Ioi stationsare

est supported parks hombres pairs)d) P =

matricide transition de la chain initiate

Q = - de la chain modified .

On a Q =Itp2

'

↳ mesure invariant ITpour

P l 'est oussipour Q

:

HTQ = TfIII ) = T£P= Itt = IT .

( en fait , on monte facilement que testreversiblepour Q) .

↳ mstria Q est maintenant irreducible aperiodicve .

⇒ convergence versla loi stationsire

.

Si (Xn ) new n Pero,Q ) ,

Nos

B.CK - k ] ÷, La (Y ) then .

Ex 3.5-

°) X. bakes blanches i Nr.

- X. bikes blanches

a - X. bikes noises ' Na- G -Xn )is b - CN ,

- 4.) bikesI

hates

l

l

l

A B

b) Plk,

let 1) = probabilities d ' e'changer noir dans Avec blanc dansB

= If Nadb

Plk,

k- t ) = probsbilite

' d'

e'changer blanc dans Avec noir dans B= kg b-N.tk

b

Pch,k ) = A - Ca-kKM-k)tklb-N (le este ) .

ab

Tantquek e min G

,Nas)

,

on a one probdsi life > O d 'augmenter .

Tant que k > max co,N

,-

b = a- Nz),

"

de desandre .

= s irredvctibilite sure max co,2- Na )

,min Ca

,Ne )D .

c) Chechens me mesore reversible .

TCO) = C '

g

"" =i 's""'' II ÷b÷n→, a = ::÷ c i

Tk ) -- P.EE#icad--aIn:n?zTiD--aIIc!I!ifs?n...gc i

Psrrelarrence :

TCL) = 2(sa-ktl * MCNi-1)._.Ni-k c

k ! (b- N,+ I) . . - (b - N, the )

- cnn.n.si#.n:iic=CilCn:.k) ipour one

certain.

Constante c'

↳ constant c'

estobterwecommesut :

b. i. §!. (2) ( n? .ie) i

# a

%! b

Ctn! ) famukdeltndomonde

⇒ itch ) = (E) ( n? k )¥4

bi hypergeometric .

d) Comme Plk,

k) s O,on a aperiodic ite

': Tn →IT .

(convergence

vers la la 'sthionate ).

Ex 3.6

a) Supposes Cn =k

.

On numerate d,

2.. . .

,

k les cotes de

polygon .

• s

Q Peetsopposer 5 rotation press quele premier milieu de cette

'

cha's i ar

hoard est I .

Chaque

cha'

x j EE2

,

k D d'en autre milieu donne par

decoupage deux poly genes avec les nombre de cette's sonants :

• R'EM HEY x. s is

3 4 S etetg

et

getg z

En conservant kn de ces deux polygons ,on obtest bier cm

,

EH,let ID

De plus ,

Ioi Ccn,I Cn = k ) s Ioi uniform sur E 3 , let IT .

On en didn't tire decibilite' de la chain (G)n

sur IN⇒

Can peut augmenter d'me unite

'

s chaque pas area probs > 0,

et edescendre quand on he souhsite ) .

Q Ck,

C ) = Asses kitKinen II

b) Comme f : If If ,est une bijection ,

il est darque

Cf est one CM .

So matricide transition est

Pek,e) a Qcf-4k! f-Me ) )

⇐ ①3 s 3te s let k I

#l C- Clo

,let ,D

'

If

let2 ktI

c) Nd-as Mn = Eo [ Xn ) .

On a mo = 0,et

Mmes Eoc Xm. .] = §CEoCXn+ ,

IX. I].

Or,

la la' uniform sur Co,kt I ] a pour esperance

£§.↳ '

j s k£1 , done to CXn+,l X. ] . XntBa

⇒ mm, = myth th EIN.

On re'soud facile merit cette re'

arena : mn =A- Li .

Until.

Ceci impique la recurrencede la chain (Xn )new : comme la

chain est irreducible,

sieke e'fait transient,ceci inpiquant

Xn→ + as p. s .

sous DoD,dem

, afotiori ,Mn at

o .

d) TP = IT se re'doit

: the ) , j )

j >k¥2

' Vhs.

o .

Alas,

GG) -- §? taels Bp .. . she

= E."s: .÷÷

d'oo :Cs

- t) Gcs ) -

¥ Csi"- i) .

t EsCs - i ) G

'

Cs) t GG ) = .§%j ) s Itt = s Gcs) .

G'Cs) = Gcs);Gcs ) = caste

.es = es

- t

(G = B)

e) es" se redeveloppeer setie entire :

= §?e-'

skq, →TH) = e÷ loi de Poisson PG

. ).

On a done me mesure de probate invariant ⇒ recurrence

comme Park) so we, spend ,aye

,positive .

⇒

convergencecos bloistttianaie .

Ex 3. I

a) On choke me mesure de probBil ite invariant , et mimereversible

.

Tco ) ⇐ (t - p ) IT CI ) ;tht i) = f- TCk ) the > I .

1- p

op =Tco ) ;

TCI ) =

§ ;tf k > 1) = a (⇒

k

are apt a§,

tok= I

- Cpt Ep) =2afp÷Y) i a-

- fifty -

conclusion : ily a bier memeswe de probtbihte invariante poor peg,donnie

par Tco) =gf-2p_, ith > t) -_Lj¥p, (f)

ki

t- pCeci impique la recurrence positive .

En revanche,a n

'a pas ape

's iodicite'.

theoremegodique

: Hk EIN, j§ p.p.tk ) .

b) On a Eo I=÷,

a 213yd .

c) le ca lat de mesne e'uersibhe mateque

Tco ) = f-,

ticks. 1) a b est one metre invariant si p =L .

Ceci exdit la re'

arena positive .

(de masse infinie )

On remarque queb chain④⇐n sur IN a les probski life's de

transition de Hnl,

oo and est b m . a .

symitigueswZ.HN#grentece.s.s,⇒ (Khan re'arent fftard% mile)

r

Ex 3.8-

On soitquela chain est e' current positive ssi il existe une

mesne de probst: lite invariante ;Chechens - en done one .

(④ on poorrat checker les mesores

reversible,

Ce qui serif plus simple .

Mais toutes les rhesuses invariants ne sont pase'rersibhes

; voir

them mains ex . 3 . 9 . )

T mesne invariant :

TH) = pk . . TCk - i ) t rk ITCk ) t qk+ ,

ITChtt ) this & .

( pktgk) Ilk) = ph . . The - i ) t qh+ ,theti )

.

qk#k) - pk -etch - i ) is qk+ ,IT flexi ) - pk#k)

↳ conservation de f Ck) = qk*Tfkt i) - pk#k)

L s g.Tcl ) - po Tco ) a glee , IT ( let c) - pk tf k ) Hk > O .

Mais on a assi parinvariance en O :

Tco) = roTco) t gett) ; potto) = getCI) ; A = 0 .

Dax : tick#A = gpkq.tk ) ;Tae ) =jkPgj Tco)

Conclusion : les meares invariants sat proportion rules Ijpgjj .

En particulier, it exist one probsbitts invariant ssi

5- &;±÷q÷ stas.

Alas,

b probdoilies

in rain! est the)=§j pjj .

the condition ndasssireetsuffismte simple par taperiodide' est :

7- KEIN I rk > ⑤ .

Ex 3. g

a) Si test reversible,

notasqueTG) > 0 that par

irredncibilite de lo chain.

Pour monter boite re de Kolmogorov ,on peut done multiplier partG.) sons perde d ' information .

Atos,

TGI ) PG,xz ) Pfxz

,Xz) . .

. Pcxn, ¥)

= Pcxz,

x,) #xz ) PCE

, xz ) . . - Pcxn,

x, )

= PLS,xz ? Pcxz , x , ) TGS ) PC xz ,

Xa ) . - - Pcxn,

x, )

:

= P ( xn,xn. .) . . . Pcxs

,e) Pcxz

,

x, ) Tha ) pcxn,x

, )

= PG,xn) Pcxn

,xn . . ) . . - Pcxz

,%) Texas)

enutilismtschoquelignebrdvosibilite.deTIP .

b) On ddueloppeP'G. g) Ply , x )=¥÷?G .

x.) PG..

x) . .- Pcxn

. .

. g) Ply , x)

=§¥?Cx, g) Ply , xn . . ) . . - PG.x ) PG. . x )

= pcx, g) P' Cy , x )

c) Si lo chaineestaperiddigue ,Nos

him, +In G. y ) - Tcg) ; fine

,,→PYy ,

x ) - Tex )

donepar passages to limit de b )

, Tcg ) Ply , x ) =TG ) PG

, y) .

d) Notusque

f-Enix. . , ] . f-€%ax.gl .Parle thioemeergodigue ! f-§! #=p p.T.sousR.TT )done

, psrcenuegexedominie

,

In §? pncx . g) → Tcg ) .

Alas, f-§! pncx.gl Ply . x ) = f-€? Pty ,

x ) PG, y )

⇒ Tks) Ply ,x ) =Ttx ) PG

, y)