random walks and renewal theory - tu wien

Einleitung Random Walk - Die Irrfahrt Renewal Theory - Erneuerungstheorie

Random Walks and Renewal Theory

Christoph Weber

11.12.2015


Überblick

Einleitung

Random Walk - Die IrrfahrtDie IrrfahrtRekurrenz und TransienzDie eindimensionale Irrfahrt

Sprungzeiten und Sprunghöhen

Renewal Theory - ErneuerungstheorieDenitionStationarität


Einleitung - Münzwurf

Versuchsaufbau: MünzwurfKopf/Zahl: 1 Feld nach rechts/oben

Ende: 30-maliges Erreichen von Kopf oder Zahl


Einleitung - Drunkard's Walk

A man starts from a point O and walks x yards in a

straight line; he then turns through any angle whatever

and walks another x yards in a second straight line. He

repeats this process n times. I require the probability that

after these n stretches he is at a distance between r and

r + δr from his starting point, O., Karl Pearson, 1905



einfachste Variante: Irrfahrt auf dem Zahlenstrahl



Ein Betrunkener will aus einem Gasthaus heimkehren. Das Gasthausliegt an einer geraden Straÿe; an einem Ende bendet sich ein See,am anderen das Wohnhaus des Betrunkenen. Der Betrunkeneerinnert sich nicht an die richtige Richtung.



Er macht einen Schritt nach links oder rechts mitWahrscheinlichkeit q = p = 1

2, ohne sich zu erinnern, woher er

beim letzten Schritt gekommen war, irrt er in dieser Weise weiter:einen Schritt nach rechts oder links, mit gleicher Wahrscheinlichkeitp = 1

2.

Erreicht er den See, so fällt er hinein und ertrinkt; kommt er zuHause an, so bleibt er dort und schläft seinen Rausch aus.



p(i): Wahrscheinlichkeit, von Position i nach Hause zu kommen

p(i) = 1

2(p(i − 1) + p(i + 1)), i = 1...n-1

Randwerte (absorbierende Zustände): p(0) = 0, p(n) = 1

−→ p(i) = in

P[nach Hause] = xn mit x Position des Gasthauses


Einleitung - Renewal Theory

Baugruppe: elektronische Bauteile mit selber Funktion

Xi : Zeitraum, den die i-te Baugruppe arbeitetN(t): Anzahl der freien Baugruppen, die bis zum Zeitpunkt tinstalliert wurdenX1,X2, .. sind u.i.v. Zufallsvariablen

−→ N(t) : t ≥ 0 ist Erneuerungsprozess

spannend: P(N(t) = n) und E[N(t)]


Einleitung - Renewal Theory

mögliche Entwicklung eines Erneuerungsprozesses Xt mitZykluszeiten Si und Erneuerungszeiten Jn

Xt =∑∞

n=11Jn≤t = supn : Jn ≤ t


Die Irrfahrt

• Zufallsprozess (Sn) in diskreter Zeit

• Zufallsgröÿen u.i.v. (i.i.d.)

• Schritte der Form ξn = ∆Sn = Sn - Sn−1

Allgemein: S0 = 0, so dassSn = ξ1 + ...+ ξn =

∑ni=1

ξi ∀n gilt


Die Irrfahrt

Irrfahrten sind Markov-Prozesse−→ Übergangsmatrix

fi ,j =

p , falls j = i + 1q , falls j = i − 10 , sonst

In Matrixschreibweise:... ...... 0 q 0 p 0 ... ...... ... 0 q 0 p 0 ...... ...


Rekurrenz und Transienz

A drunk man will nd his way home, but a drunk bird may get lost

forever.

Shizuo Kakutani, japanisch-amerikanischer Mathematiker



Rekurrenz: Zustände werden fast sicher unendlich oft wiederbesucht

Transienz: Zustände werden fast sicher nur endlich oft wiederbesucht



Ein zufälliges Maÿ Y ordnet jedem Zufallsereignis ξi ∈ Ω ein Maÿ ηauf Rd zu, welches auf beschränkten messbaren Mengen endlicheWerte annimmt.

Für eine beliebige Borelmenge A ∈ Bd ist also

Y (A) : Ω→ [0,∞], ξ 7→ Yξ(A),

nichtnegative Zufallsvariable und das zufällige Maÿ der Menge A.



occupation measure von (Sn) ist deniert als das zufällige Maÿ

ηB =∑

n≥0 1Sn ∈ B, B ∈ Bd



Mit Bεx = y ; | x − y |< ε seien die erreichbare Menge A, diemittlere Rekurrenzmenge M und die Rekurrenzmenge R, gegebendurch

A =⋂ε>0

x ∈ Rd ; EηBεx > 0

M =⋂ε>0

x ∈ Rd ; EηBεx =∞

R =⋂ε>0

x ∈ Rd ; ηBεx =∞ fast sicher

deniert.



Satz (Dichotomie der Rekurrenz)

Sei (Sn) Irrfahrt in Rd und die Mengen A, M und R deniert wie

vorher. Dann tritt genau einer der beiden folgenden Zustände ein:

(i)R = M = A, und R ist geschlossene, additive Halbgruppe auf Rd

(ii)R = M = ∅ und | Sn |→ ∞ fast sicher

Eine Irrfahrt heiÿt rekurrent, falls (i) zutrit, und andernfallstransient.


Trivialerweise ist R ⊂ M ⊂ A, also ist es möglich, die Relationen in(i) und (ii) auch durch A ⊂ R für (i) und M = ∅ für (ii) zuverdeutlichen. Noch zu bemerken ist, dass A eine geschlossene,additive Halbgruppe ist.Man tree die Annahme P| Sn |→ ∞ < 1, so dassP| Sn |< r unendlich oft > 0 für ein r > 0. Mit ε > 0 bedeckeman die r-Kugel um 0 mit endlich vielen oenen Kugeln B1, ...,Bn

mit Radius ε2.


Es ist PSn ∈ Bk > 0 für mindestens ein k. Mit demHewitt-Savage 0-1-Gesetz ergibt die letztere Wahrscheinlichkeit 1.Demnach ist die Stoppzeit τ = inf n ≥ 0; Sn ∈ Bk fast sicherendlich und die starke Markoveigenschaft bei τ ergibt

1 = PSn ∈ Bk unendlich oft≤ P| Sτ+n − Sτ |< ε unendlich oft= P| Sn |< ε unendlich oft.

Also ist (in diesem Fall) 0 ∈ R .


Als nächstes nehme man | Sn |→ ∞ fast sicher an. Für xesm, k ∈ N schlieÿe man aus der Markoveigenschaft bei m, dass

P| Sm |< r , infn≥k | Sm+n | ≥ r

≥ P| Sm |< r , infn≥k | Sm+n − Sm | ≥ 2r

= P| Sm |< rPinfn≥k | Sn ≥ 2r.


Das Ereignis links tritt für höchstens k verschiedene Werte von mein und demnach ist

Pinfn≥k | Sn | ≥ 2r∑m

P| Sm |< r <∞, k ∈ N.

Mit k →∞ geht die Wahrscheinlichkeit auf der linken Seite nach1. Die Summe konvergiert also und man erhält EηB <∞ für jedebeschränkte Menge B.Diese Erkenntnis führt zu M = ∅.



Satz (Rekurrenz für d=1,2)

Eine Irrfahrt (Sn) in Rd ist rekurrent bezüglich einer der

Konditionen:

(i) d = 1 und n−1SnP−−→ 0;

(ii) d = 2, Eξ1 = 0, und E | ξ1 |2<∞.



Satz (Transienz für d ≥ 3)

Jede beliebige Irrfahrt mit tatsächlicher Dimension d ≥ 3 ist

transient.


Die eindimensionale Irrfahrt

Irrfahrt Sn = ξ1 + ...+ ξn, n ∈ Z+ heiÿt simpel, falls | ξ1 |= 1 fastsicher

Für eine simple, symmetrische Irrfahrt (Sn) sei

un ≡ PS2n = 0 = 2−2n(2nn

), n ∈ Z+.



mit Stirling-Formel n! ≈√2πn(ne )n:

→ un ≡ 1

22n

(2nn

)≈ 1√

πn



Lemma (letzte Rückkehr, Feller)

(Sn) sei eine simple, symmetrische Irrfahrt in Z, un sei deniert laut

voriger Folie und σn = maxk ≤ n;S2k = 0. Dann gilt:

Pσn = k = ukun−k , 0 ≤ k ≤ n.

→ Verbindung zwischen den Wahrscheinlichkeiten un und derVerteilung der letzten Rückkehr zum Ursprung



Lemma (Erstes Maximum, Sparre-Andersen)

Sei (Sn) Irrfahrt mit symmetrischer, diuser Verteilung,

Mn = maxk≤n Sk und τn = mink ≥ 0; Sk = Mn. σn sei als

simple, symmetrische Irrfahrt deniert. Dann gilt:

τnd= σn für jedes n ≥ 0.

”τnd= σn” steht für ”τn hat die selbe Verteilung wie σn”.

→ Verbindung zwischen dem Maximum einer symmetrischenIrrfahrt und der letzten Rückkehrwahrscheinlichkeit



Für allgemeine ein-dimensionale Irrfahrt (Sn):

→ ansteigende Sprungzeiten τ1, τ2, ..., rekursiv gegeben durch

τn = infk > τn−1;Sk > Sτn−1, n ∈ N

→ τ0 = 0



zugehörige ansteigende Sprunghöhen:

→ Zufallsvariablen Sτn , n ∈ N, wobei S∞ = ∞

gleicher Weg für absteigende Sprungzeiten τ−n und -höhen

Sτ−n , n ∈ N



Ersetzen von Sk > Sτn−1 durch Sk ≥ Sτn−1 :

→ schwache ansteigende Sprungzeiten σn und -höhen Sσn


Renewal Theory - Denition

occupation measure η =∑

n≥0 δSn einer transienten Irrfahrt auf R

Übergangs- und Ursprungsverteilung µ und ν

zugehöriges Intensitätsmaÿ Eη = ν ∗∑

n µ∗n ist lokal endlich


Denition

mit starker Markoveigenschaft: Folge (Sτ+n − Sτ ) hat selbeVerteilung für jede endliche Stoppzeit τ

→ Eine Erneuerung ndet dann zum Zeitpunkt τ statt

→ komplettes Thema nennt man demnach Erneuerungstheorie


Denition

Spezialfall: R+ ist Träger von µ und ν

• η als Erneuerungsprozess, basierend auf µ und ν

• Eη als das zugehörige Erneuerungsmaÿ

Normalerweise ist ν = δ0, andernfalls heiÿt η verzögert


Stationärer Erneuerungsprozess

Satz (stationärer Erneuerungsprozess)

Sei η Erneuerungsprozess mit Verteilung µ auf R+ und Mittelwert

c. Dann hat η eine stationäre Version η falls c ∈ (0,∞). In diesem

Fall ist Eη = c−1λ und die Anfangsverteilung von η ist eindeutig

gegeben durch ν = c−1(δ0 − µ) ∗ λ, beziehungsweise

ν[0, t] = c−1∫ t

0

µ(s,∞)ds, t ≥ 0.


Satz (stationäres occupation measure)

Sei η das occupation measure einer Irrfahrt auf R mit Verteilungen

µ und ν, von denen µ Mittelwert c ∈ (0,∞) hat und ν wie in Satz

3.1, (3.1), gegeben durch Verteilung der Sprunghöhe µ und deren

Mittelwert c , deniert ist.Dann ist η stationär auf R+ mit Stärke c−1.

random walks and renewal theory - tu wien

Documents