remarks on non-markov processes

8/6/2019 Remarks on Non-Markov Processes

1/7

9 0 B r a z i l i a n J o u r n a l o f P h y s i c s , v o l . 2 8 , n o . 2 , J u n e , 1 9 9 8

R e m a r k s o n N o n - M a r k o v P r o c e s s e s

N . G . v a n K a m p e n

I n s t i t u t e f o r T h e o r e t i c a l P h y s i c s , U n i v e r s i t y U t r e c h t

P r i n c e t o n p l e i n 5 , 3 5 8 4 C C U t r e c h t ,

T h e N e t h e r l a n d s

R e c e i v e d M a r c h 9 , 1 9 9 8

I t i s e m p h a s i z e d t h a t n o n - M a r k o v i a n p r o c e s s e s , w h i c h o c c u r f o r i n s t a n c e i n t h e c a s e o f

c o l o r e d n o i s e , c a n n o t b e c o n s i d e r e d m e r e l y a s c o r r e c t i o n s t o t h e c l a s s o f M a r k o v p r o c e s s e s

b u t r e q u i r e s p e c i a l t r e a t m e n t . M a n y f a m i l i a r c o n c e p t s , s u c h a s r s t - p a s s a g e t i m e s , n o l o n g e r

a p p l y a n d n e e d b e r e c o n s i d e r e d . S e v e r a l m e t h o d s o f d e a l i n g w i t h n o n - M a r k o v p r o c e s s e s a r e

d i s c u s s e d . A s a n e x a m p l e a r e c e n t a p p l i c a t i o n t o t h e t r a n s p o r t o f i o n s t h r o u g h a m e m b r a n e

i s b r i e y m e n t i o n e d .

I . D e n i t i o n o f M a r k o v p r o c e s s e s .

T h e t e r m ` n o n - M a r k o v P r o c e s s ' c o v e r s a l l r a n d o m

p r o c e s s e s w i t h t h e e x c e p t i o n o f t h e v e r y s m a l l m i n o r i t y

t h a t h a p p e n s t o h a v e t h e M a r k o v p r o p e r t y .

F I R S T R E M A R K . N o n - M a r k o v i s t h e r u l e , M a r k o v

i s t h e e x c e p t i o n .

I t i s t r u e t h a t t h i s m i n o r i t y h a s b e e n e x t e n s i v e l y s t u d -

i e d , b u t i t i s n o t p r o p e r t o t r e a t n o n - M a r k o v p r o c e s s e s

m e r e l y a s m o d i c a t i o n s o r c o r r e c t i o n s o f t h e M a r k o v

p r o c e s s e s a s i m p r o p e r a s f o r i n s t a n c e t r e a t i n g a l l n o n -

l i n e a r d y n a m i c a l s y s t e m s a s c o r r e c t i o n s t o t h e h a r m o n i c

o s c i l l a t o r . I t h e r e f o r e h a v e t o s t a r t b y r e v i e w i n g s o m e

g e n e r a l f a c t s 1 , 2 .

A s t o c h a s t i c p r o c e s s i s a c o l l e c t i o n o f r a n d o m v a r i -

a b l e s X

t

, l a b e l e d b y a n i n d e x t w h i c h m a y b e d i s c r e t e

b u t m o r e o f t e n c o v e r s a l l r e a l n u m b e r s i n s o m e i n t e r v a l .

T h e s t o c h a s t i c p r o p e r t i e s o f f X

t

g a r e e x p r e s s e d b y t h e

j o i n t d i s t r i b u t i o n f u n c t i o n s

c

P

n

x

1

; t

1

; x

2

; t

2

; : : : ; x

n

; t

n

d x

1

d x

2

: : : d x

n

= p r o b a b i l i t y t h a t

x

1

X

t

1

x

1

+ d x

1

; x

2

X

t

2

x

2

+ d x

2

; : : : ; x

n

X

t

n

x

n

+ d x

n

: 1

T h e p r o c e s s i s u n i q u e l y d e n e d b y t h e e n t i r e s e t o f t h e s e d i s t r i b u t i o n f u n c t i o n s f o r n = 1 ; 2 ; : : : , w h i c h i n g e n e r a l i s

i n n i t e .

W h e n t h e v a l u e s X

t

1

= x

1

; X

t

2

= x

2

; : : : ; X

t

k

= x

k

a r e g i v e n , t h e r e m a i n i n g v a r i a b l e s o b e y t h e c o n d i t i o n a l

p r o b a b i l i t y d i s t r i b u t i o n f u n c t i o n

P x

k + 1

; t

k + 1

; : : : ; x

n

; t

n

j x

1

; t

1

; : : : ; x

k

; t

k

=

P

n

x

1

; t

1

; : : : ; x

k

; t

k

; x

k + 1

; t

k + 1

; : : : ; x

n

; t

n

P x

1

; t

1

; : : : ; x

k

; t

k

:

T h i s t e x t c o r r e s p o n d s t o a n i n v i t e d t a l k a t t h e W o r k s h o p o n t h e F o u n d a t i o n s o f S t a t i s t i c a l M e c h a n i c s a n d T h e r m o d y n a m i c s " h e l d

i n N a t a l , B r a z i l , i n O c t o b e r , 1 9 9 7 .


2/7

N . G . v a n K a m p e n 9 1

T h i s i s a p r o b a b i l i t y d i s t r i b u t i o n o f X

t

k + 1

; : : : ; X

t

n

, i n

w h i c h x

1

; : : : ; x

k

e n t e r a s p a r a m e t e r s . L e t u s t a k e t h e

t

i

i n c h r o n o l o g i c a l o r d e r , t h e n t h e p r o c e s s i s M a r k o v i f

t h i s c o n d i t i o n a l p r o b a b i l i t y d e p e n d s o n t h e l a t e s t v a l u e

x

k

a t t

k

a l o n e a n d i s i n d e p e n d e n t o f t h e e a r l i e r v a l u e s

x

i k

. T h i s m u s t h o l d f o r a l l n , f o r a n y c h o i c e o f k ,

a n d f o r a n y t

1

; : : : ; t

k

a n d x

1

; : : : ; x

k

. I f t h i s i s t r u e , a l l

P

n

c a n b e c o n s t r u c t e d o n c e P

1

a n d P

2

a r e g i v e n . F o r

e x a m p l e ,

c

P

3

x

1

; t

1

; x

2

; t

2

; x

3

; t

3

= P x

3

; t

3

j x

1

; t

1

; x

2

; t

2

P

2

x

1

; t

1

; x

2

; t

2

= P x

3

; t

3

j x

2

; t

2

P x

2

; t

2

j x

1

; t

1

P

1

x

1

; t

1

: 2

d

S E C O N D R E M A R K . T h e r e a s o n f o r t h e p o p u l a r -

i t y o f M a r k o v p r o c e s s e s i s t h e f a c t t h a t t h e y a r e f u l l y

d e t e r m i n e d b y t h e s e t w o f u n c t i o n s a l o n e . F o r n o n -

M a r k o v p r o c e s s e s t h e d i s t r i b u t i o n f u n c t i o n s 1 m u s t

b e d e t e r m i n e d b y s o m e o t h e r m e a n s , u s u a l l y a n e n -

t i r e l y d i e r e n t m a t h e m a t i c a l c o n s t r u c t i o n . F o r M -

p r o c e s s e s i t m a k e s t h e r e f o r e s e n s e t o h o n o r t h e f u n c t i o n

P x

2

; t

2

j x

1

; t

1

w i t h t h e n a m e t r a n s i t i o n p r o b a b i l i t y .

I I . E x a m p l e .

S y m m e t r i c r a n d o m w a l k i n 1 d i m e n s i o n . H e r e

t = 0 ; 1 ; 2 ; : : : a n d x t a k e s i n t e g e r v a l u e s i . T h e p r o c e s s

i s M a r k o v i a n w i t h s y m m e t r i c t r a n s i t i o n p r o b a b i l i t y

P i ; t + 1 j i

0

; t =

1

2

i ; i

0

+ 1

+

1

2

i ; i

0

, 1

:

B u t s u p p o s e t h e w a l k e r h a s a t e n d e n c y t o p e r s i s t i n h i s

d i r e c t i o n : p r o b a b i l i t y p t o s t e p i n t h e s a m e d i r e c t i o n ,

a n d q t o r e t u r n 3 . T h e n X

t

i s n o l o n g e r M a r k o v i a n

s i n c e t h e p r o b a b i l i t y o f X

t

d e p e n d s n o t j u s t o n x

t , 1

b u t a l s o o n x

t , 2

. T h i s m a y b e r e m e d i e d b y i n t r o d u c -

i n g t h e t w o - c o m p o n e n t v a r i a b l e f X

t

; X

t , 1

g . T h i s j o i n t

v a r i a b l e i s a g a i n M a r k o v i a n , w i t h t r a n s i t i o n p r o b a b i l i t y

P i

1

; i

2

; t + 1 j i

0

1

; i

0

2

; t =

i

2

; i

0

1

p

i

1

, i

2

; i

0

1

, i

0

2

+ q

i

1

; i

0

2

:

T H I R D R E M A R K . A p h y s i c a l p r o c e s s i . e . s o m e

p h y s i c a l p h e n o m e n o n e v o l v i n g i n t i m e m a y o r m a y n o t

b e M a r k o v i a n , d e p e n d i n g o n t h e v a r i a b l e s u s e d t o d e -

s c r i b e i t .

I f t h e m e m o r y o f o u r r a n d o m w a l k i n v o l v e s m o r e p r e -

c e d i n g s t e p s , m o r e a d d i t i o n a l v a r i a b l e s a r e n e e d e d .

T h a t d o e s n o l o n g e r w o r k , h o w e v e r , i f t h e m e m o r y e x -

t e n d s o v e r a l l p r e v i o u s s t e p s . E x a m p l e : p o l y m e r s w i t h

e x c l u d e d v o l u m e . T h i s p r o b l e m i s o f t e n m o d e l l e d a s a

r a n d o m w a l k , b u t i t i s i r r e m e d i a b l y n o n - M a r k o v a n d

h a s n o t b e e n s o l v e d 4 .

I I I . T h e m a s t e r e q u a t i o n

T a k e a M a r k o v p r o c e s s i n w h i c h t i s t h e t i m e w h i l e

X

t

t a k e s d i s c r e t e v a l u e s i = 0 ; 1 ; 2 ; : : : I n e q . 2 t a k e

t

3

= t

2

+ t ,

c

P

3

i

1

; t

1

; i

2

; t

2

; i

3

; t

2

+ t

P

1

i

1

; t

1

= P i

3

; t

2

+ t j i

2

; t

2

P i

2

; t

2

j i

1

; t

1

:

S u m o v e r i

2

a n d t a k e t h e l i m i t t o o b t a i n t h e m a s t e r e q u a t i o n

_

P i ; t j i

1

; t

1

=

X

i

0

f W

i ; i

0

P i

0

; t j i

1

; t

1

, W

i

0

; i

P i ; t j i

1

; t

1

g : 3


3/7


T h e W

i ; i

0

a r e t r a n s i t i o n p r o b a b i l i t i e s p e r u n i t t i m e a n d

a r e p r o p e r t i e s b e l o n g i n g t o t h e p h y s i c a l s y s t e m s u c h

a s s q u a r e s o f m a t r i x e l e m e n t s , w h i l e P r e f e r s t o t h e

s t a t e o f t h e s y s t e m . T h e p a r a m e t e r s i

1

; t

1

a r e o f t e n n o t

w r i t t e n , w h i c h m a y l e a d t o t h e m i s c o n c e p t i o n t h a t P

i n 3 i s t h e s a m e a s P

1

i n 1 .

F O U R T H R E M A R K . T h e m a s t e r e q u a t i o n i s a n

e q u a t i o n f o r t h e t r a n s i t i o n p r o b a b i l i t y o f a M a r k o v p r o -

c e s s , v a l i d f o r a n y i n i t i a l i

1

; t

1

. I f o n e k n o w s i n a d d i t i o n

P

1

i

1

; t

1

t h e w h o l e h i e r a r c h y 1 a n d t h u s t h e p r o c e s s

i s u n i q u e l y d e t e r m i n e d f o r t

1

.

W a r n i n g . I n t h e l i t e r a t u r e o n e o c c a s i o n a l l y e n c o u n -

t e r s s o m e t h i n g c a l l e d a m a s t e r e q u a t i o n w i t h m e m -

o r y " ,

c

_

P i ; t j i

i

; t

1

=

Z

t

t

1

d t

0

X

i

0

f W

i ; i

0

t , t

0

P i

0

; t

0

j i

1

; t

1

, W

i

0

; i

t , t

0

P i ; t

0

j i

1

; t

1

g ;

d

w i t h t h e c l a i m t h a t i t d e n e s a n o n - M a r k o v p r o c e s s .

O b j e c t i o n s . i A n o n - M a r k o v p r o c e s s i s n o t d e n e d

w h e n m e r e l y P i ; t j i

1

; t

1

i s k n o w n . i i T h e e q u a t i o n

c a n n o t b e t r u e f o r e v e r y x

1

; t

1

. i i i T h e e q u a t i o n i s n o

g u a r a n t e e t h a t t h e p r o c e s s i s n o t M a r k o v i a n 5 .

I V . D i u s i o n .

L e t x b e c o n t i n u o u s a s w e l l . T h e n W

i ; i

0

t a k e s t h e

f o r m o f a n i n t e g r a l k e r n e l W x j x

0

. I f t h e p r o c e s s i s

s u c h t h a t d u r i n g a n i n n i t e l y s h o r t t o n l y i n n i t e l y

s m a l l j u m p s a r e p o s s i b l e , t h e n t h e k e r n e l r e d u c e s t o a

d i e r e n t i a l o p e r a t o r 6 . T h e s i m p l e s t e x a m p l e i s t h e

d i u s i o n e q u a t i o n f o r t h e c o o r d i n a t e x o f a B r o w n i a n

p a r t i c l e ,

@ P x ; t

@ t

= D

@

2

P x ; t

@ x

2

: 4

T h e s o l u t i o n o f t h i s e q u a t i o n s p e c i e d b y t h e i n i t i a l c o n -

d i t i o n P x ; t

1

= x , x

1

i s t h e t r a n s i t i o n p r o b a b i l i t y

P x ; t j x

1

; t

1

.

H e r e t h e c o o r d i n a t e i s t r e a t e d a s M a r k o v i a n , a l -

t h o u g h t h e p a r t i c l e h a s a v e l o c i t y v a s w e l l . O n e o u g h t

t h e r e f o r e t o c o n s i d e r t h e j o i n t v a r i a b l e f x ; v g a s M a r k o -

v i a n , w i t h m a s t e r e q u a t i o n

c

@ P x ; v ; t

@ t

= , v

@ P

@ x

+ U

0

x

@ P

@ v

+

@

@ v

v P + T

@

2

P

@ v

2

: 5

T h i s i s K r a m e r s ' e q u a t i o n 7 ; i s a f r i c t i o n c o e c i e n t a n d U x a n e x t e r n a l p o t e n t i a l .

I n t h i s p i c t u r e x b y i t s e l f i s n o t M a r k o v . H o w i s t h a t c o m p a t i b l e w i t h 4 ? T h e a n s w e r i s t h a t f o r l a r g e t h e

c o l l i s i o n s a r e s o f r e q u e n t t h a t t h e v e l o c i t y d i s t r i b u t i o n r a p i d l y b e c o m e s l o c a l l y M a x w e l l i a n ,

P x ; v ; t , ! P x ; t

e x p , v

2

= 2 T

p

2 T

: 6

T h i s m a k e s i t p o s s i b l e t o e l i m i n a t e v s o t h a t t h e r e r e m a i n s a n e q u a t i o n f o r P x ; t b y i t s e l f 7 , 1 , n a m e l y

@ P x ; t

@ t

=

1

@

2

P

@ x

2

+

@

@ x

U

0

x

T

P

+ O

, 2

: 7


4/7

N . G . v a n K a m p e n 9 3

V . F i r s t - p a s s a g e p r o b l e m s .

C o n s i d e r o n e - d i m e n s i o n a l d i u s i o n i n a p o t e n t i a l

e l d a s g i v e n b y 7 . L e t i t t a k e p l a c e i n a n i t e m e d i u m

x

a

x x

c

F i g u r e 1 . W h e n t h e d i u s i n g p a r t i c l e

s t a r t s a t a n i n t e r i o r p o i n t x

b

, w h a t a r e t h e c h a n c e s t h a t

i t w i l l e x i t t h r o u g h x

a

o r x

c

, r e s p e c t i v e l y ?

F i g u r e 1

T h e a n s w e r i s o b t a i n e d b y s o l v i n g 7 w i t h a b s o r b i n g

b o u n d a r y c o n d i t i o n s : P x

a

; t = 0 a n d P x

c

; t = 0 .

T h e s o l u t i o n c a n b e o b t a i n e d e x p l i c i t l y t h a n k s t o t h e

f a c t t h a t t h e t i m e d o e s n o t o c c u r i n t h e e q u a t i o n f o r

t h e p r o b a b i l i t i e s . I t i s c l e a r t h a t w h e n x

b

i s a t t h e t o p

o f a h i g h m a x i m u m o f U x t h e e x i t p r o b a b i l i t i e s w i l l

b e f t y - f t y . I t i s a l s o p o s s i b l e t o n d t h e m e a n t i m e

f o r e i t h e r e x i t 2 .

I n t h r e e d i m e n s i o n s t h e q u e s t i o n i s : W h e n I s u r -

r o u n d t h e p o t e n t i a l m a x i m u m b y a c l o s e d s u r f a c e , w h a t

i s t h e p r o b a b i l i t y d i s t r i b u t i o n o f t h e e x i t p o i n t s o n t h a t

s u r f a c e a n d h o w l o n g d o e s i t t a k e ? T h i s p r o b l e m c a n

b e f o r m u l a t e d i n t h e s a m e w a y , b u t c a n n o t u s u a l l y b e

s o l v e d a n a l y t i c a l l y .

F o r a p a r t i c l e d e s c r i b e d b y 5 , h o w e v e r , t h e c o o r d i -

n a t e i s n o t M a r k o v i a n a n d i t d o e s n o t s u c e t h e r e f o r e

t o k n o w t h a t x t

1

= x

b

: o n e a l s o h a s t o k n o w i t s

p r e c e d i n g h i s t o r y . I n t h e p r e s e n t c a s e , t h a t h i s t o r y i s

r e p r e s e n t e d b y t h e v a l u e o f v a t t

1

. O f c o u r s e i t i s p o s s i -

b l e t o s i m p l y p i c k a n i n i t i a l P

1

x ; v ; t

1

, b u t t h e c o r r e c t

c h o i c e d e p e n d s o n t h e p r o b l e m o n e w a n t s t o s o l v e . F o r

i n s t a n c e I w a n t t o c o m p u t e t h e a u t o c o r r e l a t i o n f u n c t i o n

o f x ,

c

x t

1

x t

2

=

Z

x

1

x

2

P x

1

; v

1

; t

1

; x

2

; v

2

; t

2

d x

1

d x

2

d v

1

d v

2

=

Z

x

1

x

2

P

1

x

1

; v

1

; t

1

P x

2

; v

2

; t

2

j x

1

; v

1

; t

1

d x

1

d x

2

d v

1

d v

2

:

d

E v i d e n t l y o n e n e e d s t o k n o w t h e c o r r e c t i n i t i a l d i s t r i -

b u t i o n P

1

x ; v ; t . O n l y i n t h e l i m i t o f l a r g e m a y i t

b e r e p l a c e d w i t h P

1

x ; t

1

w i t h t h e a i d o f 6 .

F I F T H R E M A R K . F o r a n o n - M a r k o v p r o c e s s t h e

i n i t i a l v a l u e p r o b l e m i s n o t w e l l - d e n e d u n l e s s f u r t h e r

i n f o r m a t i o n a b o u t t h e p r o b l e m i s s u p p l i e d .

O f m o r e i n t e r e s t i s t h e q u e s t i o n o f e s c a p e f r o m a

p o t e n t i a l m i n i m u m s u c h a s x

a

i n F i g . 2 . H o w l o n g d o e s

i t t a k e t o g e t a c r o s s t h e b a r r i e r ? H e r e t h e a m b i g u i t y

o f t h e i n i t i a l v e l o c i t y i s h a r m l e s s b e c a u s e t h e p a r t i c l e

m o v e s a r o u n d i n t h e p o t e n t i a l v a l l e y l o n g e n o u g h f o r

t h e M a x w e l l i a n 6 t o p r e v a i l .

F i g u r e 2

I n t h e c a s e o f d i u s i o n d e s c r i b e d b y 7 o n e m a y

t a k e t h e m e a n t i m e o f r s t a r r i v a l a t x

b

a n d m u l t i p l y


5/7


b y 2 b e c a u s e o n c e i n x

b

t h e r e i s e q u a l p r o b a b i l i t y t o e s -

c a p e o r g o b a c k . T h e m e a n r s t - p a s s a g e t i m e c a n a g a i n

b e c o m p u t e d a n a l y t i c a l l y . I n m o r e d i m e n s i o n s h o w e v e r ,

t h e q u e s t i o n i s : H o w l o n g d o e s i t t a k e t o e s c a p e f r o m

a m i n i m u m x

a

s u r r o u n d e d b y a p o t e n t i a l r i d g e ? T h i s

m e a n t i m e i s d e t e r m i n e d b y t h e l o w e s t m o u n t a i n p a s s

o n t h e r i d g e a n d a n e l e g a n t a p p r o x i m a t i o n i s a v a i l a b l e

8 .

F i g u r e 3

I n K r a m e r s ' e q u a t i o n 5 , h o w e v e r , i t i s n o t e n o u g h

t o c o m p u t e t h e t i m e f o r x t t o r e a c h x

b

b e c a u s e x t

i s n o t M a r k o v i a n a n d o n e c a n n o t t e l l t h e p r o b a b i l i t y

o f s u b s e q u e n t e s c a p e w i t h o u t t a k i n g i n t o a c c o u n t v .

I t i s n e c e s s a r y t o r e f o r m u l a t e t h e p r o b l e m b y p i c k i n g

a l a r g e x

c

a n d s o l v i n g 5 w i t h b o u n d a r y c o n d i t i o n :

P x

c

; v ; t = 0 f o r v 0 F i g . 3 . T h i s i s t h e m u c h

d i s c u s s e d K r a m e r s p r o b l e m 7 , 9 .

S I X T H R E M A R K . F o r n o n - M a r k o v p r o c e s s e s t h e

r s t - p a s s a g e p r o b l e m m a y b e f o r m u l a t e d b u t i t s p h y s i -

c a l r e l e v a n c e i s q u e s t i o n a b l e .

V I . L a n g e v i n e q u a t i o n a n d c o l o r e d n o i s e .

W e s t a r t f r o m K r a m e r s ' e q u a t i o n 5 a n d c o n s i d e r

t h e s p a t i a l l y h o m o g e n e o u s c a s e U

0

= 0 . T h e n i t i s p o s -

s i b l e t o i n t e g r a t e o v e r x a n d o b t a i n a n e q u a t i o n f o r t h e

d i s t r i b u t i o n P v ; t o f v a l o n e ,

@ P v ; t

@ t

=

@

@ v

v P + T

@

2

P

@ v

2

: 8

T h e M a r k o v p r o c e s s v t d e s c r i b e d b y t h i s m a s t e r e q u a -

t i o n i s t h e O r n s t e i n - U h l e n b e c k p r o c e s s . A m a t h e m a t -

i c a l l y e q u i v a l e n t w a y o f d e s c r i b i n g t h i s p r o c e s s i s t h e

L a n g e v i n e q u a t i o n ,

_v = , v + t ; 9

w h e r e t i s a s t o c h a s t i c f u n c t i o n , c a l l e d G a u s s i a n

w h i t e n o i s e , w h o s e s t o c h a s t i c p r o p e r t i e s a r e d e t e r m i n e d

b y

c

t = 0 ; t t

0

= C t , t

0

: 1 0

d

A s a r e s u l t , t h e s o l u t i o n v t w i t h g i v e n i n i t i a l v a l u e

v t

1

= v

1

i s a l s o a s t o c h a s t i c f u n c t i o n a n d M a r k o v i a n ,

i t s m a s t e r e q u a t i o n b e i n g 8 i f o n e t a k e s C = 2 T . T h e

L a n g e v i n e q u a t i o n 9 w i t h 1 0 i s p o p u l a r , b e c a u s e i t

i s m o r e i n t u i t i v e t h a n 8 , b u t i t i s n o t b e t t e r .

N u m e r o u s a u t h o r s h a v e g e n e r a l i z e d 9 b y t a k i n g

t n o n - w h i t e o r c o l o r e d n o i s e , i . e . , n o t d e l t a - c o r r e l a t e d

1 0

t t

0

= t , t

0

: 1 1

w i t h s o m e e v e n f u n c t i o n .

S E V E N T H R E M A R K . W h e n t h e n o i s e i n t h e L -

e q u a t i o n i s n o t w h i t e t h e v a r i a b l e v t i s n o t M a r k o v .

H e n c e f o r t h e L a n g e v i n e q u a t i o n w i t h c o l o r e d n o i s e o n e

c a n n o t f o r m u l a t e a m e a n i n g f u l i n i t i a l c o n d i t i o n o r a

r s t - p a s s a g e t i m e .

A d i e r e n t g e n e r a l i z a t i o n o f t h e L a n g e v i n e q u a t i o n

9 i s t h e n o n l i n e a r v e r s i o n 1 1 ,

_x = f x + g x t : 1 2

W h e n t i s w h i t e , t h e n x t i s M a r k o v . U n f o r t u n a t e l y

t h e e q u a t i o n a s i t s t a n d s h a s n o w e l l - d e n e d m e a n i n g

a n d h a s t o b e s u p p l i e d b y a n i n t e r p r e t a t i o n r u l e " , e i -

t h e r I t ^ o o r S t r a t o n o v i c h . T o a v o i d t h e v a g a r i e s o f t h e

I t ^ o c a l c u l u s w e c h o o s e t h e l a t t e r . I t c o r r e s p o n d s t o t h e

M - e q u a t i o n ,

@ P x ; t

@ t

= ,

@

@ x

f x P +

C

2

@

@ x

g x

@

@ x

g x P :


6/7

N . G . v a n K a m p e n 9 5

W h e n t i s c o l o r e d , t h e n x t i s n o t M a r k o v a n d n o

M - e q u a t i o n e x i s t s . A t t e m p t s a t c o n s t r u c t i n g a n a l o g o u s

p a r t i a l d i e r e n t i a l e q u a t i o n s a r e d o o m e d t o f a i l . E q .

1 2 b e l o n g s t o t h e g e n e r a l c l a s s o f s t o c h a s t i c d i e r e n -

t i a l e q u a t i o n s . T h e y m a y b e t r e a t e d b y a p p r o x i m a t i o n

m e t h o d s d e v e l o p e d f o r t h e c a s e t h a t t i s o - w h i t e ,

i . e . s h o r t c o r r e l a t i o n a n d s h a r p l y p e a k e d t , t

0

1 2 .

T h e M - e q u a t i o n a p p e a r s a s t h e r s t a p p r o x i m a t i o n .

A n o t h e r d e v i c e , a p p l i c a b l e w h e n t h i s t i m e i s n o t

s h o r t , w a s u s e d b y K u b o 1 3 a n d h a s b e e n r e d i s c o v -

e r e d m a n y t i m e s 1 4 . S u p p o s e t i s i t s e l f a M a r k o v

p r o c e s s g o v e r n e d b y a n M - e q u a t i o n , f o r e x a m p l e t h e

O . - U . p r o c e s s g o v e r n e d b y 8 . T h e n t h e j o i n t v a r i a b l e

x ; i s M a r k o v , w i t h M - e q u a t i o n

c

@ P x ; ; t

@ t

= ,

@

@ x

f f x + g x g P +

@

@

P + T

@

2

P

@

2

: 1 3

d

A g a i n , t h e n o n - M a r k o v x h a s b e e n t a m e d b y i n t r o d u c -

i n g a n a d d i t i o n a l v a r i a b l e .

I n p r a c t i c e t h i s i s o f n o t m u c h h e l p u n l e s s o n e

c h o o s e s f o r t a n e v e n s i m p l e r n o n - w h i t e p r o c e s s , v i z . ,

t h e d i c h o t o m i c M a r k o v p r o c e s s " . T h a t i s , h a s t w o

p o s s i b l e v a l u e s + 1 , - 1 , a n d j u m p s w i t h a c o n s t a n t p r o b -

a b i l i t y p e r u n i t t i m e , a s d e s c r i b e d b y t h e M - e q u a t i o n

_

P

+

= , P

+

+ P

,

_

P

,

= P

+

, P

,

:

W i t h t h i s c h o i c e e q u a t i o n 1 3 r e d u c e s t o

@

@ t

P

+

x ; t = ,

@

@ x

f + g P

+

, P

+

+ P

,

@

@ t

P

,

x ; t = ,

@

@ x

f , g P

,

+ P

+

, P

,

w h i c h i s l e s s f o r b i d d i n g , b u t s t i l l t h e s u b j e c t o f m a n y

a r t i c l e s 1 5 . O t h e r c h o i c e s f o r t , t w o - v a l u e d b u t n o t

M a r k o v i a n , h a v e a l s o b e e n c o n s i d e r e d 1 6 .

V I I . A c l a s s o f n o n - M a r k o v p r o c e s s e s .

I n v a r i o u s c o n n e c t i o n s t h e f o l l o w i n g t y p e o f p r o c e s s

o c c u r s 1 7 , 1 8 . L e t X

t

h a v e t w o o r m o r e p o s s i b l e s t a t e s

j , a n d i n e a c h i t h a s a p r o b a b i l i t y p e r u n i t t i m e

i j

t o

j u m p t o i . I f t h e

i j

a r e c o n s t a n t s , f X

t

g i s a M a r k o v

p r o c e s s w i t h M - e q u a t i o n 3 . H o w e v e r , s u p p o s e t h e y

a r e f u n c t i o n s o f t h e t i m e e l a p s e d s i n c e a r r i v a l i n

j . E x a m p l e s : M o l e c u l e s i n s o l u t i o n m a y g e t s t u c k t o

t h e w a l l t e m p o r a r i l y ; a b a c t e r i u m p r o d u c e s o s p r i n g

a f t e r r e a c h i n g a c e r t a i n a g e . O t h e r e x a m p l e s i n 1 8 , 1 .

T h e p r o b a b i l i t y t h a t X i s s t i l l i n j a t a t i m e t a f t e r

e n t e r i n g i t , i s g i v e n b y

u

j

t = e x p

,

Z

t

o

i

i j

0

d

0

: 1 4

W h e n s t a r t i n g a t t = 0 i n j

0

, i t m a y h a v e a r r i v e d i n

t h e s t a t e j a t t i m e t t h r o u g h a s e q u e n c e o f s t r a n s i -

t i o n s , a t t i m e s t

1

; t

2

; : : : ; t

s

, t a k i n g i t t h r o u g h t h e s t a t e s

j

1

; j

2

; : : : ; j

s

= j . T h e p r o b a b i l i t y f o r t h i s p a r t i c u l a r

h i s t o r y t o h a p p e n i s

c

u

j

0

t

1

j

1

j

0

t

1

u

j

1

t

2

, t

1

j

2

j

1

t

2

, t

1

: : :

j

s

j

s , 1

t

s

, t

s , 1

u

j

s

t , t

s

:

d

T h e p r o b a b i l i t y P

j j

0

t t o b e a t t i m e t i n s t a t e j i s

o b t a i n e d b y s u m m i n g o v e r a l l h i s t o r i e s , t h a t i s : s u m -

m i n g o v e r a l l s a n d a l l j

s

; : : : ; j

s , 1

a n d i n t e g r a t i n g o v e r

a l l i n t e r m e d i a t e t i m e s t

1

; : : : ; t

s

. T h e r e s u l t , w r i t t e n i n

L a p l a c e t r a n s f o r m s , i s

^

P

j j

o

= ^ u

j

"

1

1 ,

^

V

j j

0

; 1 5

w h e r e ^ u

j

i s t h e t r a n s f o r m o f 1 4 , a n d t h e m a t r i x

^

V


7/7


i s

^

V

i j

=

Z

1

0

i j

u

j

e

,

d :

I n s o m e c a s e s t h e r e s u l t 1 5 c a n b e e v a l u a t e d e x -

p l i c i t l y .

E x a m p l e : t r a n s p o r t o f i o n s t h r o u g h a m e m b r a n e .

T h e f o l l o w i n g m o d e l h a s b e e n s u g g e s t e d 1 9 . A m e m -

b r a n e s e p a r a t e s t w o r e s e r v o i r s a n d i o n s m a y e n t e r f r o m

t h e l e f t o r f r o m t h e r i g h t r e s e r v o i r . T h e r a t e s a t w h i c h

t h e y e n t e r i . e . , t h e p r o b a b i l i t i e s p e r u n i t t i m e a r e d e -

t e r m i n e d b y t h e t w o o u t s i d e l i q u i d s , w i t h t h e r e s t r i c t i o n

t h a t t h e r e c a n b e a t n o t i m e m o r e t h a n o n e i o n i n s i d e

t h e m e m b r a n e . O n c e i n s i d e , t h e i o n m a y e x i t a f t e r a

w h i l e o n e i t h e r s i d e . T h u s t h e i n t e r i o r o f t h e m e m b r a n e

i s a s y s t e m h a v i n g 5 s t a t e s :

0 e m p t y ;

1 o n e i o n t h a t e n t e r e d a t l e f t a n d i s d e s t i n e d t o

e x i t a t r i g h t ;

2 o n e i o n f r o m t h e l e f t d e s t i n e d t o e x i t a t l e f t ;

3 , 4 t w o s i m i l a r s t a t e s w i t h i o n s f r o m t h e r i g h t .

T h e e x i t s o c c u r w i t h p r o b a b i l i t i e s

o j

p e r u n i t t i m e

j = 1 ; 2 ; 3 ; 4 , w h i c h d e p e n d o n t i m e e l a p s e d s i n c e

t h e i o n e n t e r e d . T h i s i s a n o n - M a r k o v p r o c e s s o f t h e

t y p e d e s c r i b e d b y 1 5 . T h e e q u a t i o n c a n b e s o l v e d a n d

m a k e s i t p o s s i b l e t o c o m p u t e s u c h p h y s i c a l l y r e l e v a n t

q u a n t i t i e s a s t h e a v e r a g e o f t h e t r a n s p o r t e d c u r r e n t ,

a n d t h e s p e c t r u m o f u c t u a t i o n s 2 0 .

R e f e r e n c e s

1 N . G . v a n K a m p e n , S t o c h a s t i c P r o c e s s e s i n P h y s i c s a n d

C h e m i s t r y N o r t h - H o l l a n d , A m s t e r d a m 1 9 8 1 , 1 9 9 2 .

2 C . W . G a r d i n e r , H a n d b o o k o f S t o c h a s t i c M e t h o d s

S p r i n g e r , B e r l i n 1 9 8 3 .

3 F . Z e r n i k e , i n H a n d b u c h d e r P h y s i k I I I G e i g e r a n d

S c h e e l e d s . , S p r i n g e r , B e r l i n 1 9 2 6 .

4 M . D o i a n d S . F . E d w a r d s , T h e T h e o r y o f P o l y m e r D y -

n a m i c s O x f o r d U n i v . P r e s s 1 9 8 6 .

5 F o r a c o u n t e r e x a m p l e s e e r e f . 1 , c h I V , e q . 2 . 9 .

6 W . F e l l e r , A n I n t r o d u c t i o n t o P r o b a b i l i t y T h e o r y a n d

i t s A p p l i c a t i o n s I 2

n d

e d . , W i l e y , N e w Y o r k 1 9 6 6 p .

3 2 3 .

7 H . A . K r a m e r s , P h y s i c a 7 , 2 8 4 1 9 4 0 .

8 Z . S c h u s s a n d B . M a t k o w s k i , S I A M J . A p p l . M a t h . 3 5 ,

6 0 4 1 9 7 0 .

9 P . H a n g g i , P . T a l k n e r , M . B e r k o v i c h , R e v . M o d . P h y s .

6 2 , 2 5 1 1 9 9 0 .

1 0 E . g . S . F a e t t i a n d P . G r i g o l i n i , P h y s . R e v . A 3 6 , 4 4 1

1 9 8 7 ; M . J . D y k m a n , P h y s . R e v . A 4 2 , 2 0 2 0 1 9 9 0 .

1 1 P . H a n g g i a n d P . R i s e b o r o u g h , P h y s . R e v . A 2 7 , 3 3 7 9

1 9 8 3 ; C . V a n d e n B r o e c k a n d P . H a n g g i , P h y s . R e v .

A 3 0 , 2 7 3 0 1 9 8 4 . F o r a n a p p l i c a t i o n t o l a s e r s s e e S .

Z h u , A . W . Y u , a n d R . R o y , P h y s . . R e v . A 3 4 , 4 3 3 3

1 9 8 6 .

1 2 N . G . v a n K a m p e n , P h y s i c a 7 4 , 2 1 5 a n d 2 3 9 1 9 7 4 ;

P h y s i c s R e p o r t s 2 4 , 1 7 1 1 9 7 6 ; J . S t a t . P h y s . 5 4 , 1 2 8 9

1 9 8 9 ; R . H . T e r w i e l , P h y s i c a 7 4 , 2 4 8 1 9 7 4 .

1 3 R . K u b o , i n S t o c h a s t i c P r o c e s s e s i n C h e m i c a l P h y s i c s

K . L . S h u l e r e d . , I n t e r s c i e n c e , N e w Y o r k 1 9 6 9 .

1 4 E . g . A . J . B r a y a n d A . J . M c K a n e , P h y s . R e v . L e t t e r s

6 2 , 4 9 3 1 9 8 9 ; D . T . G i l l e s p i e , A m . J . P h y s . 6 4 , 1 2 4 6

1 9 9 6 .

1 5 M u c h l i t e r a t u r e i s g i v e n i n A . F u l i n s k i , P h y s . R e v . E

5 0 , 2 6 6 8 1 9 9 4 .

1 6 R . F . P a w u l a , J . M . P o r r a , a n d J . M a s o l i v e r , P h y s . R e v .

E 4 7 , 1 8 9 1 9 9 3 ; J . M . P o n t a , J . M a s o l i v e r , a n d K .

L i n d e n b e r g , P h y s . R e v . E 4 8 , 9 5 1 1 9 9 3 .

1 7 G . H . W e i s s , J . S t a t . P h y s . 8 , 2 2 1 1 9 7 3 ; K . J . L i n d e n -

b e r g a n d R . C u k i e r , J . C h e m . P h y s . 6 7 , 5 6 8 1 9 7 7 .

1 8 N . G . v a n K a m p e n , P h y s i c a A 9 6 , 4 3 5 1 9 7 9 .

1 9 E . B a r k a i , R . S . E i s e n b e r g , a n d Z . S c h u s s , P h y s . R e v .

E 5 4 , 1 1 9 9 6 .

2 0 N . G . v a n K a m p e n , P h y s i c a A 2 4 4 , 4 1 4 1 9 9 7 .

remarks on non-markov processes

Documents