Download - Remarks on Non-Markov Processes
-
8/6/2019 Remarks on Non-Markov Processes
1/7
9 0 B r a z i l i a n J o u r n a l o f P h y s i c s , v o l . 2 8 , n o . 2 , J u n e , 1 9 9 8
R e m a r k s o n N o n - M a r k o v P r o c e s s e s
N . G . v a n K a m p e n
I n s t i t u t e f o r T h e o r e t i c a l P h y s i c s , U n i v e r s i t y U t r e c h t
P r i n c e t o n p l e i n 5 , 3 5 8 4 C C U t r e c h t ,
T h e N e t h e r l a n d s
R e c e i v e d M a r c h 9 , 1 9 9 8
I t i s e m p h a s i z e d t h a t n o n - M a r k o v i a n p r o c e s s e s , w h i c h o c c u r f o r i n s t a n c e i n t h e c a s e o f
c o l o r e d n o i s e , c a n n o t b e c o n s i d e r e d m e r e l y a s c o r r e c t i o n s t o t h e c l a s s o f M a r k o v p r o c e s s e s
b u t r e q u i r e s p e c i a l t r e a t m e n t . M a n y f a m i l i a r c o n c e p t s , s u c h a s r s t - p a s s a g e t i m e s , n o l o n g e r
a p p l y a n d n e e d b e r e c o n s i d e r e d . S e v e r a l m e t h o d s o f d e a l i n g w i t h n o n - M a r k o v p r o c e s s e s a r e
d i s c u s s e d . A s a n e x a m p l e a r e c e n t a p p l i c a t i o n t o t h e t r a n s p o r t o f i o n s t h r o u g h a m e m b r a n e
i s b r i e y m e n t i o n e d .
I . D e n i t i o n o f M a r k o v p r o c e s s e s .
T h e t e r m ` n o n - M a r k o v P r o c e s s ' c o v e r s a l l r a n d o m
p r o c e s s e s w i t h t h e e x c e p t i o n o f t h e v e r y s m a l l m i n o r i t y
t h a t h a p p e n s t o h a v e t h e M a r k o v p r o p e r t y .
F I R S T R E M A R K . N o n - M a r k o v i s t h e r u l e , M a r k o v
i s t h e e x c e p t i o n .
I t i s t r u e t h a t t h i s m i n o r i t y h a s b e e n e x t e n s i v e l y s t u d -
i e d , b u t i t i s n o t p r o p e r t o t r e a t n o n - M a r k o v p r o c e s s e s
m e r e l y a s m o d i c a t i o n s o r c o r r e c t i o n s o f t h e M a r k o v
p r o c e s s e s a s i m p r o p e r a s f o r i n s t a n c e t r e a t i n g a l l n o n -
l i n e a r d y n a m i c a l s y s t e m s a s c o r r e c t i o n s t o t h e h a r m o n i c
o s c i l l a t o r . I t h e r e f o r e h a v e t o s t a r t b y r e v i e w i n g s o m e
g e n e r a l f a c t s 1 , 2 .
A s t o c h a s t i c p r o c e s s i s a c o l l e c t i o n o f r a n d o m v a r i -
a b l e s X
t
, l a b e l e d b y a n i n d e x t w h i c h m a y b e d i s c r e t e
b u t m o r e o f t e n c o v e r s a l l r e a l n u m b e r s i n s o m e i n t e r v a l .
T h e s t o c h a s t i c p r o p e r t i e s o f f X
t
g a r e e x p r e s s e d b y t h e
j o i n t d i s t r i b u t i o n f u n c t i o n s
c
P
n
x
1
; t
1
; x
2
; t
2
; : : : ; x
n
; t
n
d x
1
d x
2
: : : d x
n
= p r o b a b i l i t y t h a t
x
1
X
t
1
x
1
+ d x
1
; x
2
X
t
2
x
2
+ d x
2
; : : : ; x
n
X
t
n
x
n
+ d x
n
: 1
T h e p r o c e s s i s u n i q u e l y d e n e d b y t h e e n t i r e s e t o f t h e s e d i s t r i b u t i o n f u n c t i o n s f o r n = 1 ; 2 ; : : : , w h i c h i n g e n e r a l i s
i n n i t e .
W h e n t h e v a l u e s X
t
1
= x
1
; X
t
2
= x
2
; : : : ; X
t
k
= x
k
a r e g i v e n , t h e r e m a i n i n g v a r i a b l e s o b e y t h e c o n d i t i o n a l
p r o b a b i l i t y d i s t r i b u t i o n f u n c t i o n
P x
k + 1
; t
k + 1
; : : : ; x
n
; t
n
j x
1
; t
1
; : : : ; x
k
; t
k
=
P
n
x
1
; t
1
; : : : ; x
k
; t
k
; x
k + 1
; t
k + 1
; : : : ; x
n
; t
n
P x
1
; t
1
; : : : ; x
k
; t
k
:
T h i s t e x t c o r r e s p o n d s t o a n i n v i t e d t a l k a t t h e W o r k s h o p o n t h e F o u n d a t i o n s o f S t a t i s t i c a l M e c h a n i c s a n d T h e r m o d y n a m i c s " h e l d
i n N a t a l , B r a z i l , i n O c t o b e r , 1 9 9 7 .
-
8/6/2019 Remarks on Non-Markov Processes
2/7
N . G . v a n K a m p e n 9 1
T h i s i s a p r o b a b i l i t y d i s t r i b u t i o n o f X
t
k + 1
; : : : ; X
t
n
, i n
w h i c h x
1
; : : : ; x
k
e n t e r a s p a r a m e t e r s . L e t u s t a k e t h e
t
i
i n c h r o n o l o g i c a l o r d e r , t h e n t h e p r o c e s s i s M a r k o v i f
t h i s c o n d i t i o n a l p r o b a b i l i t y d e p e n d s o n t h e l a t e s t v a l u e
x
k
a t t
k
a l o n e a n d i s i n d e p e n d e n t o f t h e e a r l i e r v a l u e s
x
i k
. T h i s m u s t h o l d f o r a l l n , f o r a n y c h o i c e o f k ,
a n d f o r a n y t
1
; : : : ; t
k
a n d x
1
; : : : ; x
k
. I f t h i s i s t r u e , a l l
P
n
c a n b e c o n s t r u c t e d o n c e P
1
a n d P
2
a r e g i v e n . F o r
e x a m p l e ,
c
P
3
x
1
; t
1
; x
2
; t
2
; x
3
; t
3
= P x
3
; t
3
j x
1
; t
1
; x
2
; t
2
P
2
x
1
; t
1
; x
2
; t
2
= P x
3
; t
3
j x
2
; t
2
P x
2
; t
2
j x
1
; t
1
P
1
x
1
; t
1
: 2
d
S E C O N D R E M A R K . T h e r e a s o n f o r t h e p o p u l a r -
i t y o f M a r k o v p r o c e s s e s i s t h e f a c t t h a t t h e y a r e f u l l y
d e t e r m i n e d b y t h e s e t w o f u n c t i o n s a l o n e . F o r n o n -
M a r k o v p r o c e s s e s t h e d i s t r i b u t i o n f u n c t i o n s 1 m u s t
b e d e t e r m i n e d b y s o m e o t h e r m e a n s , u s u a l l y a n e n -
t i r e l y d i e r e n t m a t h e m a t i c a l c o n s t r u c t i o n . F o r M -
p r o c e s s e s i t m a k e s t h e r e f o r e s e n s e t o h o n o r t h e f u n c t i o n
P x
2
; t
2
j x
1
; t
1
w i t h t h e n a m e t r a n s i t i o n p r o b a b i l i t y .
I I . E x a m p l e .
S y m m e t r i c r a n d o m w a l k i n 1 d i m e n s i o n . H e r e
t = 0 ; 1 ; 2 ; : : : a n d x t a k e s i n t e g e r v a l u e s i . T h e p r o c e s s
i s M a r k o v i a n w i t h s y m m e t r i c t r a n s i t i o n p r o b a b i l i t y
P i ; t + 1 j i
0
; t =
1
2
i ; i
0
+ 1
+
1
2
i ; i
0
, 1
:
B u t s u p p o s e t h e w a l k e r h a s a t e n d e n c y t o p e r s i s t i n h i s
d i r e c t i o n : p r o b a b i l i t y p t o s t e p i n t h e s a m e d i r e c t i o n ,
a n d q t o r e t u r n 3 . T h e n X
t
i s n o l o n g e r M a r k o v i a n
s i n c e t h e p r o b a b i l i t y o f X
t
d e p e n d s n o t j u s t o n x
t , 1
b u t a l s o o n x
t , 2
. T h i s m a y b e r e m e d i e d b y i n t r o d u c -
i n g t h e t w o - c o m p o n e n t v a r i a b l e f X
t
; X
t , 1
g . T h i s j o i n t
v a r i a b l e i s a g a i n M a r k o v i a n , w i t h t r a n s i t i o n p r o b a b i l i t y
P i
1
; i
2
; t + 1 j i
0
1
; i
0
2
; t =
i
2
; i
0
1
p
i
1
, i
2
; i
0
1
, i
0
2
+ q
i
1
; i
0
2
:
T H I R D R E M A R K . A p h y s i c a l p r o c e s s i . e . s o m e
p h y s i c a l p h e n o m e n o n e v o l v i n g i n t i m e m a y o r m a y n o t
b e M a r k o v i a n , d e p e n d i n g o n t h e v a r i a b l e s u s e d t o d e -
s c r i b e i t .
I f t h e m e m o r y o f o u r r a n d o m w a l k i n v o l v e s m o r e p r e -
c e d i n g s t e p s , m o r e a d d i t i o n a l v a r i a b l e s a r e n e e d e d .
T h a t d o e s n o l o n g e r w o r k , h o w e v e r , i f t h e m e m o r y e x -
t e n d s o v e r a l l p r e v i o u s s t e p s . E x a m p l e : p o l y m e r s w i t h
e x c l u d e d v o l u m e . T h i s p r o b l e m i s o f t e n m o d e l l e d a s a
r a n d o m w a l k , b u t i t i s i r r e m e d i a b l y n o n - M a r k o v a n d
h a s n o t b e e n s o l v e d 4 .
I I I . T h e m a s t e r e q u a t i o n
T a k e a M a r k o v p r o c e s s i n w h i c h t i s t h e t i m e w h i l e
X
t
t a k e s d i s c r e t e v a l u e s i = 0 ; 1 ; 2 ; : : : I n e q . 2 t a k e
t
3
= t
2
+ t ,
c
P
3
i
1
; t
1
; i
2
; t
2
; i
3
; t
2
+ t
P
1
i
1
; t
1
= P i
3
; t
2
+ t j i
2
; t
2
P i
2
; t
2
j i
1
; t
1
:
S u m o v e r i
2
a n d t a k e t h e l i m i t t o o b t a i n t h e m a s t e r e q u a t i o n
_
P i ; t j i
1
; t
1
=
X
i
0
f W
i ; i
0
P i
0
; t j i
1
; t
1
, W
i
0
; i
P i ; t j i
1
; t
1
g : 3
-
8/6/2019 Remarks on Non-Markov Processes
3/7
9 2 B r a z i l i a n J o u r n a l o f P h y s i c s , v o l . 2 8 , n o . 2 , J u n e , 1 9 9 8
T h e W
i ; i
0
a r e t r a n s i t i o n p r o b a b i l i t i e s p e r u n i t t i m e a n d
a r e p r o p e r t i e s b e l o n g i n g t o t h e p h y s i c a l s y s t e m s u c h
a s s q u a r e s o f m a t r i x e l e m e n t s , w h i l e P r e f e r s t o t h e
s t a t e o f t h e s y s t e m . T h e p a r a m e t e r s i
1
; t
1
a r e o f t e n n o t
w r i t t e n , w h i c h m a y l e a d t o t h e m i s c o n c e p t i o n t h a t P
i n 3 i s t h e s a m e a s P
1
i n 1 .
F O U R T H R E M A R K . T h e m a s t e r e q u a t i o n i s a n
e q u a t i o n f o r t h e t r a n s i t i o n p r o b a b i l i t y o f a M a r k o v p r o -
c e s s , v a l i d f o r a n y i n i t i a l i
1
; t
1
. I f o n e k n o w s i n a d d i t i o n
P
1
i
1
; t
1
t h e w h o l e h i e r a r c h y 1 a n d t h u s t h e p r o c e s s
i s u n i q u e l y d e t e r m i n e d f o r t
1
.
W a r n i n g . I n t h e l i t e r a t u r e o n e o c c a s i o n a l l y e n c o u n -
t e r s s o m e t h i n g c a l l e d a m a s t e r e q u a t i o n w i t h m e m -
o r y " ,
c
_
P i ; t j i
i
; t
1
=
Z
t
t
1
d t
0
X
i
0
f W
i ; i
0
t , t
0
P i
0
; t
0
j i
1
; t
1
, W
i
0
; i
t , t
0
P i ; t
0
j i
1
; t
1
g ;
d
w i t h t h e c l a i m t h a t i t d e n e s a n o n - M a r k o v p r o c e s s .
O b j e c t i o n s . i A n o n - M a r k o v p r o c e s s i s n o t d e n e d
w h e n m e r e l y P i ; t j i
1
; t
1
i s k n o w n . i i T h e e q u a t i o n
c a n n o t b e t r u e f o r e v e r y x
1
; t
1
. i i i T h e e q u a t i o n i s n o
g u a r a n t e e t h a t t h e p r o c e s s i s n o t M a r k o v i a n 5 .
I V . D i u s i o n .
L e t x b e c o n t i n u o u s a s w e l l . T h e n W
i ; i
0
t a k e s t h e
f o r m o f a n i n t e g r a l k e r n e l W x j x
0
. I f t h e p r o c e s s i s
s u c h t h a t d u r i n g a n i n n i t e l y s h o r t t o n l y i n n i t e l y
s m a l l j u m p s a r e p o s s i b l e , t h e n t h e k e r n e l r e d u c e s t o a
d i e r e n t i a l o p e r a t o r 6 . T h e s i m p l e s t e x a m p l e i s t h e
d i u s i o n e q u a t i o n f o r t h e c o o r d i n a t e x o f a B r o w n i a n
p a r t i c l e ,
@ P x ; t
@ t
= D
@
2
P x ; t
@ x
2
: 4
T h e s o l u t i o n o f t h i s e q u a t i o n s p e c i e d b y t h e i n i t i a l c o n -
d i t i o n P x ; t
1
= x , x
1
i s t h e t r a n s i t i o n p r o b a b i l i t y
P x ; t j x
1
; t
1
.
H e r e t h e c o o r d i n a t e i s t r e a t e d a s M a r k o v i a n , a l -
t h o u g h t h e p a r t i c l e h a s a v e l o c i t y v a s w e l l . O n e o u g h t
t h e r e f o r e t o c o n s i d e r t h e j o i n t v a r i a b l e f x ; v g a s M a r k o -
v i a n , w i t h m a s t e r e q u a t i o n
c
@ P x ; v ; t
@ t
= , v
@ P
@ x
+ U
0
x
@ P
@ v
+
@
@ v
v P + T
@
2
P
@ v
2
: 5
T h i s i s K r a m e r s ' e q u a t i o n 7 ; i s a f r i c t i o n c o e c i e n t a n d U x a n e x t e r n a l p o t e n t i a l .
I n t h i s p i c t u r e x b y i t s e l f i s n o t M a r k o v . H o w i s t h a t c o m p a t i b l e w i t h 4 ? T h e a n s w e r i s t h a t f o r l a r g e t h e
c o l l i s i o n s a r e s o f r e q u e n t t h a t t h e v e l o c i t y d i s t r i b u t i o n r a p i d l y b e c o m e s l o c a l l y M a x w e l l i a n ,
P x ; v ; t , ! P x ; t
e x p , v
2
= 2 T
p
2 T
: 6
T h i s m a k e s i t p o s s i b l e t o e l i m i n a t e v s o t h a t t h e r e r e m a i n s a n e q u a t i o n f o r P x ; t b y i t s e l f 7 , 1 , n a m e l y
@ P x ; t
@ t
=
1
@
2
P
@ x
2
+
@
@ x
U
0
x
T
P
+ O
, 2
: 7
-
8/6/2019 Remarks on Non-Markov Processes
4/7
N . G . v a n K a m p e n 9 3
V . F i r s t - p a s s a g e p r o b l e m s .
C o n s i d e r o n e - d i m e n s i o n a l d i u s i o n i n a p o t e n t i a l
e l d a s g i v e n b y 7 . L e t i t t a k e p l a c e i n a n i t e m e d i u m
x
a
x x
c
F i g u r e 1 . W h e n t h e d i u s i n g p a r t i c l e
s t a r t s a t a n i n t e r i o r p o i n t x
b
, w h a t a r e t h e c h a n c e s t h a t
i t w i l l e x i t t h r o u g h x
a
o r x
c
, r e s p e c t i v e l y ?
F i g u r e 1
T h e a n s w e r i s o b t a i n e d b y s o l v i n g 7 w i t h a b s o r b i n g
b o u n d a r y c o n d i t i o n s : P x
a
; t = 0 a n d P x
c
; t = 0 .
T h e s o l u t i o n c a n b e o b t a i n e d e x p l i c i t l y t h a n k s t o t h e
f a c t t h a t t h e t i m e d o e s n o t o c c u r i n t h e e q u a t i o n f o r
t h e p r o b a b i l i t i e s . I t i s c l e a r t h a t w h e n x
b
i s a t t h e t o p
o f a h i g h m a x i m u m o f U x t h e e x i t p r o b a b i l i t i e s w i l l
b e f t y - f t y . I t i s a l s o p o s s i b l e t o n d t h e m e a n t i m e
f o r e i t h e r e x i t 2 .
I n t h r e e d i m e n s i o n s t h e q u e s t i o n i s : W h e n I s u r -
r o u n d t h e p o t e n t i a l m a x i m u m b y a c l o s e d s u r f a c e , w h a t
i s t h e p r o b a b i l i t y d i s t r i b u t i o n o f t h e e x i t p o i n t s o n t h a t
s u r f a c e a n d h o w l o n g d o e s i t t a k e ? T h i s p r o b l e m c a n
b e f o r m u l a t e d i n t h e s a m e w a y , b u t c a n n o t u s u a l l y b e
s o l v e d a n a l y t i c a l l y .
F o r a p a r t i c l e d e s c r i b e d b y 5 , h o w e v e r , t h e c o o r d i -
n a t e i s n o t M a r k o v i a n a n d i t d o e s n o t s u c e t h e r e f o r e
t o k n o w t h a t x t
1
= x
b
: o n e a l s o h a s t o k n o w i t s
p r e c e d i n g h i s t o r y . I n t h e p r e s e n t c a s e , t h a t h i s t o r y i s
r e p r e s e n t e d b y t h e v a l u e o f v a t t
1
. O f c o u r s e i t i s p o s s i -
b l e t o s i m p l y p i c k a n i n i t i a l P
1
x ; v ; t
1
, b u t t h e c o r r e c t
c h o i c e d e p e n d s o n t h e p r o b l e m o n e w a n t s t o s o l v e . F o r
i n s t a n c e I w a n t t o c o m p u t e t h e a u t o c o r r e l a t i o n f u n c t i o n
o f x ,
c
x t
1
x t
2
=
Z
x
1
x
2
P x
1
; v
1
; t
1
; x
2
; v
2
; t
2
d x
1
d x
2
d v
1
d v
2
=
Z
x
1
x
2
P
1
x
1
; v
1
; t
1
P x
2
; v
2
; t
2
j x
1
; v
1
; t
1
d x
1
d x
2
d v
1
d v
2
:
d
E v i d e n t l y o n e n e e d s t o k n o w t h e c o r r e c t i n i t i a l d i s t r i -
b u t i o n P
1
x ; v ; t . O n l y i n t h e l i m i t o f l a r g e m a y i t
b e r e p l a c e d w i t h P
1
x ; t
1
w i t h t h e a i d o f 6 .
F I F T H R E M A R K . F o r a n o n - M a r k o v p r o c e s s t h e
i n i t i a l v a l u e p r o b l e m i s n o t w e l l - d e n e d u n l e s s f u r t h e r
i n f o r m a t i o n a b o u t t h e p r o b l e m i s s u p p l i e d .
O f m o r e i n t e r e s t i s t h e q u e s t i o n o f e s c a p e f r o m a
p o t e n t i a l m i n i m u m s u c h a s x
a
i n F i g . 2 . H o w l o n g d o e s
i t t a k e t o g e t a c r o s s t h e b a r r i e r ? H e r e t h e a m b i g u i t y
o f t h e i n i t i a l v e l o c i t y i s h a r m l e s s b e c a u s e t h e p a r t i c l e
m o v e s a r o u n d i n t h e p o t e n t i a l v a l l e y l o n g e n o u g h f o r
t h e M a x w e l l i a n 6 t o p r e v a i l .
F i g u r e 2
I n t h e c a s e o f d i u s i o n d e s c r i b e d b y 7 o n e m a y
t a k e t h e m e a n t i m e o f r s t a r r i v a l a t x
b
a n d m u l t i p l y
-
8/6/2019 Remarks on Non-Markov Processes
5/7
9 4 B r a z i l i a n J o u r n a l o f P h y s i c s , v o l . 2 8 , n o . 2 , J u n e , 1 9 9 8
b y 2 b e c a u s e o n c e i n x
b
t h e r e i s e q u a l p r o b a b i l i t y t o e s -
c a p e o r g o b a c k . T h e m e a n r s t - p a s s a g e t i m e c a n a g a i n
b e c o m p u t e d a n a l y t i c a l l y . I n m o r e d i m e n s i o n s h o w e v e r ,
t h e q u e s t i o n i s : H o w l o n g d o e s i t t a k e t o e s c a p e f r o m
a m i n i m u m x
a
s u r r o u n d e d b y a p o t e n t i a l r i d g e ? T h i s
m e a n t i m e i s d e t e r m i n e d b y t h e l o w e s t m o u n t a i n p a s s
o n t h e r i d g e a n d a n e l e g a n t a p p r o x i m a t i o n i s a v a i l a b l e
8 .
F i g u r e 3
I n K r a m e r s ' e q u a t i o n 5 , h o w e v e r , i t i s n o t e n o u g h
t o c o m p u t e t h e t i m e f o r x t t o r e a c h x
b
b e c a u s e x t
i s n o t M a r k o v i a n a n d o n e c a n n o t t e l l t h e p r o b a b i l i t y
o f s u b s e q u e n t e s c a p e w i t h o u t t a k i n g i n t o a c c o u n t v .
I t i s n e c e s s a r y t o r e f o r m u l a t e t h e p r o b l e m b y p i c k i n g
a l a r g e x
c
a n d s o l v i n g 5 w i t h b o u n d a r y c o n d i t i o n :
P x
c
; v ; t = 0 f o r v 0 F i g . 3 . T h i s i s t h e m u c h
d i s c u s s e d K r a m e r s p r o b l e m 7 , 9 .
S I X T H R E M A R K . F o r n o n - M a r k o v p r o c e s s e s t h e
r s t - p a s s a g e p r o b l e m m a y b e f o r m u l a t e d b u t i t s p h y s i -
c a l r e l e v a n c e i s q u e s t i o n a b l e .
V I . L a n g e v i n e q u a t i o n a n d c o l o r e d n o i s e .
W e s t a r t f r o m K r a m e r s ' e q u a t i o n 5 a n d c o n s i d e r
t h e s p a t i a l l y h o m o g e n e o u s c a s e U
0
= 0 . T h e n i t i s p o s -
s i b l e t o i n t e g r a t e o v e r x a n d o b t a i n a n e q u a t i o n f o r t h e
d i s t r i b u t i o n P v ; t o f v a l o n e ,
@ P v ; t
@ t
=
@
@ v
v P + T
@
2
P
@ v
2
: 8
T h e M a r k o v p r o c e s s v t d e s c r i b e d b y t h i s m a s t e r e q u a -
t i o n i s t h e O r n s t e i n - U h l e n b e c k p r o c e s s . A m a t h e m a t -
i c a l l y e q u i v a l e n t w a y o f d e s c r i b i n g t h i s p r o c e s s i s t h e
L a n g e v i n e q u a t i o n ,
_v = , v + t ; 9
w h e r e t i s a s t o c h a s t i c f u n c t i o n , c a l l e d G a u s s i a n
w h i t e n o i s e , w h o s e s t o c h a s t i c p r o p e r t i e s a r e d e t e r m i n e d
b y
c
t = 0 ; t t
0
= C t , t
0
: 1 0
d
A s a r e s u l t , t h e s o l u t i o n v t w i t h g i v e n i n i t i a l v a l u e
v t
1
= v
1
i s a l s o a s t o c h a s t i c f u n c t i o n a n d M a r k o v i a n ,
i t s m a s t e r e q u a t i o n b e i n g 8 i f o n e t a k e s C = 2 T . T h e
L a n g e v i n e q u a t i o n 9 w i t h 1 0 i s p o p u l a r , b e c a u s e i t
i s m o r e i n t u i t i v e t h a n 8 , b u t i t i s n o t b e t t e r .
N u m e r o u s a u t h o r s h a v e g e n e r a l i z e d 9 b y t a k i n g
t n o n - w h i t e o r c o l o r e d n o i s e , i . e . , n o t d e l t a - c o r r e l a t e d
1 0
t t
0
= t , t
0
: 1 1
w i t h s o m e e v e n f u n c t i o n .
S E V E N T H R E M A R K . W h e n t h e n o i s e i n t h e L -
e q u a t i o n i s n o t w h i t e t h e v a r i a b l e v t i s n o t M a r k o v .
H e n c e f o r t h e L a n g e v i n e q u a t i o n w i t h c o l o r e d n o i s e o n e
c a n n o t f o r m u l a t e a m e a n i n g f u l i n i t i a l c o n d i t i o n o r a
r s t - p a s s a g e t i m e .
A d i e r e n t g e n e r a l i z a t i o n o f t h e L a n g e v i n e q u a t i o n
9 i s t h e n o n l i n e a r v e r s i o n 1 1 ,
_x = f x + g x t : 1 2
W h e n t i s w h i t e , t h e n x t i s M a r k o v . U n f o r t u n a t e l y
t h e e q u a t i o n a s i t s t a n d s h a s n o w e l l - d e n e d m e a n i n g
a n d h a s t o b e s u p p l i e d b y a n i n t e r p r e t a t i o n r u l e " , e i -
t h e r I t ^ o o r S t r a t o n o v i c h . T o a v o i d t h e v a g a r i e s o f t h e
I t ^ o c a l c u l u s w e c h o o s e t h e l a t t e r . I t c o r r e s p o n d s t o t h e
M - e q u a t i o n ,
@ P x ; t
@ t
= ,
@
@ x
f x P +
C
2
@
@ x
g x
@
@ x
g x P :
-
8/6/2019 Remarks on Non-Markov Processes
6/7
N . G . v a n K a m p e n 9 5
W h e n t i s c o l o r e d , t h e n x t i s n o t M a r k o v a n d n o
M - e q u a t i o n e x i s t s . A t t e m p t s a t c o n s t r u c t i n g a n a l o g o u s
p a r t i a l d i e r e n t i a l e q u a t i o n s a r e d o o m e d t o f a i l . E q .
1 2 b e l o n g s t o t h e g e n e r a l c l a s s o f s t o c h a s t i c d i e r e n -
t i a l e q u a t i o n s . T h e y m a y b e t r e a t e d b y a p p r o x i m a t i o n
m e t h o d s d e v e l o p e d f o r t h e c a s e t h a t t i s o - w h i t e ,
i . e . s h o r t c o r r e l a t i o n a n d s h a r p l y p e a k e d t , t
0
1 2 .
T h e M - e q u a t i o n a p p e a r s a s t h e r s t a p p r o x i m a t i o n .
A n o t h e r d e v i c e , a p p l i c a b l e w h e n t h i s t i m e i s n o t
s h o r t , w a s u s e d b y K u b o 1 3 a n d h a s b e e n r e d i s c o v -
e r e d m a n y t i m e s 1 4 . S u p p o s e t i s i t s e l f a M a r k o v
p r o c e s s g o v e r n e d b y a n M - e q u a t i o n , f o r e x a m p l e t h e
O . - U . p r o c e s s g o v e r n e d b y 8 . T h e n t h e j o i n t v a r i a b l e
x ; i s M a r k o v , w i t h M - e q u a t i o n
c
@ P x ; ; t
@ t
= ,
@
@ x
f f x + g x g P +
@
@
P + T
@
2
P
@
2
: 1 3
d
A g a i n , t h e n o n - M a r k o v x h a s b e e n t a m e d b y i n t r o d u c -
i n g a n a d d i t i o n a l v a r i a b l e .
I n p r a c t i c e t h i s i s o f n o t m u c h h e l p u n l e s s o n e
c h o o s e s f o r t a n e v e n s i m p l e r n o n - w h i t e p r o c e s s , v i z . ,
t h e d i c h o t o m i c M a r k o v p r o c e s s " . T h a t i s , h a s t w o
p o s s i b l e v a l u e s + 1 , - 1 , a n d j u m p s w i t h a c o n s t a n t p r o b -
a b i l i t y p e r u n i t t i m e , a s d e s c r i b e d b y t h e M - e q u a t i o n
_
P
+
= , P
+
+ P
,
_
P
,
= P
+
, P
,
:
W i t h t h i s c h o i c e e q u a t i o n 1 3 r e d u c e s t o
@
@ t
P
+
x ; t = ,
@
@ x
f + g P
+
, P
+
+ P
,
@
@ t
P
,
x ; t = ,
@
@ x
f , g P
,
+ P
+
, P
,
w h i c h i s l e s s f o r b i d d i n g , b u t s t i l l t h e s u b j e c t o f m a n y
a r t i c l e s 1 5 . O t h e r c h o i c e s f o r t , t w o - v a l u e d b u t n o t
M a r k o v i a n , h a v e a l s o b e e n c o n s i d e r e d 1 6 .
V I I . A c l a s s o f n o n - M a r k o v p r o c e s s e s .
I n v a r i o u s c o n n e c t i o n s t h e f o l l o w i n g t y p e o f p r o c e s s
o c c u r s 1 7 , 1 8 . L e t X
t
h a v e t w o o r m o r e p o s s i b l e s t a t e s
j , a n d i n e a c h i t h a s a p r o b a b i l i t y p e r u n i t t i m e
i j
t o
j u m p t o i . I f t h e
i j
a r e c o n s t a n t s , f X
t
g i s a M a r k o v
p r o c e s s w i t h M - e q u a t i o n 3 . H o w e v e r , s u p p o s e t h e y
a r e f u n c t i o n s o f t h e t i m e e l a p s e d s i n c e a r r i v a l i n
j . E x a m p l e s : M o l e c u l e s i n s o l u t i o n m a y g e t s t u c k t o
t h e w a l l t e m p o r a r i l y ; a b a c t e r i u m p r o d u c e s o s p r i n g
a f t e r r e a c h i n g a c e r t a i n a g e . O t h e r e x a m p l e s i n 1 8 , 1 .
T h e p r o b a b i l i t y t h a t X i s s t i l l i n j a t a t i m e t a f t e r
e n t e r i n g i t , i s g i v e n b y
u
j
t = e x p
,
Z
t
o
i
i j
0
d
0
: 1 4
W h e n s t a r t i n g a t t = 0 i n j
0
, i t m a y h a v e a r r i v e d i n
t h e s t a t e j a t t i m e t t h r o u g h a s e q u e n c e o f s t r a n s i -
t i o n s , a t t i m e s t
1
; t
2
; : : : ; t
s
, t a k i n g i t t h r o u g h t h e s t a t e s
j
1
; j
2
; : : : ; j
s
= j . T h e p r o b a b i l i t y f o r t h i s p a r t i c u l a r
h i s t o r y t o h a p p e n i s
c
u
j
0
t
1
j
1
j
0
t
1
u
j
1
t
2
, t
1
j
2
j
1
t
2
, t
1
: : :
j
s
j
s , 1
t
s
, t
s , 1
u
j
s
t , t
s
:
d
T h e p r o b a b i l i t y P
j j
0
t t o b e a t t i m e t i n s t a t e j i s
o b t a i n e d b y s u m m i n g o v e r a l l h i s t o r i e s , t h a t i s : s u m -
m i n g o v e r a l l s a n d a l l j
s
; : : : ; j
s , 1
a n d i n t e g r a t i n g o v e r
a l l i n t e r m e d i a t e t i m e s t
1
; : : : ; t
s
. T h e r e s u l t , w r i t t e n i n
L a p l a c e t r a n s f o r m s , i s
^
P
j j
o
= ^ u
j
"
1
1 ,
^
V
j j
0
; 1 5
w h e r e ^ u
j
i s t h e t r a n s f o r m o f 1 4 , a n d t h e m a t r i x
^
V
-
8/6/2019 Remarks on Non-Markov Processes
7/7
9 6 B r a z i l i a n J o u r n a l o f P h y s i c s , v o l . 2 8 , n o . 2 , J u n e , 1 9 9 8
i s
^
V
i j
=
Z
1
0
i j
u
j
e
,
d :
I n s o m e c a s e s t h e r e s u l t 1 5 c a n b e e v a l u a t e d e x -
p l i c i t l y .
E x a m p l e : t r a n s p o r t o f i o n s t h r o u g h a m e m b r a n e .
T h e f o l l o w i n g m o d e l h a s b e e n s u g g e s t e d 1 9 . A m e m -
b r a n e s e p a r a t e s t w o r e s e r v o i r s a n d i o n s m a y e n t e r f r o m
t h e l e f t o r f r o m t h e r i g h t r e s e r v o i r . T h e r a t e s a t w h i c h
t h e y e n t e r i . e . , t h e p r o b a b i l i t i e s p e r u n i t t i m e a r e d e -
t e r m i n e d b y t h e t w o o u t s i d e l i q u i d s , w i t h t h e r e s t r i c t i o n
t h a t t h e r e c a n b e a t n o t i m e m o r e t h a n o n e i o n i n s i d e
t h e m e m b r a n e . O n c e i n s i d e , t h e i o n m a y e x i t a f t e r a
w h i l e o n e i t h e r s i d e . T h u s t h e i n t e r i o r o f t h e m e m b r a n e
i s a s y s t e m h a v i n g 5 s t a t e s :
0 e m p t y ;
1 o n e i o n t h a t e n t e r e d a t l e f t a n d i s d e s t i n e d t o
e x i t a t r i g h t ;
2 o n e i o n f r o m t h e l e f t d e s t i n e d t o e x i t a t l e f t ;
3 , 4 t w o s i m i l a r s t a t e s w i t h i o n s f r o m t h e r i g h t .
T h e e x i t s o c c u r w i t h p r o b a b i l i t i e s
o j
p e r u n i t t i m e
j = 1 ; 2 ; 3 ; 4 , w h i c h d e p e n d o n t i m e e l a p s e d s i n c e
t h e i o n e n t e r e d . T h i s i s a n o n - M a r k o v p r o c e s s o f t h e
t y p e d e s c r i b e d b y 1 5 . T h e e q u a t i o n c a n b e s o l v e d a n d
m a k e s i t p o s s i b l e t o c o m p u t e s u c h p h y s i c a l l y r e l e v a n t
q u a n t i t i e s a s t h e a v e r a g e o f t h e t r a n s p o r t e d c u r r e n t ,
a n d t h e s p e c t r u m o f u c t u a t i o n s 2 0 .
R e f e r e n c e s
1 N . G . v a n K a m p e n , S t o c h a s t i c P r o c e s s e s i n P h y s i c s a n d
C h e m i s t r y N o r t h - H o l l a n d , A m s t e r d a m 1 9 8 1 , 1 9 9 2 .
2 C . W . G a r d i n e r , H a n d b o o k o f S t o c h a s t i c M e t h o d s
S p r i n g e r , B e r l i n 1 9 8 3 .
3 F . Z e r n i k e , i n H a n d b u c h d e r P h y s i k I I I G e i g e r a n d
S c h e e l e d s . , S p r i n g e r , B e r l i n 1 9 2 6 .
4 M . D o i a n d S . F . E d w a r d s , T h e T h e o r y o f P o l y m e r D y -
n a m i c s O x f o r d U n i v . P r e s s 1 9 8 6 .
5 F o r a c o u n t e r e x a m p l e s e e r e f . 1 , c h I V , e q . 2 . 9 .
6 W . F e l l e r , A n I n t r o d u c t i o n t o P r o b a b i l i t y T h e o r y a n d
i t s A p p l i c a t i o n s I 2
n d
e d . , W i l e y , N e w Y o r k 1 9 6 6 p .
3 2 3 .
7 H . A . K r a m e r s , P h y s i c a 7 , 2 8 4 1 9 4 0 .
8 Z . S c h u s s a n d B . M a t k o w s k i , S I A M J . A p p l . M a t h . 3 5 ,
6 0 4 1 9 7 0 .
9 P . H a n g g i , P . T a l k n e r , M . B e r k o v i c h , R e v . M o d . P h y s .
6 2 , 2 5 1 1 9 9 0 .
1 0 E . g . S . F a e t t i a n d P . G r i g o l i n i , P h y s . R e v . A 3 6 , 4 4 1
1 9 8 7 ; M . J . D y k m a n , P h y s . R e v . A 4 2 , 2 0 2 0 1 9 9 0 .
1 1 P . H a n g g i a n d P . R i s e b o r o u g h , P h y s . R e v . A 2 7 , 3 3 7 9
1 9 8 3 ; C . V a n d e n B r o e c k a n d P . H a n g g i , P h y s . R e v .
A 3 0 , 2 7 3 0 1 9 8 4 . F o r a n a p p l i c a t i o n t o l a s e r s s e e S .
Z h u , A . W . Y u , a n d R . R o y , P h y s . . R e v . A 3 4 , 4 3 3 3
1 9 8 6 .
1 2 N . G . v a n K a m p e n , P h y s i c a 7 4 , 2 1 5 a n d 2 3 9 1 9 7 4 ;
P h y s i c s R e p o r t s 2 4 , 1 7 1 1 9 7 6 ; J . S t a t . P h y s . 5 4 , 1 2 8 9
1 9 8 9 ; R . H . T e r w i e l , P h y s i c a 7 4 , 2 4 8 1 9 7 4 .
1 3 R . K u b o , i n S t o c h a s t i c P r o c e s s e s i n C h e m i c a l P h y s i c s
K . L . S h u l e r e d . , I n t e r s c i e n c e , N e w Y o r k 1 9 6 9 .
1 4 E . g . A . J . B r a y a n d A . J . M c K a n e , P h y s . R e v . L e t t e r s
6 2 , 4 9 3 1 9 8 9 ; D . T . G i l l e s p i e , A m . J . P h y s . 6 4 , 1 2 4 6
1 9 9 6 .
1 5 M u c h l i t e r a t u r e i s g i v e n i n A . F u l i n s k i , P h y s . R e v . E
5 0 , 2 6 6 8 1 9 9 4 .
1 6 R . F . P a w u l a , J . M . P o r r a , a n d J . M a s o l i v e r , P h y s . R e v .
E 4 7 , 1 8 9 1 9 9 3 ; J . M . P o n t a , J . M a s o l i v e r , a n d K .
L i n d e n b e r g , P h y s . R e v . E 4 8 , 9 5 1 1 9 9 3 .
1 7 G . H . W e i s s , J . S t a t . P h y s . 8 , 2 2 1 1 9 7 3 ; K . J . L i n d e n -
b e r g a n d R . C u k i e r , J . C h e m . P h y s . 6 7 , 5 6 8 1 9 7 7 .
1 8 N . G . v a n K a m p e n , P h y s i c a A 9 6 , 4 3 5 1 9 7 9 .
1 9 E . B a r k a i , R . S . E i s e n b e r g , a n d Z . S c h u s s , P h y s . R e v .
E 5 4 , 1 1 9 9 6 .
2 0 N . G . v a n K a m p e n , P h y s i c a A 2 4 4 , 4 1 4 1 9 9 7 .