hierarchic alb ayes ian time series model
TRANSCRIPT
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 1/8
H I E R A R C H I C A L B A Y E S I A N T I M E S E R I E S M O D E L S
L . M A R K B E R L I N E R
N a t i o n a l C e n t e r f o r A t m o s p h e r i c R e s e a r c h
& O h i o S t a t e U n i v e r s i t y
N C A R , P . O . B o x 3 0 0 0 , B o u l d e r , C O 8 0 3 0 7 - 3 0 0 0 , U S A .
y
A b s t r a c t . N o t i o n s o f B a y e s i a n a n a l y s i s a r e r e v i e w e d , w i t h e m p h a s i s o n B a y e s i a n
m o d e l i n g a n d B a y e s i a n c a l c u l a t i o n . A g e n e r a l h i e r a r c h i c a l m o d e l f o r t i m e s e r i e s
a n a l y s i s i s t h e n p r e s e n t e d a n d d i s c u s s e d . B o t h d i s c r e t e t i m e a n d c o n t i n u o u s t i m e
f o r m u l a t i o n s a r e d i s c u s s e d . A n b r i e f o v e r v i e w o f g e n e r a l i z a t i o n s o f t h e f u n d a m e n t a l
h i e r a r c h i c a l t i m e s e r i e s m o d e l c o n c l u d e s t h e a r t i c l e .
K e y w o r d s : D y n a m i c a l m o d e l , F o k k e r - P l a n c k e q u a t i o n , M a r k o v p r o c e s s , P r e d i c -
t i o n , S t o c h a s t i c d i e r e n t i a l e q u a t i o n
1 . I n t o r d u c t i o n
1 . 1 . T H E B A Y E S I A N V I E W P O I N T
M u c h o f t h e B a y e s i a n v i e w p o i n t c a n b e a r g u e d ( a s b y J e r e y s a n d J a y n e s , f o r
e x a m p l e s ) a s d i r e c t a p p l i c a t i o n o f t h e t h e o r y o f p r o b a b i l i t y . I n t h i s a r t i c l e t h e
s u g g e s t e d a p p r o a c h f o r t h e c o n s t r u c t i o n o f B a y e s i a n t i m e s e r i e s m o d e l s r e l i e s o n
p r o b a b i l i t y t h e o r y t o p r o v i d e d e c o m p o s i t i o n s o f c o m p l e x j o i n t p r o b a b i l i t y d i s t r i -
b u t i o n s . S p e c i c a l l y , I r e f e r t o t h e f a m i l i a r f a c t o r i z a t i o n o f a j o i n t d e n s i t y i n t o a n
a p p r o p r i a t e p r o d u c t o f c o n d i t i o n a l s .
L e t x a n d y r e p r e s e n t t w o r a n d o m v a r i a b l e s . I w i l l n o t d i e r e n t i a t e b e t w e e n
r a n d o m v a r i a b l e s a n d t h e i r r e a l i z a t i o n s . A l s o , I w i l l u s e a n i n c r e a s i n g l y p o p u l a r
g e n e r i c n o t a t i o n f o r p r o b a b i l i t y d e n s i t i e s : x ] r e p r e s e n t s t h e d e n s i t y o f x , x j y ] i s
t h e c o n d i t i o n a l d e n s i t y o f x g i v e n y , a n d x ; y ] d e n o t e s t h e j o i n t d e n s i t y o f x a n d
y . I n t h i s n o t a t i o n w e c a n w r i t e \ B a y e s ' s T h e o r e m " a s
y j x ] = x j y ] y ] = x ] : ( 1 )
y
E m a i l : b e r l i n e r @ u c a r . e d u . T h i s w o r k w a s s u p p o r t e d b y t h e N S F u n d e r G r a n t # D M S 9 3 -
1 2 6 8 6 . I n v i t e d P a p e r , t o a p p e a r i n t h e P r o c e e d i n g s o f t h e X V
t h
W o r k s h o p o n M a x i m u m E n t r o p y
a n d B a y e s i a n M e t h o d s .
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 2/8
2 L . M A R K B E R L I N E R
E q u a l l y i m p o r t a n t t o p r o b a b i l i t y t h e o r y a n d t o B a y e s i a n m o d e l i n g i s t h e r e l a t i o n
x ] =
Z
x j y ] y ] d y : ( 2 )
O f c o u r s e , r e l a t i o n s h i p s s u c h a s ( 1 ) a n d ( 2 ) h o l d f o r c o n d i t i o n a l d e n s i t i e s . F o r
e x a m p l e , i f w i s a t h i r d r a n d o m v a r i a b l e , t h e n
x j w ] =
Z
x j y ; w ] y j w ] d y :
F u r t h e r m o r e , a v a r i e t y o f n e s t i n g s , h i e r a r c h i e s , a n d o t h e r r e l a t i o n s a m o n g v a r i -
o u s c o n d i t i o n a l d e n s i t i e s a r e p o s s i b l e . F i n a l l y , a p p r o p r i a t e f a c t o r i z a t i o n s o f j o i n t
d e n s i t i e s a r e u s e f u l . F o r e x a m p l e ,
x ; y ; w ] = x j y ; w ] y j w ] w ] ( 3 )
i s a f a m i l i a r r e s u l t i n p r o b a b i l i t y t h e o r y .
E q u a t i o n ( 3 ) i s p a r t i c u l a r l y r e l e v a n t t o t h e d i s c u s s i o n h e r e . S p e c i c a l l y , i t i s
t h e b a s i s o f H i e r a r c h i c a l M o d e l s . A s m o d e l e r s , f a c e d w i t h c o m p l e x s t r u c t u r e s a n d
a v a r i e t y o f r a n d o m q u a n t i t i e s t o b e m o d e l e d , B a y e s i a n s a n d o t h e r \ s t o c h a s t i c
m o d e l e r s " b r e a k t h e m o d e l i n g p r o c e s s o f a l a r g e c o l l e c t i o n o f v a r i a b l e s i n t o t h e
p i e c e s , f o l l o w i n g ( 3 ) , a n d m o d e l t h e r e q u i r e d c o n d i t i o n a l d i s t r i b u t i o n s . H i e r a r c h i c a l
m o d e l s h a v e a l o n g h i s t o r y i n B a y e s i a n s t a t i s t i c s . S o m e d i s c u s s i o n a n d r e f e r e n c e s
m a y b e f o u n d i n 1 ] a n d 2 ] .
M a r k o v i a n M o d e l s f o r m a q u i n t e s s e n t i a l e x a m p l e o f c o n d i t i o n a l m o d e l i n g . I n
l a r g e s c a l e a p p l i c a t i o n s o f g e n e r a l i z a t i o n s o f ( 3 ) , v a r i o u s p a t t e r n s o r s t r u c t u r e s
i n t h e c o n d i t i o n a l d i s t r i b u t i o n s a r e c o n s i d e r e d . C o n s i d e r a t i m e s e r i e s o f d a t a ,
x
1
; : : : ; x
n
. W e c a n w r i t e t h e j o i n t d i s t r i b u t i o n o f t h e s e v a l u e s a s
x
1
; : : : ; x
n
] = x
n
j x
n ? 1
; : : : ; x
1
] x
n ? 1
j x
n ? 2
; : : : ; x
1
] : : : x
1
] : ( 4 )
A c o m m o n a s s u m p t i o n a b o u t t h e s e c o n d i t i o n a l s g o e s s o m e t h i n g l i k e \ t h e d i s t r i -
b u t i o n o f x
t
g i v e n ` a l l ' t h e p a s t x
s
' s o n l y d e p e n d s o n a r e s t r i c t e d s u b s e t o f t h e
r e c e n t p a s t . " A o n e - s t e p M a r k o v m o d e l i s t h a t f o r e a c h t , x
t
j t h e p a s t ] = x
t
j x
t ? 1
] ,
l e a d i n g t o t h e j o i n t d i s t r i b u t i o n
x
1
; : : : ; x
n
] = x
n
j x
n ? 1
] x
n ? 1
j x
n ? 2
] : : : x
1
] :
M a r k o v i a n r e a s o n i n g h a s b e e n a p p l i e d b e y o n d t h e t i m e s e r i e s s e t t i n g . T h e k e y
o b s e r v a t i o n i s t h a t o n e i s f r e e t o i n d e x a c o u n t a b l e c o l l e c t i o n o f r a n d o m v a r i a b l e s
i n a n y c o n v e n i e n t , m e a n i n g f u l f a s h i o n . T h e m o d e l e r m a y t h e n d i r e c t l y a p p l y ( 4 )
a n d f o r m u l a t e t h e r e s u l t i n g c o n d i t i o n a l s . A p r i m a r y e x a m p l e i n v o l v e s m o d e l i n g o f
s p a t i a l c o r r e l a t i o n i n s p a t i a l s t a t i s t i c s a n d i m a g e a n a l y s i s . S e e 3 ] f o r d i s c u s s i o n
a n d r e f e r e n c e s . T h e M a r k o v i a n s t e p i n v o l v e s t h e i n t u i t i o n t h a t t h e v a l u e o f a
v a r i a b l e a t a l o c a t i o n , c o n d i t i o n a l o n t h e v a l u e s a t a p p r o p r i a t e c o l l e c t i o n s o f o t h e r
l o c a t i o n s , a c t u a l l y d e p e n d s o n l y o n t h e v a l u e s i n a s u b s e t o f \ n e a r b y " l o c a t i o n s .
U s e r s o f M a r k o v r a n d o m e l d m o d e l s u s e t h i s s o r t o f r e a s o n i n g , t h o u g h t h e u s u a l
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 3/8
H I E R A R C H I C A L B A Y E S I A N T I M E S E R I E S M O D E L S 3
c o n s t r u c t i o n i s n o t a d i r e c t u s e o f ( 4 ) . H e n c e , s o m e c a r e i s t a k e n t o i n s u r e t h a t t h e
r e s u l t i n g s p e c i c a t i o n s d o y i e l d a t r u e j o i n t d i s t r i b u t i o n . M a r k o v m e s h e s , s p e c i a l
c a s e s o f M a r k o v r a n d o m e l d s , a r e c o n s t r u c t e d b y d i r e c t u s e o f ( 4 ) . S e e 4 ] . M o r e
g e n e r a l l y , h i e r a r c h i c a l r e a s o n i n g o e r s a n o r g a n i z e d a p p r o a c h t o s p a t i o - t e m p o r a l
m o d e l i n g , b u t t h i s t o p i c i s b e y o n d t h e s c o p e o f t h i s a r t i c l e .
1 . 2 . O U T L I N E
S e c t i o n 2 d e s c r i b e s r e p r e s e n t a t i o n s o f a n a r c h e t y p a l h i e r a r c h i c a l m o d e l f o r t i m e
s e r i e s . T h e m o d e l i s p r e s e n t e d i n t h r e e s t a g e s . A c a s u a l w a y t o t h i n k a b o u t t h e s e
s t a g e s i s :
S t a g e 1 . d a t a j p r o c e s s , p a r a m e t e r s ] .
S t a g e 2 . p r o c e s s j p a r a m e t e r s ] .
S t a g e 3 . p a r a m e t e r s ] .
I n t h e t i m e s e r i e s c o n t e x t , t h e t i m e e v o l u t i o n o f t h e p r o c e s s o f i n t e r e s t i s p r i m a r i l y
m o d e l e d i n S t a g e 2 . B o t h d i s c r e t e a n d c o n t i n u o u s t i m e m o d e l s a r e c o n s i d e r e d .
T h e r e a d e r w i l l n o t e r e l a t i o n s h i p s b e t w e e n t h e m o d e l s d e s c r i b e d a n d t h e s o - c a l l e d
K a l m a n l t e r f o r m u l a t i o n ; s e e 5 ] . I n S e c t i o n 3 a v e r y b r i e f d i s c u s s i o n o f s o m e
n a t u r a l e x t e n s i o n s o f t h e b a s i c m o d e l s i s g i v e n .
T h e p u r p o s e o f t h i s a r t i c l e i s t o p r e s e n t n o t i o n s o f m o d e l i n g s t r a t e g i e s u s e f u l i n
t i m e s e r i e s . F o r t h e m o s t p a r t , I w i l l p r e s e n t t h e m o d e l s w i t h n o c o n c e r n f o r c o m -
p u t a t i o n a l c o m p l e x i t y . T h e m o d e l s p r e s e n t e d a r e i n d e e d b e i n g d e v e l o p e d t o d a y .
M o d e r n r e s e a r c h i n v o l v i n g M a r k o v c h a i n M o n t e C a r l o o e r s a g e n e r a l a p p r o a c h t o
t h e a p p r o x i m a t i o n o f B a y e s i a n r e s u l t s i n c o m p l e x s e t t i n g s . S e e 6 ] f o r s o m e d i s c u s -
s i o n . A l s o , I w i l l f o c u s o n \ t i m e d o m a i n " m o d e l i n g ; d i s c u s s i o n o f B a y e s i a n s p e c t r a l
a n a l y s i s m a y b e f o u n d i n 7 ] . F i n a l l y , t h i s a r t i c l e i s n o t i n t e n d e d t o b e a r e v i e w o f
B a y e s i a n t i m e s e r i e s ; t h e r e a d e r i s r e f e r r e d t o 8 ] , 9 ] , a n d 1 0 ] f o r d i s c u s s i o n s a n d
f u r t h e r r e f e r e n c e s .
2 . H i e r a r c h i c a l M o d e l s
2 . 1 . D I S C R E T E T I M E
A s s u m e t h a t a s t o c h a s t i c p r o c e s s , x
o
; x
1
; : : : , i s u n d e r s t u d y . T o a l l o w f o r m e a s u r e -
m e n t e r r o r , w e a l l o w t h a t t h e p r o c e s s i s o b s e r v e d i n d i r e c t l y a s f o l l o w s :
S t a g e 1 . D i s t r i b u t i o n o f t h e O b s e r v a b l e s . A s s u m e t h a t a s e t o f n d a t a v a l u e s ,
y
s
1
; : : : ; y
s
n
, a r e o b s e r v e d . T h e r s t s t a g e d e s c r i b e s t h e s t r u c t u r e o f t h e c o n d i t i o n a l
d i s t r i b u t i o n o f t h e d a t a , g i v e n t h e u n d e r l y i n g x p r o c e s s a n d a n y p a r a m e t e r s o f t h e
m o d e l . A c o m m o n c h o i c e i s o f t h e f o r m
y
s
1
; : : : ; y
s
n
j f x
t
g
t 0
;
1
] =
n
Y
i = 1
y
s
i
j x
s
i
1
] : ( 5 )
T h e s u b s c r i p t s a r e i n t e n d e d t o a l l o w f o r a w i d e v a r i e t y o f s a m p l i n g p r o c e d u r e s .
F o r e x a m p l e , i n p r i n c i p l e B a y e s i a n a n a l y s i s i s u n c o n c e r n e d w i t h i s s u e s o f \ e q u a l l y
s p a c e d " o b s e r v a t i o n s . N e x t , I h a v e a s s u m e d t h a t t h e m o d e l e r w i s h e s t o a l l o w f o r
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 4/8
4 L . M A R K B E R L I N E R
m o d e l p a r a m e t e r s , r e p r e s e n t e d b y
1
. A c o m m o n e x a m p l e i n v o l v e s a r e g r e s s i o n
f o r m u l a t i o n i n w h i c h
y
s
i
= G ( x
s
i
; ) + e
i + 1
; i = 1 ; : : : ; n ; ( 6 )
w h e r e G i s a r e g r e s s i o n f u n c t i o n , r e p r e s e n t s u n k n o w n r e g r e s s i o n c o e c i e n t s ,
a n d t h e e r r o r s , e
i
a r e u n c o r r e l a t e d , m e a n z e r o , r a n d o m v a r i a b l e s w i t h s o m e x e d
d e n s i t y . L e t t h e v a r i a n c e o f t h e s e v a r i a b l e s b e d e n o t e d b y v
2
. I n t h i s c o n t e x t , w e
h a v e
1
= ( ; v
2
) : A n o t h e r u s e f u l e r r o r m o d e l i s a m i x t u r e o f t w o d i s t r i b u t i o n s ,
o n e o f w h i c h i s c o m p a r a t i v e l y l o n g e r t a i l e d t h a n t h e o t h e r , t h e r e b y p r e s u m i n g t o
a l l o w f o r \ o u t l i e r s . " T h e m i x i n g p r o b a b i l i t y c a n b e i n c o r p o r a t e d i n t o
1
.
S t a g e 2 . S t r u c t u r e o f t h e x P r o c e s s . A n a t u r a l m o d e l f o r t h e e v o l u t i o n o f t h e x
p r o c e s s i s a d y n a m i c , t y p i c a l l y M a r k o v i a n , m o d e l . F o r e x a m p l e , a o n e - s t e p M a r k o v
m o d e l i n v o l v e s t h e c o n d i t i o n i n g f o r m u l a
x
t + 1
j f x
o
; : : : ; x
t
g ;
2
] = x
t + 1
j x
t
;
2
] ; ( 7 )
w h e r e
2
i s a v e c t o r o f p a r a m e t e r s a s s o c i a t e d w i t h t h e S t a g e 2 m o d e l . A c o m m o n
s t r u c t u r e f o r t h i s s t a g e i n v o l v e s a n a u t o r e g r e s s i v e m o d e l ,
x
t + 1
= F ( x
t
; ) + z
t + 1
; t 0 ; ( 8 )
w h e r e F i s a d y n a m i c a l f u n c t i o n , r e p r e s e n t s u n k n o w n r e g r e s s i o n c o e c i e n t s ,
a n d t h e z
t
a r e m e a n z e r o , r a n d o m v a r i a b l e s . T h e s e v a r i a b l e s a r e o f t e n s u g g e s t e d t o
r e p r e s e n t u n m o d e l e d e n v i r o n m e n t a l e e c t s , \ n o i s e , " a n d u n c e r t a i n t y c o n c e r n i n g
t h e f u n c t i o n a l f o r m F . M i x t u r e m o d e l s f o r t h e d i s t r i b u t i o n o f t h e e e c t s m a y
a l s o b e a p p r o p r i a t e . I n g e n e r a l ,
2
i s t h e v e c t o r o f p a r a m e t e r s c o m p o s e d o f
a n d a n y p a r a m e t e r s i n t h e m o d e l e r ' s s p e c i c a t i o n o f t h e d i s t r i b u t i o n o f t h e z
t
' s .
F i n a l l y , a p r i o r f o r t h e i n i t i a l c o n d i t i o n i s p r o p o s e d : x
o
] . ( T h i s d i s t r i b u t i o n m a y
d e p e n d o n t h e p a r a m e t e r s . ) N o t e t h a t t h e o n e - s t e p M a r k o v m o d e l i s m e r e l y a n
e x a m p l e . H i g h e r o r d e r t i m e d e p e n d e n c i e s c a n o f c o u r s e b e m o d e l e d . A l s o , a h i g h
o r d e r M a r k o v i a n m o d e l c a n o f t e n b e w r i t t e n a s a o n e - s t e p , M a r k o v m o d e l v i a s t a t e
s p a c e r e p r e s e n t a t i o n .
S t a g e 3 . P r i o r o n P a r a m e t e r s . A s a n a l s t a g e f o r t h e m o d e l , w e c o n s t r u c t a
d i s t r i b u t i o n f o r t h e \ p a r a m e t e r s " i n t r o d u c e d a b o v e :
1
;
2
] .
N o t e t h a t , t h e p r e s e n t a t i o n o f h i e r a r c h i c a l m o d e l s t y p i c a l l y i n v o l v e s M a r k o v i a n
l i k e r e a s o n i n g , b u t w i t h o u t e x p l i c i t r e f e r e n c e . F o r e x a m p l e , t h e S t a g e 1 d i s t r i b u t i o n
d e s c r i b e d a b o v e i s a c t u a l l y
y
s
1
; : : : ; y
s
n
j f x
t
g
t 0
;
1
;
2
] =
n
Y
i = 1
y
s
i
j x
s
i
1
] ;
b u t t h e m o d e l i s t h a t , g i v e n t h e x p r o c e s s a n d
1
, t h e d i s t r i b u t i o n o f t h e d a t a d o e s
n o t d e p e n d o n
2
. T h e s p e c i c a t i o n o f t h e c o m p o n e n t s o f t h e s e t h r e e s t a g e s y i e l d s
a b o n a d e j o i n t d i s t r i b u t i o n f o r a l l t h e q u a n t i t i e s m o d e l e d .
D i r e c t c o m p u t a t i o n , t h a t i s , p r o b a b i l i t y t h e o r y , y i e l d c o n d i t i o n a l d i s t r i b u t i o n s
o f i n t e r e s t i n g q u a n t i t i e s g i v e n t h e o b s e r v e d d a t a . T h e m a i n o b j e c t i s
f x
t
g
t 0
;
1
;
2
j y
s
1
; : : : ; y
s
n
] : ( 9 )
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 5/8
H I E R A R C H I C A L B A Y E S I A N T I M E S E R I E S M O D E L S 5
F i l t e r i n g a n d i n t e r p o l a t i o n ( i n f e r e n c e f o r t h e x p r o c e s s a t t i m e s c o r r e s p o n d i n g
t o o b s e r v a t i o n t i m e s a n d b e t w e e n o b s e r v a t i o n t i m e s ) , b a c k c a s t i n g o r r e t r o s p e c t i o n
( i n f e r e n c e f o r t h e x p r o c e s s a t t i m e s b e f o r e t h e r s t o b s e r v a t i o n t i m e ) , a n d p r e d i c -
t i o n o r f o r e c a s t i n g ( i n f e r e n c e f o r t h e x p r o c e s s a t t i m e s a f t e r t h e l a s t o b s e r v a t i o n
t i m e ) , a r e b a s e d o n
f x
t
g
t 0
j y
s
1
; : : : ; y
s
n
] =
Z Z
f x
t
g
t 0
;
1
;
2
j y
s
1
; : : : ; y
s
n
] d
1
d
2
: ( 1 0 )
( I w r o t e t h e a b o v e f o r m u l a a s i f
1
a n d
2
a r e c o n t i n u o u s r a n d o m v a r i a b l e s . T h e
a d j u s t m e n t s t o t h e r e p r e s e n t a t i o n i n c a s e s i n v o l v i n g d i s c r e t e c o m p o n e n t s a r e f a m i l -
i a r . ) I r e p e a t e d l y u s e d t h e w o r d \ i n f e r e n c e " r a t h e r t h a n e s t i m a t i o n t o e m p h a s i z e
t h e B a y e s i a n v i e w t h a t t h e c o n d i t i o n a l d i s t r i b u t i o n o f t h e q u a n t i t y o f i n t e r e s t o u g h t
t o b e t h e f o c u s . O f c o u r s e , p r a c t i c a l l i m i t a t i o n s o f t e n f o r c e s u m m a r i e s o f t h e s e d i s -
t r i b u t i o n s , t h o u g h c a r e , i n c l u d i n g c o n s i d e r a t i o n o f d e c i s i o n t h e o r e t i c i s s u e s , s h o u l d
b e t a k e n .
2 . 2 . C O N T I N U O U S T I M E
A n a t u r a l s t a r t i n g p o i n t f o r e x t e n d i n g t h e h i e r a r c h i c a l m o d e l t o c o n t i n u o u s t i m e
i s t h e r e p l a c e m e n t o f ( 8 ) w i t h a s t o c h a s t i c d i e r e n t i a l e q u a t i o n m o d e l . ( I w i l l n o t
d i s c u s s a s s u m p t i o n s u s e d t o m a k e s e n s e o f a l l t h e p o i n t s r a i s e d h e r e . S e e 1 1 ] . ) I n
p a r t i c u l a r , c o n s i d e r t h e m o d e l
d x = f ( x ; ) d t + ( x ; ) d W ; ( 1 1 )
w h e r e d W r e p r e s e n t s w h i t e n o i s e a n d f a n d a r e s u i t a b l e f u n c t i o n s , s o t h a t
s o l u t i o n s t o t h e e q u a t i o n m a k e ( I t ^ o ) s e n s e . D e n e
2
t o b e t h e c o l l e c t i o n a n d .
\ K o l m o g o r o v F o r w a r d " o r \ F o k k e r - P l a n c k " a n a l y s i s b a s e d o n ( 1 1 ) c a n b e r e -
l a t e d t o B a y e s i a n c a l c u l a t i o n s . T h e F o k k e r - P l a n c k a n a l y s i s s o l v e s t h e f o l l o w i n g
p r o b l e m : A s s u m e t h a t t h e i n i t i a l v a l u e o f t h e p r o c e s s d e s c r i b e d b y ( 1 1 ) i s a r a n -
d o m v a r i a b l e , x
o
, w i t h s p e c i e d d e n s i t y , x
o
] . F i n d t h e d e n s i t y , p ( x ; t j
2
) , o f t h e
x p r o c e s s a t t i m e t . T h e r e s u l t i s t h a t p ( x ; t j
2
) i s a n a p p r o p r i a t e s o l u t i o n t o t h e
i n i t i a l v a l u e p r o b l e m
@ p
@ t
= : 5
@
2
@ x
2
(
2
p ) ?
@
@ x
( f p ) ; ( 1 2 )
s u b j e c t t o t h e i n i t i a l d a t a p ( x ; 0 j
2
) = x
o
] .
S u p p o s e w e c a n s o l v e t h e F o k k e r - P l a n c k e q u a t i o n . A s s u m i n g d a t a c o l l e c t i o n a s
d e s c r i b e d i n ( 5 ) , t h e q u a n t i t y p ( x ; s
1
j
2
) m a y b e v i e w e d a s t h e ( c o n d i t i o n a l o n
2
)
p r i o r d e n s i t y f o r x ( s
1
) . C o m b i n i n g t h e m o d e l , y
s
1
j x ( s
1
) ;
1
] , a n d p ( x ; s
1
j
2
) v i a
B a y e s ' s T h e o r e m , w e c a n o b t a i n t h e c o n d i t i o n a l p o s t e r i o r d e n s i t y
x ( s
1
) j y
s
1
;
1
;
2
] / y
s
1
j x ( s
1
) ;
1
] p ( x ( s
1
) ; s
1
j
2
) : ( 1 3 )
T h i s o b j e c t t h e n s e r v e s a s t h e i n i t i a l d a t a f o r t h e F o k k e r - P l a n c k e q u a t i o n f o r t h e
c o n d i t i o n a l d e n s i t y o f x ( t ) ; t > s
1
. W e c a n p r o c e e d s e q u e n t i a l l y a s m o r e d a t a i s
c o l l e c t e d . L e t
D
i
= f y
s
k
: 1 k i g :
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 6/8
6 L . M A R K B E R L I N E R
T h e n , x
s
i
j D
i
;
1
;
2
] , s e r v e s a s t h e i n i t i a l d a t a f o r n d i n g t h e c o n d i t i o n a l d e n s i t y
o f x ( t ) ; t > s
i
.
E x a m p l e : T h e L a n g e v i n E q u a t i o n a n d t h e O r n s t e i n - U h l e n b e c k P r o c e s s . T h e s p e -
c i a l c a s e o f ( 1 1 ) ,
d x = ? x d t + d W ; ( 1 4 )
i s e a s i l y ( I t ^ o ) i n t e g r a t e d . T h e p a r a m e t e r s , > 0 a n d > 0 f o r m
2
i n t h i s c a s e .
A s s u m e t h a t t h e p r i o r f o r t h e i n i t i a l c o n d i t i o n i s a n o r m a l ( G a u s s i a n ) d i s t r i b u t i o n
w i t h m e a n ( 0 ) a n d v a r i a n c e
2
( 0 ) . U n d e r t h e s e a s s u m p t i o n s t h i s s e c o n d s t a g e
p r i o r l e a d s t o a c o n d i t i o n a l l y G a u s s i a n p r o c e s s .
A t t h e r s t s t a g e , w e a s s u m e t h a t t h e n o b s e r v a t i o n s , ( y
s
1
; : : : ; y
s
n
) , a r e c o n -
d i t i o n a l l y i n d e p e n d e n t , n o r m a l r a n d o m v a r i a b l e s w i t h m e a n s x ( s
i
) ; i = 1 ; : : : ; n ,
a n d v a r i a n c e s , v
2
i
.
N e x t , t h e F o k k e r - P l a n c k e q u a t i o n c a n b e s o l v e d ( o r o t h e r m e t h o d s c a n b e c a l l e d
u p o n ) s o t h a t t h e s e q u e n t i a l u p d a t i n g c a n b e i m p l e m e n t e d . S p e c i c a l l y , c o n s i d e r
t i m e s
1
. A n a l y s i s ( s e e 1 1 ] , p p . 3 5 8 , 3 6 7 - 6 8 ) y i e l d s t h e p r i o r o n x ( s
1
) i s G a u s s i a n ,
w i t h m e a n
( 0 ) e x p ( ? s
1
) ( 1 5 )
a n d v a r i a n c e
2
=
2
( 0 ) e x p ( ? 2 s
1
) + (
2
2
) ( 1 ? e x p ( ? 2 s
1
) ) : ( 1 6 )
N e x t , w e c o m b i n e t h i s w i t h t h e d a t a p o i n t y
s
1
, a s p r e s c r i b e d i n ( 1 3 ) . T h e r e q u i r e d
c a l c u l a t i o n i s f a m i l i a r i n B a y e s i a n a n a l y s i s ( 1 ] , p p . 1 2 9 - 3 0 ) . T h e r e s u l t i s t h a t
x ( s
1
) j y
s
1
;
1
;
2
] i s a n o r m a l d e n s i t y , w i t h m e a n
( s
1
) = f
2
= ( v
2
1
+
2
) g y
s
1
+ f v
2
1
= ( v
2
1
+
2
) g ( 0 ) e x p ( ? s
1
) ; ( 1 7 )
a n d v a r i a n c e
2
( s
1
) = f v
2
1
2
g = f v
2
1
+
2
g : ( 1 8 )
W e c a n t h e n c o n t i n u e s e q u e n t i a l l y a s m o r e d a t a i s c o l l e c t e d b y r e c u r s i n g ( )
a n d
2
( ) , b e i n g c a r e f u l t o r e m e m b e r t o u s e l e n g t h s o f t i m e i n t e r v a l s , s
k + 1
? s
k
,
a p p r o p r i a t e l y , i n c l u d i n g t h e d e n i t i o n o f t h e
2
f u n c t i o n a t e a c h i t e r a t e . 2
C a l c u l a t i o n s f o r d e a l i n g w i t h t h e p a r a m e t e r s i n t h e m o d e l a r e d i r e c t , i n p r i n -
c i p l e . W e w o u l d s e q u e n t i a l l y u p d a t e t h e d i s t r i b u t i o n s ,
1
;
2
j D
i
] o f t h e m o d e l
p a r a m e t e r s v i a B a y e s ' s T h e o r e m . B a s e d o n t h e s e d i s t r i b u t i o n s , w e c a n c o m p u t e
t h e q u a n t i t y ,
x ( s
i
) j D
i
] =
Z Z
x ( s
i
) j D
i
;
1
;
2
]
1
;
2
j D
i
] d
1
d
2
:
T h e f o r w a r d a n a l y s i s d e s c r i b e d a b o v e y i e l d s e q u e n t i a l B a y e s i a n p r e d i c t i v e a n d
p a r a m e t e r i n f e r e n c e a n a l y s e s . H o w e v e r , f o r l t e r i n g , i n t e r p o l a t i o n , a n d b a c k c a s t i n g
b a s e d o n t h e f u l l d a t a , o n e w o u l d n e e d t h e c o n d i t i o n a l d i s t r i b u t i o n s o f t h e x p r o c e s s
a t a l l r e q u i r e d t i m e p o i n t s o f i n t e r e s t g i v e n t h e f u l l d a t a s e t .
I m p l e m e n t a t i o n o f t h e a b o v e a n a l y s e s i s f o r m i d i b l e f r o m a c o m p u t a t i o n a l v i e w .
F i r s t , t h e F o k k e r - P l a n c k e q u a t i o n i s s e l d o m t r a c t a b l e e n o u g h t o b e u s e f u l i n t h e
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 7/8
H I E R A R C H I C A L B A Y E S I A N T I M E S E R I E S M O D E L S 7
s e n s e d e s c r i b e d a b o v e . S e c o n d , t h e a p p l i c a t i o n o f B a y e s ' s T h e o r e m i s a l s o t y p i c a l l y
n u m e r i c a l l y i n t e n s i v e . E v e n i n t h e L a n g e v i n / O r n s t e i n - U h l e n b e c k p r i o r e x a m p l e ,
u p d a t i n g w i t h p r i o r s o n a n d w o u l d b e d i c u l t . A v a r i e t y o f a p p r o x i m a t i o n s
a r e a v a i l a b l e . I f t h e F o k k e r - P l a n c k a n a l y s i s a p p e a r s t o b e n o t u s e f u l , a n i n t e r e s t i n g
p o s s i b i l i t y i s t o u s e a d i s c r e t e t i m e a p p r o x i m a t i o n t o t h e c o n t i n u o u s t i m e m o d e l .
S e e 1 2 ] f o r a n e x a m p l e .
A n o t h e r i s s u e i n v o l v e s t h e a s s e r t i o n t h a t a n o b s e r v a t i o n i s b a s e d p r e c i s e l y o n
t h e e x a c t v a l u e o f t h e u n d e r l y i n g p r o c e s s a t a s p e c i e d i n s t a n t . I n m a n y s e t t i n g s
u n c e r t a i n t y i n t h e t i m e s o f o b s e r v a t i o n a r i s e , s e e 1 3 ] . S e c o n d , m a n y d a t a c o l l e c t i o n
t e c h n i q u e s i n v o l v e t h e o b s e r v a t i o n ( w i t h e r r o r ) o f w e i g h t e d t i m e i n t e g r a l s a n d
t r a n s f o r m s o f t h e u n d e r l y i n g p r o c e s s . I n p r i n c i p l e , s u c h d a t a c a n b e m o d e l e d b y
a p p r o p r i a t e e x t e n s i o n s o f ( 6 ) . F i n a l l y , i n s o m e c i r c u m s t a n c e s i t m a y b e a p p r o p r i a t e
t o c o n s i d e r \ a n a l o g " o r c o n t i n u o u s l y s a m p l e d d a t a .
3 . E x t e n s i o n s
A v a r i e t y o f e x t e n s i o n s , i n c l u d i n g t h e u s e o f a d d i t i o n a l s t a g e s i n h i e r a r c h i e s , a r e
p o s s i b l e . I o n l y a l l u d e t o a f e w o f t h e s e , p r i m a r i l y i n t h e d i s c r e t e t i m e f o r m u l a t i o n ,
b u t n o t e t h a t t h i s i s a n a c t i v e a r e a o f r e s e a r c h .
A n o b v i o u s e x t e n s i o n t o t h e m o d e l s d e s c r i b e d p e r m i t s t i m e v a r y i n g p a r a m e t e r s ,
1
( t ) a n d
2
( t ) . F o r m a l l y , t h i s i s n o e x t e n s i o n a t a l l , s i n c e w e c o u l d a p p e n d
1
( t )
a n d
2
( t ) t o t h e d e n i t i o n o f t h e v a r i a b l e x m o d e l e d i n S t a g e 2 . F o r m a l i t i e s a s i d e ,
i t m a y o f t e n b e s e n s i b l e f r o m a m o d e l i n g v i e w p o i n t t o s e p a r a t e o u t p a r a m e t e r s
f r o m p r o c e s s v a r i a b l e s . F o r e x a m p l e , t h e p a r a m e t e r s m i g h t b e v i e w e d a s \ s l o w l y
v a r y i n g , " c o m p a r e d t o t h e x p r o c e s s .
A m o r e g e n e r a l d i r e c t i o n f o r m o d e l i n g t i m e v a r y i n g s t r u c t u r e i s t o s u g g e s t t h a t
s w i t c h i n g f r o m o n e m o d e l p a r a d i g m t o a n o t h e r o c c u r s . A n a t u r a l s u g g e s t i o n i s t o
i n t r o d u c e a p r o c e s s v a r i a b l e , s a y I , w h e r e I = 1 ; 2 ; : : : ; o r K . S t a g e 2 i s t h e n
e x t e n d e d a s f o l l o w s :
x
t + 1
j f x
o
; : : : ; x
t
g ; f I
o
; : : : ; I
t
g ;
2
] = x
t + 1
j x
t
; I
t
;
2
] : ( 1 9 )
T h e v a r i a b l e I t h e n i n d i c a t e s w h i c h o f K m o d e l s ,
x
t + 1
= F
I
( x
t
; ( I ) ) + z
I
t + 1
; t 0 ; ( 2 0 )
a n d o r p a r a m e t e r s , ( : ) , i s i n e e c t .
T h e i n d i c a t o r p r o c e s s ' s e v o l u t i o n i t s e l f i s t h e n m o d e l e d . ( T h e B a y e s i a n u s e o f
\ m i x t u r e m o d e l s " i s o f d i r e c t u s e i n t h e s o r t o f m o d e l s d e s c r i b e d ; s e e 1 3 ] . ) T w o
b a s i c a p p r o a c h e s a r e c o m m o n . F i r s t , a ( t y p i c a l l y , o n e - s t e p ) M a r k o v c h a i n , i s u s e d .
T h e r e i s a g r o w i n g l i t e r a t u r e o n s u c h h i e r a r c h i c a l m o d e l s u n d e r t h e n a m e \ H i d d e n
M a r k o v M o d e l s . " ( T h e \ h i d d e n " m o d i f e r r e f e r s t o t h e f a c t t h a t t h e i n d i c a t o r s I
t
a r e i n f a c t n o t t y p i c a l l y o b s e r v e d . ) A s e c o n d m a i n c l a s s o f m o d e l s i n v o l v e a v a r i -
e t y o f \ s t a t e - d e p e n d e n t " m o d e l s f o r t h e e v o l u t i o n o f t h e i n d i c a t o r p r o c e s s . A k e y
r e f e r e n c e i n t h i s r e g a r d i s 1 4 ] . I n m a n y s e t t i n g s i t i s n a t u r a l t o b e l i e v e t h a t t h e
m o d e l i n g o f t h e d y n a m i c s o f t h e x p r o c e s s , s a y b y ( 8 ) , b y d e n i n g t h e a u t o r e -
g r e s s i v e f u n c t i o n r e l a t i n g x
t + 1
t o x
t
l o c a l l y d e p e n d i n g o n t h e v a l u e o f x
t
. F u r t h e r ,
8/6/2019 Hierarchic Alb Ayes Ian Time Series Model
http://slidepdf.com/reader/full/hierarchic-alb-ayes-ian-time-series-model 8/8
8 L . M A R K B E R L I N E R
t h e e r r o r p r o c e s s c a n t o o b e m o d e l e d s i m i l a r l y . ( H . T o n g h a s b e e n i n s t r u m e n t a l
i n m a k i n g s u c h r e a s o n i n g , c a l l e d t h e \ t h r e s h o l d p r i n c i p l e , " p o p u l a r i n t i m e s e r i e s
a n a l y s i s ; S e e 1 5 ] . ) N o t e t h a t w e m a y u s e t h e n o t a t i o n o f t h e h i d d e n M a r k o v m o d e l ,
e x c e p t t h a t t h e i n d i c a t o r I
t
a t t i m e t i s a f u n c t i o n o f t h e s t a t e x
t
, r a t h e r t h a n a n
a u t o m o n o u s p r o c e s s .
T h e r e a d e r m a y h a v e d e t e c t e d t h e f a c t t h a t m a n y o f t h e m o d e l s d e s c r i b e d
a b o v e a r e n o t n e c e s s a r i l y a s s o c i a t e d w i t h B a y e s i a n t i m e s e r i e s . T h e r e a d e r m a y
a l s o h a v e d e t e c t e d t h a t t h e o b s e r v a t i o n i s i r r e l e v a n t . G o o d , u s e f u l m o d e l s c a n
b e i n c o r p o r a t e d r e a d i l y a s s t a g e s o f B a y e s i a n m o d e l s . M a n y o f u s w o u l d a r g u e
t h a t t h e h i e r a r c h i c a l B a y e s i a n a p p r o a c h t h e r e f o r e s u b s u m e s c l a s s i c a l m o d e l i n g i n
a f a s h i o n t h a t b o t h e x t e n d s t h e r a n g e a n d e n h a n c e s t h e i n t e r p r e t a b i l i t y o f t i m e
s e r i e s m o d e l s .
R e f e r e n c e s
1 . J . O . B e r g e r , S t a t i s t i c a l D e c i s i o n T h e o r y a n d B a y e s i a n A n a l y s i s , S p r i n g e r - V e r l a g , N e w
Y o r k , 1 9 8 5 .
2 . J . M . B e r n a r d o a n d A . F . M . S m i t h , B a y e s i a n T h e o r y , J o h n W i l e y & S o n s , I n c . , N e w Y o r k ,
1 9 9 4 .
3 . N . C r e s s i e , S t a t i s t i c s f o r S p a t i a l D a t a , J o h n W i l e y & S o n s , I n c . , N e w Y o r k , 1 9 9 1 .
4 . K . A b e n d , T . J . H a r l e y , a n d L . N . K a n a l , \ C l a s s i c a t i o n o f b i n a r y r a n d o m p a t t e r n s , " I E E E
T r a n s . I n f o r m . T h e o r y , I T - 1 1 , p p . 5 3 8 { 5 4 4 , 1 9 6 5 .
5 . R . J . M e i n h o l d a n d N . S i n g p u r w a l l a , \ U n d e r s t a n d i n g t h e k a l m a n l t e r , " A m e r . S t a t i s t . ,
3 7 , p p . 1 2 3 { 1 2 7 , 1 9 8 3 .
6 . J . B e s a g , P . G r e e n , D . H i g d o n , a n d K . M e n g e r s e n , \ B a y e s i a n c o m p u t a t i o n a n d s t o c h a s t i c
s y s t e m s , " S t a t i s t . S c i . , 1 0 , p p . 3 { 6 6 ( w i t h D i s c u s s i o n ) , 1 9 9 5 .
7 . G . L . B r e t t h o r s t , B a y e s i a n S p e c t r u m A n a l y s i s a n d P a r a m e t e r E s t i m a t i o n , S p r i n g e r - V e r l a g ,
N e w Y o r k , 1 9 8 8 .
8 . M . W e s t a n d J . H a r r i s o n , B a y e s i a n F o r e c a s t i n g a n d D y n a m i c M o d e l s , S p r i n g e r - V e r l a g , N e w
Y o r k , 1 9 8 9 .
9 . A . P o l e , M . W e s t , a n d J . H a r r i s o n , A p p l i e d B a y e s i a n F o r e c a s t i n g a n d T i m e S e r i e s A n a l y s i s ,
C h a p m a n - H a l l , N e w Y o r k , 1 9 9 4 .
1 0 . J . C . S p a l l ( E d . ) , B a y e s i a n A n a l y s i s o f T i m e S e r i e s a n d D y n a m i c M o d e l s , M a r c e l D e k k e r ,
N e w Y o r k , 1 9 8 8 .
1 1 . A . L a s o t a a n d M . C . M a c k e y , C h a o s , F r a c t a l , a n d N o i s e , S p r i n g e r - V e r l a g , N e w Y o r k , 1 9 9 4 .
1 2 . C . M . S c i p i o n e a n d L . M . B e r l i n e r , \ B a y e s i a n i n f e r e n c e i n n o n l i n e a r d y n a m i c a l s y s t e m s , "
1 9 9 3 P r o c . o f t h e S e c t i o n o n B a y e s i a n S t a t i s t . S c i . , A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n , W a s h -
i n g t o n , D . C . , 1 9 9 3 .
1 3 . M . W e s t , \ B a y e s i a n t i m e s e r i e s : M o d e l s a n d c o m p u t a t i o n s f o r t h e a n a l y s i s o f t i m e s e r i e s i n
t h e p h y s i c a l s c i e n c e s , " i n T h i s V o l u m e ,
1 4 . M . P r i e s t l e y , N o n - L i n e a r a n d N o n - S t a t i o n a r y T i m e S e r i e s A n a l y s i s , A c a d e m i c P r e s s , N e w
Y o r k , 1 9 8 8 .
1 5 . H . T o n g , N o n - L i n e a r T i m e S e r i e s , O x f o r d U n i v e r s i t y P r e s s , N e w Y o r k , 1 9 9 0 .