10.1.1.9.76

8/8/2019 10.1.1.9.76

1/19

U s i n g R e c u r r e n t N e u r a l N e t w o r k s f o r T i m e S e r i e s F o r e c a s t i n g

S a n d y D . B a l k i n

P e n n s y l v a n i a S t a t e U n i v e r s i t y

D e p a r t m e n t o f M a n a g e m e n t S c i e n c e a n d I n f o r m a t i o n S y s t e m s

U n i v e r s i t y P a r k , P e n n s y l v a n i a 1 6 8 0 2

e - m a i l : s x b 3 1 @ p s u . e d u

A b s t r a c t . I n t h e p a s t f e w y e a r s , a r t i c i a l n e u r a l n e t w o r k s ( A N N s ) h a v e

b e e n i n v e s t i g a t e d a s a t o o l f o r t i m e s e r i e s a n a l y s i s a n d f o r e c a s t i n g . T h e m o s t p o p u l a r

a r c h i t e c t u r e i s t h e m u l t i l a y e r p e r c e p t r o n , a f e e d f o r w a r d n e t w o r k o f t e n t r a i n e d b y b a c k -

p r o p a g a t i o n . T h e f o r e c a s t i n g p e r f o r m a n c e o f A N N s r e l a t i v e t o t r a d i t i o n a l m e t h o d s i s

s t i l l o p e n t o q u e s t i o n a l t h o u g h m a n y e x p e r i m e n t e r s s e e m o p t i m i s t i c .

O n e p r o b l e m w i t h t h e m u l t i l a y e r p e r c e p t r o n i s t h a t , i n i t s s i m p l e s t f o r m , i t i s s i m i l a r

t o a p u r e a u t o r e g r e s s i v e t y p e m o d e l , s o i t l a c k s t h e a b i l i t y t o a c c o u n t f o r a n y m o v i n g

a v e r a g e s t r u c t u r e t h a t m a y e x i s t . B y m a k i n g a n e t w o r k r e c u r r e n t , i t i s p o s s i b l e t o

i n c l u d e s u c h s t r u c t u r e .

W e p r e s e n t s e v e r a l e x a m p l e s s h o w i n g h o w a n A N N c a n b e u s e d t o r e p r e s e n t a n

A R M A s c h e m e a n d c o m p a r e t h e f o r e c a s t i n g a b i l i t i e s o f f e e d f o r w a r d a n d r e c u r r e n t n e u -

r a l n e t w o r k s w i t h t r a d i t i o n a l m e t h o d s .

W o r k i n g P a p e r S e r i e s n u m b e r 9 7 - 1 1 . T h i s p a p e r w a s p r e s e n t e d a t t h e 1 9 9 7 I n t e r n a t i o n a l S y m p o s i u m o n

F o r e c a s t i n g , B a r b a d o s .

1

8/8/2019 10.1.1.9.76

2/19

U s i n g R e c u r r e n t N e u r a l N e t w o r k s f o r T i m e S e r i e s F o r e c a s t i n g 2

1 . I n t r o d u c t i o n

A n A r t i c i a l N e u r a l N e t w o r k ( A N N ) i s a n i n f o r m a t i o n p r o c e s s i n g p a r a d i g m t h a t i s i n s p i r e d

b y t h e w a y t h e b r a i n p r o c e s s e s i n f o r m a t i o n . T h e k e y e l e m e n t o f t h i s p a r a d i g m i s t h e n o v e l

s t r u c t u r e o f t h e i n f o r m a t i o n p r o c e s s i n g s y s t e m . I t i s c o m p o s e d o f a l a r g e n u m b e r o f h i g h l y

i n t e r c o n n e c t e d p r o c e s s i n g e l e m e n t s ( n e u r o n s ) w o r k i n g i n u n i s o n t o s o l v e s p e c i c p r o b l e m s .

A N N s , l i k e p e o p l e , l e a r n b y e x a m p l e . A n A N N i s c o n g u r e d f o r a s p e c i c a p p l i c a t i o n , s u c h a s

p a t t e r n r e c o g n i t i o n o r d a t a c l a s s i c a t i o n , t h r o u g h a l e a r n i n g p r o c e s s . L e a r n i n g i n b i o l o g i c a l

s y s t e m s i n v o l v e s a d j u s t m e n t s t o t h e s y n a p t i c c o n n e c t i o n s t h a t e x i s t b e t w e e n t h e n e u r o n s .

T h i s i s t r u e o f A N N s a s w e l l . F o r a n i n t r o d u c t i o n t o A N N s s e e , f o r e x a m p l e , H i n t o n ( 1 9 8 8 ) ,

L i p p m a n n ( 1 9 8 7 ) , o r C h e n g a n d T i t t e r i n g t o n ( 1 9 9 4 ) .

R e c e n t l y , A N N s h a v e b e e n i n v e s t i g a t e d a s a t o o l f o r t i m e s e r i e s f o r e c a s t i n g . E x a m p l e s

i n c l u d e T a n g , e t a l . ( 1 9 9 1 ) , H i l l , e t a l . ( 1 9 9 6 ) , a n d F a r a w a y a n d C h a t e l d ( 1 9 9 5 ) . T h e m o s t

p o p u l a r c l a s s i s t h e m u l t i l a y e r p e r c e p t r o n , a f e e d f o r w a r d n e t w o r k t r a i n e d b y b a c k p r o p a g a -

t i o n . T h i s c l a s s o f n e t w o r k c o n s i s t s o f a n i n p u t l a y e r , a n u m b e r o f h i d d e n l a y e r s a n d a n

o u t p u t l a y e r . F i g u r e 1 i s a n e x a m p l e o f a n A N N o f t h i s t y p e w i t h 3 n e u r o n s i n t h e i n p u t

l a y e r , a s i n g l e h i d d e n l a y e r w i t h 2 n e u r o n s , a n d 1 n e u r o n i n t h e o u t p u t l a y e r . T h e r s t s t e p

i n u s i n g a n A N N c o n c e r n s t h e c h o i c e o f s t r u c t u r e , k n o w n a s t h e a r c h i t e c t u r e o f t h e n e t w o r k .

N e u r a l N e t w o r k s a r e k n o w n t o b e u n i v e r s a l f u n c t i o n a p p r o x i m a t o r s ( H o r n i k , S t i n c h c o m b e ,

& W h i t e , 1 9 8 9 ) , h o w e v e r , f o r a n A N N t o p e r f o r m w e l l , t h e i n p u t s a n d n u m b e r o f n o d e s

i n t h e h i d d e n l a y e r m u s t b e c a r e f u l l y c h o s e n . S i n c e t h e y l e a r n b y e x a m p l e , i t i s v i t a l t h a t

t h e i n p u t s c h a r a c t e r i z e t h e i m p o r t a n t r e l a t i o n s h i p s a n d c o r r e l a t i o n s i n t h e t i m e s e r i e s b e i n g

m o d e l e d .

F o r a f e e d f o r w a r d n e u r a l n e t w o r k w i t h o n e h i d d e n l a y e r , t h e p r e d i c t i o n e q u a t i o n , g i v e n b y

F a r a w a y a n d C h a t e l d ( 1 9 9 5 ) , f o r c o m p u t i n g f o r e c a s t s ^ x

t

u s i n g s e l e c t e d p a s t o b s e r v a t i o n s ,

x

t ? j

1

; : : : ; x

t ? j

k

, a t l a g s ( j

1

; : : : ; j

k

) a n d h n o d e s i n t h e h i d d e n l a y e r w i l l b e r e f e r r e d t o a s

N N j

1

; : : : ; j

k

; h ] : T h u s , t h e n e t w o r k i n F i g u r e 1 i s N N 1 ; 1 2 ; 1 3 ; 2 ] : T h e f u n c t i o n a l f o r m

8/8/2019 10.1.1.9.76

3/19


Output Layer

Hidden Layer

Input Layer

xt-1 xt-12 xt-131

F i g u r e 1 : A f e e d f o r w a r d n e u r a l n e t w o r k

m a y b e w r i t t e n a s

x

t

=

o

( w

c o

+

X

h

w

h o

h

( w

c h

+

X

i

w

i h

x

t ? j

i

) )

w h e r e f w

c h

g d e n o t e t h e w e i g h t s f o r t h e c o n n e c t i o n s b e t w e e n t h e c o n s t a n t i n p u t a n d t h e

h i d d e n n e u r o n s a n d w

c o

d e n o t e s t h e w e i g h t o f t h e d i r e c t c o n n e c t i o n b e t w e e n t h e c o n s t a n t

i n p u t a n d t h e o u t p u t . T h e w e i g h t s f w

i h

g a n d f w

h o

g d e n o t e t h e w e i g h t s f o r t h e o t h e r c o n -

n e c t i o n s b e t w e e n t h e i n p u t s a n d t h e h i d d e n n e u r o n s a n d b e t w e e n t h e n e u r o n s a n d t h e o u t -

p u t r e s p e c t i v e l y . T h e t w o f u n c t i o n s

h

a n d

o

d e n o t e t h e a c t i v a t i o n f u n c t i o n s t h a t d e n e

t h e m a p p i n g s f r o m i n p u t s t o h i d d e n n o d e s a n d f r o m h i d d e n n o d e s t o o u t p u t ( s ) r e s p e c -

t i v e l y . T h e l o g i s t i c f u n c t i o n , y = ( x ) =

1

1 + e

? x

i s w i d e l y u s e d i n t h e A N N l i t e r a t u r e .

F a r a w a y a n d C h a t e l d ( 1 9 9 5 ) r e c o m m e n d , f o r f o r e c a s t i n g a p p l i c a t i o n s , t h a t

h

b e l o g i s t i c

a n d

0

l i n e a r . F o r e c a s t s a r e g e n e r a t e d i t e r a t i v e l y b y p e r f o r m i n g s u c c e s s i v e o n e - s t e p a h e a d

f o r e c a s t s u s i n g p r e v i o u s f o r e c a s t s a s e s t i m a t e s o f o b s e r v a b l e s . T h i s a p p r o a c h r e p r e s e n t s a

n e u r a l n e t w o r k i m p l e m e n t a t i o n o f a n o n - l i n e a r a u t o r e g r e s s i v e ( N L A R ) m o d e l o f o r d e r k

a s

b

x

t

=

e

f ( x

t ? j

1

; x

t ? j

2

; : : : ; x

t ? j

k

; "

t )

w h e r e f "

t

g i s a s e q u e n c e o f I I D r a n d o m v a r i a b l e s a n d

8/8/2019 10.1.1.9.76

4/19


e

f :

8/8/2019 10.1.1.9.76

5/19


b o t h s h o r t s e r i e s a n d l o n g c o m p u t a t i o n a l t i m e . S o , t o b e a b l e t o m a k e a f a i r c o m p a r i s o n

b e t w e e n n e u r a l n e t w o r k a n d A R M A f o r e c a s t s , t h e n e u r a l n e t w o r k s h o u l d b e a b l e t o r e d u c e

t o a n A R M A f o r m . T h u s , i t i s n e c e s s a r y t o c o n s i d e r a n o t h e r c l a s s w h i c h d o e s a c c o u n t f o r

m o v i n g a v e r a g e s t r u c t u r e i n a s e r i e s .

T h i s p a p e r p r e s e n t s t h e r e c u r r e n t n e u r a l n e t w o r k f o r m o d e l i n g a n d f o r e c a s t i n g t i m e s e r i e s .

S e c t i o n 2 o f t h i s p a p e r r e v i e w s t h e B o x - J e n k i n s m e t h o d a n d t h e n i n t r o d u c e s r e c u r r e n t n e u r a l

n e t w o r k s a n d s h o w s h o w t h e y c a n b e r e d u c e d t o r e p r e s e n t A R M A t y p e m o d e l s i n S e c t i o n

3 . S e c t i o n 4 s h o w s e m p i r i c a l r e s u l t s c o m p a r i n g A R M A , f e e d f o r w a r d a n d r e c u r r e n t n e u r a l

n e t w o r k f o r e c a s t i n g a b i l i t i e s o n s o m e b e n c h m a r k s e r i e s . S e c t i o n 5 p r e s e n t s t h e c o n c l u s i o n s

a n d s u g g e s t s s o m e a r e a s f o r f u t u r e w o r k .

2 . B o x - J e n k i n s M e t h o d

T h e B o x - J e n k i n s m e t h o d i s a w e l l k n o w n p a r a d i g m u s e d t o i d e n t i f y t h e m o v i n g a v e r a g e ,

a u t o r e g r e s s i v e a n d s e a s o n a l c o m p o n e n t s o f a s t a t i o n a r y t i m e s e r i e s . T h e f o l l o w i n g i s a n

e x p l a n a t i o n o f m o d e l t y p e s a n d h o w t h e y a r e i n t e g r a t e d i n t o a s i n g l e l i n e a r m o d e l f r a m e w o r k .

T h e r s t t y p e o f l i n e a r m o d e l i s c a l l e d t h e m o v i n g a v e r a g e . A m o v i n g a v e r a g e p r o c e s s o f

o r d e r q i s c h a r a c t e r i z e d b y

x

t

= + "

t

?

1

"

t ? 1

?

2

"

t ? 2

? : : : ?

q

"

t ? q

w h i c h i s a w e i g h t e d a v e r a g e o f r a n d o m s h o c k s s p a n n i n g q p e r i o d s . E a c h o f t h e r a n d o m

s h o c k s i s a s s u m e d t o b e i n d e p e n d e n t a n d i d e n t i c a l l y d i s t r i b u t e d . A m o v i n g a v e r a g e m o d e l

i s u s e d w h e n t h e r e i s a l i n e a r d e p e n d e n c e o n p a s t p e r f o r m a n c e . I t i s i n t e r e s t i n g t o n o t e t h a t

t h e s y s t e m h a s a q - p e r i o d m e m o r y m e a n i n g t h a t a r a n d o m s h o c k p e r s i s t s f o r o n l y q p e r i o d s .

A s e c o n d t y p e o f l i n e a r m o d e l i s t h e a u t o r e g r e s s i v e s c h e m e . A n a u t o r e g r e s s i v e p r o c e s s o f

o r d e r p i s c h a r a c t e r i z e d b y

x

t

= c +

1

x

t ? 1

+

2

x

t ? 2

+ : : : +

p

x

t ? p

+ "

t

8/8/2019 10.1.1.9.76

6/19


w h i c h i s a w e i g h t e d a v e r a g e o f t h e p a s t p e r f o r m a n c e o f a t i m e s e r i e s . S u c h a m o d e l i s

u s e d w h e n t h e c h a n g e i n t h e s e r i e s a t a n y p o i n t i n t i m e i s l i n e a r l y c o r r e l a t e d w i t h p r e v i o u s

c h a n g e s .

C o m b i n i n g t h e t w o m o d e l s a b o v e r e s u l t s i n t h e m i x e d a u t o r e g r e s s i v e - m o v i n g a v e r a g e

m o d e l c h a r a c t e r i z e d b y

x

t

= c +

1

x

t ? 1

+ : : : + "

t

?

1

"

t ? 1

? : : : ?

q

"

t ? q

:

T h i s t y p e o f s c h e m e i s u s e d w h e n b o t h m o v i n g a v e r a g e a n d a u t o r e g r e s s i v e t e n d e n c i e s a r e

p r e s e n t .

T h i s c a n b e e x t e n d e d i n t o a s e a s o n a l A R M A ( P , Q ) m o d e l w h e n d e n e d a s

x

t

?

1

x

t ? s

? : : : ?

P

y

t ? P

s

=

t

?

1

"

t ? s

? : : : ?

Q

"

t ? Q

s

+ "

I n g e n e r a l , w h e n a l l o w i n g f o r t h e s e r i e s t o b e t r a n s f o r m e d a n d d i e r e n c e d , t h e B o x - J e n k i n s

m e t h o d p r o v i d e s g u i d e l i n e s t o f o l l o w w h e n c h o o s i n g t h e p a r a m e t e r s t o i d e n t i f y a m o d e l o f

t h e f o r m :

( B ) ( B

s

) r

d

r

D

s

( x

t

? c ) = ( B ) ( B

S

) "

t

T h e e x p e r i m e n t e r i d e n t i e s s e v e r a l p o s s i b l e m o d e l s a n d t h e n c h o o s e s w h i c h i s b e s t b a s e d

u p o n a s e t o f d i a g n o s t i c s . F o r e c a s t s a r e t h e n b a s e d o n t h e s e l e c t e d m o d e l . A m o r e d e t a i l e d

e x p l a n a t i o n o f t h e c o n c e p t s j u s t p r e s e n t e d c a n b e f o u n d i n B o x , e t a l . ( 1 9 9 4 ) .

T h e l i n e a r m o d e l s c a n b e e x t e n d e d t o n o n - l i n e a r m o d e l s . I n S e c t i o n 1 , w e s a w t h a t

b

x

t

f o l l o w s a n o n l i n e a r a u t o r e g r e s s i v e m o d e l i f t h e r e e x i s t s a f u n c t i o n

e

f :

8/8/2019 10.1.1.9.76

7/19


3 . R e c u r r e n t N e u r a l N e t w o r k s

R e c u r r e n t N e u r a l N e t w o r k s a r e u s e f u l i n s i t u a t i o n s w h e n t h e r e i s a t e m p o r a l ( t i m e d e p e n d e n t )

r e l a t i o n s h i p i n d a t a . C l a s s e s o f t h i s a r c h i t e c t u r e t y p e w e r e i n t r o d u c e d i n J o r d a n ( 1 9 8 6 ) a n d

E l m a n ( 1 9 9 0 ) . T h e y a r e c o n s t r u c t e d b y t a k i n g a f e e d f o r w a r d n e t w o r k a r c h i t e c t u r e a n d

a d d i n g f e e d b a c k c o n n e c t i o n s t o p r e v i o u s l a y e r s . S u c h n e t w o r k s a r e t r a i n e d b y t h e s t a n d a r d

b a c k p r o p a g a t i o n a l g o r i t h m e x c e p t t h a t p a t t e r n s m u s t a l w a y s b e p r e s e n t e d i n t i m e s e q u e n t i a l

o r d e r ( s e e t h e s e m i n a l p a p e r b y R u m e l h a r t , H i n t o n a n d W i l l i a m s ( 1 9 8 6 ) f o r a d e s c r i p t i o n

o f t h e b a c k p r o p a g a t i o n a l g o r i t h m ) . T h e o n e d i e r e n c e i n s t r u c t u r e i s t h a t t h e r e a r e s o m e

e x t r a n o d e s n e x t t o t h e i n p u t l a y e r t h a t a r e c o n n e c t e d t o t h e h i d d e n l a y e r j u s t l i k e t h e o t h e r

i n p u t n o d e s . T h e s e e x t r a n o d e s h o l d t h e c o n t e n t s o r r e p r e s e n t a t i o n o f t h e c o n t e n t s o f o n e

o f t h e l a y e r s a s i t e x i s t e d w h e n t h e p r e v i o u s p a t t e r n w a s t r a i n e d . I n t h i s w a y t h e n e t w o r k

s e e s p r e v i o u s k n o w l e d g e i t h a d a b o u t p r e v i o u s i n p u t s . T h i s e x t r a s e t o f n o d e s a r e c a l l e d t h e

n e t w o r k ' s c o n t e x t u n i t s a n d a r e s o m e t i m e s r e f e r r e d t o a s a n e t w o r k ' s l o n g t e r m m e m o r y f o r

r e a s o n s e x p l a i n e d l a t e r .

T h e p r i m a r y t y p e s o f r e c u r r e n t n e t w o r k s a r e :

I n p u t L a y e r F e d B a c k I n t o I n p u t L a y e r : T h e c o n t e x t u n i t s r e m e m b e r t h e n e w i n p u t

d a t a a n d u s e i t w h e n t h e n e x t p a t t e r n i s p r o c e s s e d .

H i d d e n L a y e r F e d B a c k I n t o I n p u t L a y e r : T h e c o n t e x t u n i t s r e m e m b e r t h e h i d d e n

l a y e r , w h i c h c o n t a i n s f e a t u r e s d e t e c t e d i n t h e r a w d a t a o f p r e v i o u s p a t t e r n s . I t i s a l s o

k n o w n a s a n E l m a n R e c u r r e n t N e t w o r k .

O u t p u t L a y e r F e d B a c k I n t o I n p u t L a y e r : T h e c o n t e x t u n i t s r e m e m b e r o u t p u t s p r e v i -

o u s n e t w o r k o u t p u t s . I t i s a l s o k n o w n a s a J o r d a n R e c u r r e n t N e t w o r k .

F i g u r e 2 i s a n e x a m p l e o f a J o r d a n r e c u r r e n t n e u r a l n e t w o r k w i t h t h e n e t w o r k o u t p u t f e d

b a c k i n t o t h e c o n t e x t u n i t a n d F i g u r e 3 i s a n e x a m p l e o f a n E l m a n r e c u r r e n t n e t w o r k w i t h

t h e h i d d e n l a y e r f e d b a c k i n t o t h e c o n t e x t l a y e r . T h e a d j u s t m e n t o f t h e w e i g h t s i n e a c h

8/8/2019 10.1.1.9.76

8/19


Output Layer

Hidden Layer

Input Layer

xt-1 xt-12 xt-131

Context

Unit

F i g u r e 2 : A J o r d a n r e c u r r e n t n e u r a l n e t w o r k

s u c c e s s i v e i t e r a t i o n o f t h e l e a r n i n g a l g o r i t h m i s a f u n c t i o n o f b o t h t h e i n p u t v e c t o r a s w e l l a s

a c o m p r e s s e d r e p r e s e n t a t i o n o f a l l p r e c e d i n g i n p u t s . I f t h e r e i s n o t e m p o r a l s t r u c t u r e i n t h e

d a t a , u s i n g a r e c u r r e n t n e t w o r k w i l l n o t w o r k a s w e l l a s a f e e d f o r w a r d n e t w o r k b e c a u s e t h e

l o n g t e r m m e m o r y n o d e s w i l l b e c o n s i d e r e d r a n d o m n o i s e t o t h e n e t . I f a r e c u r r e n t n e t w o r k

d o e s n o t w o r k w e l l , t h e r e m a y n o t b e t i m e d e p e n d e n c i e s i n t h e d a t a .

I t h a s b e e n s h o w n t h a t a f e e d f o r w a r d n e u r a l n e t w o r k h a s t h e a b i l i t y t o r e p r e s e n t a n A R

t y p e m o d e l . T o u s e s u c h a n e t w o r k t o a c c o u n t f o r m o v i n g a v e r a g e s t r u c t u r e , t h e i n v e s t i g a t o r

c a n u s e t h e a b i l i t y t o r e p r e s e n t a n M A s c h e m e a s a n i n n i t e o r d e r A R t y p e m o d e l , h o w e v e r ,

t r y i n g t o m o d e l a s e r i e s i n t h i s f a s h i o n w i l l r e s u l t i n a c o m p u t a t i o n a l l y i n f e a s i b l e n u m b e r o f

n o d e s . H o w e v e r , a d d i n g r e c u r r e n c e t o a n e t w o r k c a n a c c o m p l i s h t h e s a m e e n d w i t h f a r f e w e r

p r o c e s s i n g n o d e s .

T h e f o r e c a s t i n g f u n c t i o n f o r a r e c u r r e n t n e u r a l n e t w o r k s m a y b e r e p r e s e n t e d a s

x

t

=

o

( w

c o

+

X

h

w

h o

h

( w

c h

+

X

i

w

i h

x

t ? j

i

+

X

j

w

l h

h

j ; t ? 1

) )

w h e r e a l l c o e c i e n t s a r e a s p r e v i o u s l y d e n e d w i t h a d d i t i o n o f w

l h

w h i c h d e n o t e s t h e w e i g h t s

8/8/2019 10.1.1.9.76

9/19


Output Layer

Hidden Layer

Input Layer

xt-1 xt-12 xt-131ContextUnits

F i g u r e 3 : A n E l m a n r e c u r r e n t n e u r a l n e t w o r k

f o r c o n n e c t i o n s b e t w e e n c o n t e x t a n d h i d d e n n e u r o n s a n d h

j ; t ? 1

w h i c h d e n o t e s t h e v a l u e o f

t h e n e t w o r k o u t p u t f r o m t h e p r e v i o u s t i m e u n i t f r o m a J o r d a n r e c u r r e n t n e t w o r k o r t h e

v a l u e o f h i d d e n n o d e j f r o m t h e p r e v i o u s t i m e u n i t f r o m a n E l m a n r e c u r r e n t n e t w o r k .

M o d i e d o r e x t e n d e d v e r s i o n s o f t h e s e a r c h i t e c t u r e s d e n e h

j ; t ? 1

a s a c o n v e x f u n c t i o n o f

t h e o u t p u t f r o m t h e r e c u r r e n t n o d e s a n d v a l u e o f t h e c o n t e x t u n i t s f r o m t h e p r e v i o u s t i m e

u n i t . F o r e x a m p l e , t h e v a l u e o f t h e c o n t e x t u n i t f o r a J o r d a n r e c u r r e n t n e u r a l n e t w o r k i s

g i v e n b y

h

j ; t ? 1

=

1

b

x

t ? 1

+

2

h

j ; t ? 2

w h e r e

1

;

2

2 0 ; 1 ] a n d

1

+

2

= 1 : I n t h i s a r c h i t e c t u r e , t h e c o n t e x t u n i t c o n t a i n s a

c o m p r e s s e d v e r s i o n o f t h e l o n g t e r m b e h a v i o r o f t h e n e t w o r k a l o n g w i t h a p o r t i o n o f t h e s h o r t

t e r m i n f o r m a t i o n . T h e l a m b d a v a l u e s , c a l l e d d e c a y p a r a m e t e r s , a r e a d j u s t e d a c c o r d i n g t o t h e

i m p o r t a n c e t h e i n v e s t i g a t o r p u t s o n e i t h e r t h e l o n g o r s h o r t t e r m b e h a v i o r i n f o r m a t i o n . I n

t h i s c a s e , t h e c o n t e x t u n i t s e r v e s a s a s i m p l e l o w p a s s l t e r w h o s e o u t p u t i s a w e i g h t e d v a l u e

o f s o m e o f i t s m o r e r e c e n t p a s t i n p u t s . I n t h e c a s e o f t h e J o r d a n c o n t e x t u n i t , t h e o u t p u t

8/8/2019 10.1.1.9.76

10/19

U s i n g R e c u r r e n t N e u r a l N e t w o r k s f o r T i m e S e r i e s F o r e c a s t i n g 1 0

i s o b t a i n e d b y s u m m i n g t h e p a s t v a l u e s m u l t i p l i e d b y a s c a l a r w h i c h d e c a y s e x p o n e n t i a l l y

o v e r t i m e . T h e s e c o n t e x t u n i t s a r e c a l l e d l o n g t e r m m e m o r y u n i t s , b e c a u s e t h e y r e m e m b e r

p a s t e v e n t s . I n g e n e r a l ,

2

i s s e t t o 1 ?

1

k

; k > 0 , w h e r e k i s t h e n u m b e r o f t i m e s a m p l e s t o

r e m e m b e r .

O n c e a g a i n , c o n s i d e r t h e s i m p l e s t n e u r a l n e t w o r k o f t h i s t y p e . T h i s n e t w o r k , s h o w n i n

F i g u r e 4 , w i l l h a v e 1 i n p u t n e u r a l , 0 n e u r o n s i n t h e h i d d e n l a y e r , 1 n e u r o n i n t h e o u t p u t l a y e r

a n d 1 c o n t e x t u n i t . I n B u l s a r i a n d S a x e n ( 1 9 9 3 ) , i t i s s h o w n t h a t i t s f o r e c a s t i n g f u n c t i o n i s

0 1 2

3

W03W13 W23

F i g u r e 4 : A s i m p l e r e c u r r e n t n e u r a l n e t w o r k

g i v e n b y

x

t

( 1 ) = w

0 3

+ w

1 3

x

t

+ w

2 3

h

t

w h i c h c a n b e t r a n s f o r m e d a s :

x

t

( 1 ) = w

0 3

+ ( w

1 3

+ w

2 3

) x

t

? w

2 3

( x

t

? h

t

)

= w

0 3

+ ( w

1 3

+ w

2 3

) x

t

? w

2 3

( x

t

? x

t

)

= w

0 3

+ ( w

1 3

+ w

2 3

) x

t

? w

2 3

"

t

8/8/2019 10.1.1.9.76

11/19


I f w e l e t c = w

0 3

, = w

1 3

+ w

2 3

a n d = w

2 3

, t h e n

x

t

( 1 ) = c + x

t

? "

t

w h i c h i s t h e f o r e c a s t i n g e q u a t i o n f o r a n A R M A ( 1 ; 1 ) s c h e m e . F u r t h e r A R t e r m s c a n b e

a d d e d b y i n c l u d i n g t h e d e s i r e d l a g s a s i n p u t s . F o r e x a m p l e , F i g u r e 5 i s a n e u r a l n e t w o r k

r e p r e s e n t a t i o n o f a n A R M A ( 2 ; 1 ) s c h e m e . I t i s i m p o r t a n t t o m e n t i o n t h a t , w i t h t h i s t y p e

o f a r c h i t e c t u r e , n a m e l y o n e d i r e c t c o n n e c t i o n f r o m t h e o u t p u t n e u r o n t o t h e c o n t e x t u n i t ,

w e a r e r e s t r i c t e d t o a s i n g l e o r d e r m o v i n g a v e r a g e s t r u c t u r e . I t i s a l s o i m p o r t a n t t o n o t e

F i g u r e 5 : A n e u r a l n e t w o r k r e p r e s e n t a t i o n o f a n A R M A ( 2 , 1 ) s c h e m e

t h a t a l t h o u g h w h a t h a s b e e n p r e s e n t e d a r e n e u r a l n e t w o r k r e p r e s e n t a t i o n s o f A R M A - t y p e

s c h e m e s , t h e n e u r a l n e t w o r k c o e c i e n t s a r e n o t c o n s t r a i n e d b y s t a t i o n a r i t y c o n d i t i o n s a s

t h e y a r e f o r t h e c o n v e n t i o n a l l i n e a r m o d e l .

4 . E x a m p l e s

F o r t h e r s t e x a m p l e , c o n s i d e r t h e B o x - J e n k i n s a i r l i n e s e r i e s . F i g u r e 6 i s a p l o t o f t h e s e r i e s .

T h e B o x - J e n k i n s a n a l y s i s o f t h i s m o n t h l y s e r i e s e n t a i l s t a k i n g o n e s e a s o n a l a n d o n e n o n -

8/8/2019 10.1.1.9.76

12/19


Time in years

Passengers(inthousands)

1950 1952 1954 1956 1958 1960

100

200

300

400

500

600

F i g u r e 6 : B o x - J e n k i n s S e r i e s G : I n t e r n a t i o n a l A i r l i n e P a s s e n g e r s : M o n t h l y T o t a l s f o r

J a n u a r y 1 9 4 9 - D e c e m b e r 1 9 6 0

s e a s o n a l d i e r e n c e a n d m o v i n g a v e r a g e o f t h e l o g a r i t h m o f t h e o r i g i n a l s e r i e s . T h i s m o d e l i s

k n o w n a s t h e a i r l i n e m o d e l a n d i s w r i t t e n ( 0 ; 1 ; 1 ) ( 0 ; 1 ; 1 )

1 2

. T h e f o l l o w i n g i s a s u m m a r y

t a b l e o f t h e f o r e c a s t s g e n e r a t e d b y t h e v a r i o u s m e t h o d s b e i n g c o m p a r e d . T h e m o d e l i s t o n

t h e r s t 1 3 2 d a t a p o i n t s a n d u s e d t o f o r e c a s t t h e r e m a i n i n g 1 2 . T h e n e u r a l n e t w o r k m e t h o d s

w e r e p e r f o r m e d o n t h e o r i g i n a l s e r i e s a n d i n c o r p o r a t e d t h e s a m e l a g s ( 1 , 1 2 a n d 1 3 ) a s t h e

a i r l i n e m o d e l u s i n g a J o r d a n n e u r a l n e t w o r k w i t h d e c a y p a r a m e t e r s s e t a s

1

= 0 : 6 a n d

2

= 0 : 4 f o r t h e R N N . T h e t a b l e s u m m a r i z e s t h e a c c u r a c y o f t h e f o r e c a s t s s h o w n i n F i g u r e

7 .

8/8/2019 10.1.1.9.76

13/19


M o d e l i n g T y p e B o x - J e n k i n s F e e d f o r w a r d A N N R e c u r r e n t A N N

M o d e l ( 0 ; 1 ; 1 ) ( 0 ; 1 ; 1 )

1 2

l a g s = 1 , 1 2 , 1 3 l a g s = 1 , 1 2 , 1 3

# H i d d e n N e u r o n s N A 2 2

# P a r a m e t e r s 2 1 1 1 3

S S

R E S

1 . 0 7 9 0 . 9 9 9 4 1 . 1 7 5 1

b

0 . 0 9 5 0 . 0 9 6 2 0 . 1 0 5 3

A I C - 5 5 5 . 7 - 5 4 6 . 7 8 6 - 5 2 3 . 5 1 5 7

B I C - 5 4 6 . 1 - 5 0 5 . 2 1 6 - 4 8 7 . 2 8

F M S E 3 1 5 . 3 3 1 0 . 5 3 0 6 . 3

F M A D 1 2 . 5 1 4 . 1 1 2 . 9

A l t h o u g h t h e w i t h i n s a m p l e f o r e c a s t s a r e n o t a s g o o d a s t h e o t h e r m e t h o d s , t h e r e c u r r e n t

n e t w o r k a c h i e v e s t h e b e s t m e a n o u t - o f - s a m p l e f o r e c a s t s . F r o m t h e p l o t , i t i s i n t e r e s t i n g t o

n o t e t h a t e a c h m e t h o d d o e s b e t t e r t h a n t h e r e s t f o r s o m e f o r e c a s t e d v a l u e s , b u t b a s e d o n

t h e F M S E , t h e r e c u r r e n t n e t w o r k p r o v i d e s m a r g i n a l l y b e t t e r r e s u l t s . T h e F M A D t e l l s u s

t h a t t h e B o x - J e n k i n s a n d r e c u r r e n t n e t w o r k m e t h o d s a r e c o m p a r a b l e w h i l e t h e f e e d f o r w a r d

n e t w o r k p e r f o r m e d s i g n i c a n t l y w o r s e .

F o r a n o t h e r e x a m p l e , c o n s i d e r t h e B o x - J e n k i n s S e r i e s A , c h e m i c a l p r o c e s s c o n c e n t r a t i o n

r e a d i n g s a t 2 h o u r i n t e r v a l s , s h o w n i n F i g u r e 8 . B o x e t a l . ( 1 9 9 4 ) a n a l y z e t h i s s e r i e s a n d

c h o o s e a n A R M A ( 1 ; 1 ) a s a p a r s i m o n i o u s m o d e l . F o r c o m p a r i s o n , a f e e d f o r w a r d n e u r a l

n e t w o r k w i t h o n e i n p u t a t l a g 1 , t w o n o d e s i n t h e h i d d e n l a y e r a n d o n e o u t p u t n o d e i s

c r e a t e d . F o r t h e r e c u r r e n t n e t w o r k , a c o n n e c t i o n i s a d d e d f r o m t h e o u t p u t n o d e t o a c o n t e x t

u n i t w i t h d e c a y p a r a m e t e r s

1

= 0 : 9 a n d

2

= 0 : 1 : T h e f o l l o w i n g t a b l e i s a s u m m a r y o f t h e

f o r e c a s t s s h o w n i n F i g u r e 9 . T h e n e t w o r k s a r e t r a i n e d o n t h e r s t 1 9 1 o b s e r v a t i o n s a n d a l l

t h r e e m e t h o d s a r e u s e d t o f o r e c a s t t h e n a l 6 v a l u e s .

8/8/2019 10.1.1.9.76

14/19


Actual Values

Forecast


2 4 6 8 10 12

400

450

500

550

600

Actual and Box-Jenkins

Forecast


2 4 6 8 10 12

400

450

500

550

600

Actual and FFNN

Forecast


2 4 6 8 10 12

400

450

500

550

600

Actual and JRNN

Forecast


2 4 6 8 10 12

400

450

500

550

600

F i g u r e 7 : A c t u a l a n d f o r e c a s t e d v a l u e s o f l a s t 1 2 o b s e r v a t i o n s f r o m A i r l i n e s e r i e s

8/8/2019 10.1.1.9.76

15/19


Reading

Concentration

0 50 100 150 200

16.5

17.0

17.5

18.0

F i g u r e 8 : B o x - J e n k i n s S e r i e s A : C h e m i c a l P r o c e s s C o n c e n t r a t i o n R e a d i n g s : E v e r y 2 H o u r s

M o d e l i n g T y p e B o x - J e n k i n s F e e d f o r w a r d A N N R e c u r r e n t A N N

M o d e l ( 1 ; 0 ; 1 ) l a g s = 1 l a g s = 1

# H i d d e n N e u r o n s N A 2 2

# P a r a m e t e r s 2 7 9

S S

R E S

1 9 . 1 8 8 2 1 . 5 6 1 9 . 2 0 8

b

0 . 3 1 4 0 . 3 3 7 7 4 9 0 . 3 2 0 4 9 4

A I C - 4 5 1 . 4 7 - 4 1 8 . 6 2 6 - 4 3 7 . 2 6 6

B I C - 4 4 2 . 9 1 4 - 3 9 5 . 3 4 1 - 4 0 7 . 4 4 3

F M S E 0 . 1 5 7 9 3 5 0 . 2 6 4 9 0 2 0 . 1 5 7 6 9 4 4

F M A D 0 . 3 2 5 6 3 3 3 0 . 4 6 3 7 9 3 0 . 3 2 8 8 1 5 5

O n c e a g a i n , t h e B o x - J e n k i n s a n d r e c u r r e n t n e u r a l n e t w o r k m e t h o d s p e r f o r m c o m p a r a b l y

w h i l e t h e f e e d f o r w a r d n e t w o r k p e r f o r m s s i g n i c a n t l y w o r s e . M o r e o v e r , p e r h a p s t h e k e y r e s u l t

i n b o t h e x a m p l e s i s t h a t t h e r e c u r r e n t A N N i s a b l e t o m a t c h t h e p e r f o r m a n c e o f t h e A R I M A

m o d e l , w h e r e a s t h e f e e d f o r w a r d A N N d o e s n o t .

8/8/2019 10.1.1.9.76

16/19


Actual Values

Forecast

Concentration

1 2 3 4 5 6

17.2

17.4

17.6

17.8

18.0

18.2

Actual and Box-Jenkins

Forecast

Concentration

1 2 3 4 5 6

17.2

17.4

17.6

17.8

18.0

18.2

Actual and FFNN

Forecast

Concentration

1 2 3 4 5 6

17.2

17.4

17.6

17.8

18.0

18.2

Actual and JRNN

Forecast

Concentration

1 2 3 4 5 6

17.2

17.4

17.6

17.8

18.0

18.2

F i g u r e 9 : A c t u a l a n d f o r e c a s t e d v a l u e s o f l a s t 6 o b s e r v a t i o n s f r o m t h e C h e m i c a l s e r i e s

8/8/2019 10.1.1.9.76

17/19


5 . C o n c l u s i o n s a n d F u t u r e W o r k

T h i s p a p e r s h o w s h o w s o m e A R M A m o d e l s c a n b e i m p l e m e n t e d w i t h n e u r a l n e t w o r k s .

M o s t o f t h e r e s e a r c h r e g a r d i n g n e u r a l n e t w o r k s f o r t i m e s e r i e s f o r e c a s t i n g h a s b e e n d o n e

w i t h f e e d f o r w a r d n e t w o r k s w h i c h a r e a n a l o g o u s t o a n o n - l i n e a r a u t o r e g r e s s i v e m o d e l . B y

a d d i n g r e c u r r e n c e , i t i s p o s s i b l e t o a c c o u n t f o r m o v i n g a v e r a g e s t r u c t u r e i n h e r e n t i n a t i m e

s e r i e s . N e u r a l n e t w o r k s m a y p e r f o r m m a r g i n a l l y b e t t e r , b a s e d o n t h e F M S E , p r o v i d e d t h e

m o v i n g a v e r a g e - l i k e s t r u c t u r e c a n b e i n c o r p o r a t e d i n t o t h e A N N , v i a r e c u r r e n t n e t w o r k s

o r s o m e o t h e r s c h e m e . S u c h i m p r o v e m e n t s a r e p o s s i b l e s i n c e A N N s c a n i n c l u d e n o n - l i n e a r

r e l a t i o n s h i p s . H o w e v e r , t h i s s l i g h t i m p r o v e m e n t d o e s c o m e a t a c o s t i n t h a t t h e r e c u r r e n t

n e u r a l n e t w o r k t a k e s c o n s i d e r a b l y l o n g e r t o t r a i n t h a n a f e e d f o r w a r d n e t w o r k o r t h e t i m e

n e e d e d t o e s t i m a t e t h e l i n e a r m o d e l c o e c i e n t s .

T h e l i t e r a t u r e o n l i n e a r m o d e l s e l e c t i o n i s v a s t c o m p a r e d t o t h a t o n c h o o s i n g n e u r a l

n e t w o r k a r c h i t e c t u r e . A s w i t h c o n v e n t i o n a l m o d e l s , n e u r a l n e t w o r k s m u s t a l s o b e c o n s t r u c t e d

p a r s i m o n i o u s l y t o a v o i d a d d i n g u n n e c e s s a r y n o i s e i n t o t h e s y s t e m . T h o u g h m u c h w o r k h a s

b e e n d o n e o n a r c h i t e c t u r e s e l e c t i o n , i t i s e s s e n t i a l l y a t r i a l a n d e r r o r p r o c e s s . B y u s i n g t h e

t e c h n i q u e s f o r l i n e a r m o d e l s e l e c t i o n , i t s h o u l d b e p o s s i b l e t o c o n s t r u c t a n e u r a l n e t w o r k

t h a t w i l l p e r f o r m a t l e a s t a s w e l l a s t h e c o r r e s p o n d i n g l i n e a r m o d e l . T h i s a r c h i t e c t u r e w i l l

n o t n e c e s s a r i l y b e t h e b e s t , b u t w i l l p r o v i d e a g o o d l o w e r b o u n d f o r f u r t h e r e x p l o r a t i o n .

F u t u r e r e s e a r c h a r e a s i n t h i s e l d i n c l u d e i m p l e m e n t a t i o n o f n e u r a l n e t w o r k a r c h i t e c -

t u r e s t o a c c o u n t f o r h i g h e r o r d e r m o v i n g a v e r a g e s t r u c t u r e a n d u s i n g s t a t i s t i c a l m e t h o d s

f o r d e t e c t i n g l i n e a r a n d n o n - l i n e a r r e l a t i o n s h i p s b e t w e e n v a r i a b l e s t o a i d i n a r c h i t e c t u r e

c o n s t r u c t i o n .

8/8/2019 10.1.1.9.76

18/19


R e f e r e n c e s

B i g u s , J . P . ( 1 9 9 6 ) . D a t a M i n i n g w i t h N e u r a l N e t w o r k s . M c G r a w - H i l l .

B o x , G . , J e n k i n s , G . , & R e i n s e l , G . ( 1 9 9 4 ) . T i m e S e r i e s A n a l y s i s F o r e c a s t i n g a n d C o n t r o l

( T h i r d e d i t i o n ) . P r e n t i c e H a l l : E n g l e w o o d C l i s , N e w J e r s e y .

B u l s a r i , A . B . , & S a x e n , H . ( 1 9 9 3 ) . A R e c u r r e n t N e u r a l N e t w o r k f o r T i m e - s e r i e s M o d e l l i n g .

A r t i c i a l N e u r a l N e t w o r k s a n d G e n e t i c A l g o r i t h m s { P r o c e e d i n g s o f t h e I n t e r n a t i o n a l

C o n f e r e n c e i n I n n s b r u c k , A u s t r i a .

C h e n g , B . , & T i t t e r i n g t o n , D . M . ( 1 9 9 4 ) . N e u r a l N e t w o r k s : A R e v i e w f r o m a S t a t i s t i c a l

P e r s p e c t i v e ( w i t h d i s c u s s i o n ) . S t a t i s t i c a l S c i e n c e , 9 ( 1 ) , 2 { 5 4 .

C o n n o r , J . T . , M a r t i n , R . D . , & A t l a s , L . E . ( 1 9 9 4 ) . R e c u r r e n t N e u r a l N e t w o r k s a n d R o b u s t

T i m e S e r i e s P r e d i c t i o n . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , 5 ( 2 ) , 2 4 0 { 2 5 4 .

E l m a n , J . L . ( 1 9 9 0 ) . F i n d i n g S t r u c t u r e i n T i m e . C o g n i t i v e S c i e n c e , 1 4 , 1 7 9 { 2 1 1 .

F a r a w a y , J . , & C h a t e l d , C . ( 1 9 9 5 ) . T i m e S e r i e s F o r e c a s t i n g w i t h N e u r a l N e t w o r k s : A C a s e

S t u d y . R e s e a r c h R e p o r t 9 5 - 0 6 o f t h e S t a t i s t i c s G r o u p , U n i v e r s i t y o f B a t h .

F r e e m a n , J . A . ( 1 9 9 4 ) . S i m u l a t i n g N e u r a l N e t w o r k s w i t h M a t h e m a t i c a . A d d i s o n - W e s l e y

P u b l i s h i n g C o m p a n y .

H a y k i n , S . ( 1 9 9 4 ) . N e u r a l N e t w o r k s : A C o m p r e h e n s i v e F o u n d a t i o n . P r e n t i c e H a l l .

H i l l , T . , O ' C o n n o r , M . , & R e m u s , W . ( 1 9 9 6 ) . N e u r a l N e t w o r k M o d e l s f o r T i m e S e r i e s

F o r e c a s t s . M a n a g e m e n t S c i e n c e , 4 2 ( 7 ) , 1 0 8 2 { 1 0 9 2 .

H i n t o n , G . E . ( 1 9 9 2 ) . H o w N e u r a l N e t w o r k s L e a r n f r o m E x p e r i e n c e . S c i e n t i c A m e r i c a n .

H o r n i k , K . , S t i n c h c o m b e , M . , & W h i t e , H . ( 1 9 8 9 ) . M u l t i l a y e r F e e d f o r w a r d N e t w o r k s a r e

U n i v e r s a l A p p r o x i m a t o r s . N e u r a l N e t w o r k s , 2 , 3 5 9 { 3 6 6 .

8/8/2019 10.1.1.9.76

19/19


J o r d a n , M . I . ( 1 9 8 6 ) . S e r i a l O r d e r : A P a r a l l e l D i s t r i b u t e d P r o c e s s i n g A p p r o a c h . T e c h . r e p .

R e p o r t 8 6 - 1 0 4 , I n s t i t u t e o f C o g n i t i v e S c i e n c e .

L i p p m a n n , R . P . ( 1 9 8 7 ) . A n I n t r o d u c t i o n t o C o m p u t i n g w i t h N e u r a l N e t s . I E E E A S S P

M a g a z i n e , 4 , 4 { 2 2 .

M c D o n n e l l , J . R . , & W a a g e n , D . ( 1 9 9 4 ) . E v o l v i n g R e c u r r e n t P e r c e p t r o n s f o r T i m e - S e r i e s

M o d e l i n g . I E E E T r a n s a c t i o n s o n N e u r a l N e t w o r k s , 5 ( 1 ) .

P a r z e n , E . ( 1 9 8 3 ) . A R A R M A M o d e l s f o r T i m e S e r i e s A n a l y s i s a n d F o r e c a s t i n g . J o u r n a l o f

F o r e c a s t i n g , 1 , 6 7 { 8 2 .

R u m e l h a r t , D . E . , H i n t o n , G . E . , & W i l l i a m s , R . J . ( 1 9 8 6 ) . L e a r n i n g R e p r e s e n t a t i o n s b y

B a c k - p r o p a g a t i n g E r r o r s . N a t u r e , 3 2 3 , 5 3 3 { 5 3 6 .

S a r l e , W . S . ( 1 9 9 4 ) . N e u r a l N e t w o r k s a n d S t a t i s t i c a l M o d e l s . P r o c e e d i n g s o f t h e N i n e t e e n t h

A n n u a l S A S U s e r s G r o u p I n t e r n a t i o n a l C o n f e r e n c e .

T a n g , Z . , d e A l m e i d a , C . , & F i s h w i c k , P . A . ( 1 9 9 1 ) . T i m e S e r i e s F o r e c a s t i n g U s i n g N e u r a l

N e t w o r k s v s . B o x - J e n k i n s M e t h o d o l o g y . S i m u l a t i o n , 5 7 ( 5 ) , 3 0 3 { 3 1 0 .

T o n g , H . ( 1 9 9 0 ) . N o n - l i n e a r T i m e S e r i e s . O x f o r d U n i v e r s i t y P r e s s .

10.1.1.9.76

Documents