matching, maximizing, and hill‐climbing

8/10/2019 Matching, Maximizing, And HillClimbing

1/11

JOURNAL

OF

THE EXPERIMENTAL ANALYSIS

OF

BEHAVIOR

MATCHING,

MAXIMIZING, AND

HILL-CLIMBING

JOHN

M.

H I N S O N

AND J . E . R . S T A D D O N

DUKE

UNIVERSITY

I n

s i m p l e

s i t u a t i o n s , a n i m a l s

c o n s i s t e n t l y

c h o o s e t h e b e t t e r o f two a l t e r n a t i v e s . On

c o n -

c u r r e n t v a r i a b l e - i n t e r v a l

v a r i a b l e - i n t e r v a l a n d

v a r i a b l e - i n t e r v a l

v a r i a b l e - r a t i o

s c h e d u l e s ,

t h e y

a p p r o x i m a t e l y

m a t c h

a g g r e g a t e

c h o i c e a n d

r e i n f o r c e m e n t

r a t i o s . Th e

m a t c h i n g

l a w

a t t e m p t s

t o

e x p l a i n

t h e

l a t t e r r e s u l t b u t

d o e s

n o t

a d d r e s s

t h e

f o r m e r .

H i l l - c l i m b i n g

r u l e s

s u c h a s

m o m e n t a r y m a x i m i z i n g c a n

a c c o u n t

f o r

b o t h .

We

s h o w

t h a t

m o m e n t a r y m a x i m i z i n g

c o n s t r a i n s

m o l a r

c h o i c e t o

a p p r o x i m a t e m a t c h i n g ;

t h a t

m o l a r

c h o i c e

c o v a r i e s

w i t h

p i g e o n s '

m o m e n t a r y - m a x i m i z i n g

e s t i m a t e ;

a n d t h a t

t h e g e n e r a l i z e d

m a t c h i n g

l a w

f o l l o w s

f r o m

a l m o s t

a n y h i l l - c l i m b i n g

r u l e .

K e y

w o r d s : o p t i m a l b e h a v i o r , momentary

m a x i m i z i n g ,

m a t c h i n g

l a w ,

c o n c u r r e n t s c h e d -

u l e s ,

v a r i a b l e

i n t e r v a l ,

v a r i a b l e

r a t i o ,

k e y

p e c k ,

p i g e o n s

E a r l y

r e s e a r c h

h a s s h o w n

t h a t

a h u n g r y

a s s

r e g u l a r l y

a l l o w e d t o c h o o s e b e t w e e n t w o

p i l e s

o f

h a y , o n e

l a r g e

a n d

o n e s m a l l , w i l l c o n s i s -

t e n t l y p i c k t h e l a r g e .

T h i s

r e s u l t

c o n f o r m s t o

t h e

m a t c h i n g

l a w

( H e r r n s t e i n ,

1 9 6 1 , 1 9 7 0 ) ,

b u t i s n o t

e x p l a i n e d

b y

i t - c o n s i s t e n t

c h o i c e

o f

t h e s m a l l

p i l e w o u l d f i t a s w e l l .

Tw o

o t h e r t h e -

o r i e s d o

e x p l a i n t h i s

r e s u l t : o v e r a l l

m a x i m i z a -

t i o n

( e . g . ,

R a c h l i n , G r e e n , K a g e l ,

B a t t a l i o ,

1 9 7 6 ; S t a d d o n

M o t h e r a l , 1 9 7 8 )

a n d h i l l -

c l i m b i n g ,

n a m e l y , p i c k i n g

t h e

b e s t

a l t e r n a t i v e

a t a

g i v e n t i m e

( e . g . ,

H i n s o n

&

S t a d d o n , 1 9 8 3 ;

S h i m p ,

1 9 6 9 ) .

O v e r a l l m a x i m i z a t i o n

w o r k s

b e -

c a u s e

c o n s i s t e n t c h o i c e

o f t h e

l a r g e p i l e m a x i -

m i z e s f o o d i n t a k e .

H i l l - c l i m b i n g w o r k s b e c a u s e

a l w a y s p i c k i n g t h e l a r g e p i l e m e a n s a l w a y s

p i c k i n g

t h e

b e s t a l t e r n a t i v e

o f f e r e d .

More

r e c e n t

r e s e a r c h h a s

s h o w n

t h a t o n c o n -

c u r r e n t

v a r i a b l e - i n t e r v a l

v a r i a b l e - i n t e r v a l ( c o n -

c u r r e n t

V I

V I ) ,

v a r i a b l e - i n t e r v a l ,

v a r i a b l e - r a t i o

( c o n c u r r e n t

V I V R ) , a n d s o m e

o t h e r

r e i n f o r c e -

ment

s c h e d u l e s , p i g e o n s , r a t s ,

a n d

p e o p l e

a l l o -

c a t e

t h e i r

a g g r e g a t e

r e s p o n d i n g a c c o r d i n g t o

t h e f o r m u l a

x / y

=

a [ R ( x ) / R ( y ) ] b ,

( 1 )

w h e r e

x a n d

y

a r e

t h e

a v e r a g e r e s p o n s e r a t e s

t o

t h e t w o

a l t e r n a t i v e s ,

R ( x )

a n d

R ( y ) t h e r e i n -

f o r c e m e n t

r a t e s o b t a i n e d , a n d

a

a n d

b

c o n -

T h i s

r e s e a r c h w a s

s u p p o r t e d b y g r a n t s

f r o m t h e

N a -

t i o n a l

S c i e n c e F o u n d a t i o n

t o

Duke

U n i v e r s i t y , J . E .

R .

S t a d d o n p r i n c i p a l

i n v e s t i g a t o r .

R e p r i n t s

m a y b e o b -

t a i n e d f r o m J o h n M.

H i n s o n ,

D e p a r t m e n t

o f

P s y c h o l -

o g y ,

W a s h i n g t o n

S t a t e

U n i v e r s i t y , P u l l m a n , W a s h i n g -

t o I n 9 9 1 6 4 .

s t a n t s . F o r

c o n c u r r e n t

V I

V I ,

a a n d

b a r e

b o t h

a p p r o x i m a t e l y

u n i t y ( i . e . ,

t h e

m a t c h i n g l a w ) ,

a l t h o u g h s o m e

s t u d i e s

f i n d

b

v a l u e s

l e s s

t h a n

o n e

( u n d e r m a t c h i n g ) ;

f o r c o n c u r r e n t

V I

V R ,

b

i s n e a r

u n i t y

b u t

a

m a y

b e

l e s s

t h a n

o n e

( b i a s e d

m a t c h i n g ) ;

f o r c o n c u r r e n t c h a i n e d

s c h e d u l e s ,

a

i s u n i t y , b u t

b

i s

g e n e r a l l y g r e a t e r

t h a n

u n i t y

( o v e r m a t c h i n g :

B a c o t t i , 1 9 7 7 ; B a u m ,

1 9 7 4 ;

D a v i s o n ,

1 9 8 - 1 ;

L e a ,

1 9 8 1 ) .

E q u a t i o n

1 ,

t h e

g e n e r a l i z e d m a t c h i n g

l a w ,

i s

f l e x i b l e

e n o u g h

t o a c c o m m o d a t e a l m o s t

a n y

m o n o t o n i c

e m p i r i c a l

r e l a t i o n s h i p

b e t w e e n

c h o i c e

a n d


r a t i o s , g i v e n

u s u a l

e x p e r i m e n t a l

v a r i a t i o n .

H e n c e ,

E q u a t i o n

1 i s

s i g n i f i c a n t m a i n l y

f o r

t h e

c o n s i s t e n t

r e l a t i o n -

s h i p

b e t w e e - n

p a r a m e t e r

v a l u e s

a n d

p a r t i c u l a r

p r o c e d u r e s .

The

s t a n d a r d m a t c h i n g

l a w

c a n n o t

a c c o u n t 4 o r s y s t e m a t i c

d e v i a t i o n s

f r o m

u n i t y

i n

t h e t w o

p a r a m e t e r s .

B e h a v , i e r - o n

c o n c u r r e n t s c h e d u l e s

h a s

p r o p -

e r t - i e s

, m i a d d i - t i o n t o

a g g r e g a t e

c h o i c e

r a t i o s :

d i s t - r i b - t i o n s

o f

i n t e r r e s p o n s e t i m e s

( I R T s )

t o

e a c h

a l t e r n a t i v e ,

- i n t e r s w i t c h

t i m e s

( i . e . ,

c h o i c e

b o u t

l e n g t h s ) ,

a n d

t e m p o r a l r e l a t i o n s h i p s

b e -

t w e e n

- 4 i e

s e q u e n c e

o f

r e s p o n s e s

t o e a c h a l -

t e r n a t i v e . Some

o f

t h e s e

p r o p e r t i e s

a r e a f f e c t e d

i n

s t r i k i n g

w a y s

b y

p r o c e d u r a l

f e a t u r e s . F o r

e x a m p l e ,

i f

e a c h

s w i t c h

( c h a n g e o v e r )

s t a r t s

a

t i m e r

t h a t

p r e v e n t s t h e

d e l i v e r y

o f

f o o d

f o r

t

s e c

a f t e r

t h e

s w i t c h

( c h a n g e o v e r

d e l a y : C O D ) ,

t h e n

i n t e r s w i t c h t i m e s i n c r e a s e

( e . g . ,

B a u m ,

1 9 8 2 ;

H u n t e r

D a v i s o n ,

1 9 7 8 ) .

A s

a n o t h e r

e x -

a m p l e ,

I - R T s

t o

t h e

VR a l t e r n a t i v e o n

c o n c u r -

r e n t

VI

VR

a r e s h o r t e r t h a n

IRTs

t o

t h e V I .

None

o f t h e s e

p r o p e r t i e s

o f

c h o i c e

a r e e x -

p l i c a b l e b y t h e

m a t c h i n g

l a w .

3 2 1

1 9 8 3 ,

4 0 ,

3 2 1 - 3 3 1

NUMBER

3

( N O V E M B E R )


2/11

JOHN

M.

HINSON a n d

J .

E . R . STADDON

The l i m i t e d a p p l i c a b i l i t y o f m a t c h i n g - l a w

f o r m u l a t i o n s

h a s

l e d

i n

r e c e n t y e a r s

t o a s e a r c h

f o r m o r e c o m p r e h e n s i v e a l t e r n a t i v e s t h a t c a n

e x p l a i n s i m p l e m a t c h i n g , p o w e r - r a t i o m a t c h -

i n g ( E q u a t i o n 1 ) , COD

a n d

s c h e d u l e - t y p e e f -

f e c t s ,

a s

w e l l a s e x c l u s i v e c h o i c e . F o r e x a m p l e ,

t h e e f f e c t s o f COD o n i n t e r s w i t c h t i m e

make

p e r f e c t

s e n s e f r o m t h e

p o i n t

o f v i e w o f

e i t h e r

o v e r a l l

m a x i m i z i n g

o r h i l l - c l i m b i n g ;

IRT

d i f -

f e r e n c e s a n d b i a s e d m a t c h i n g o n c o n c u r r e n t

V I

VR

f o l l o w f r o m a f o r m o f

h i l l - c l i m b i n g

( H i n s o n

S t a d d o n , 1 9 8 3 ; S t a d d o n ,

1 9 8 0 ) ,

a n d

a s

we h a v e

s e e n , e x c l u s i v e c h o i c e i n s i m p l e

s i t u a t i o n s f o l l o w s f r o m

a l m o s t

a n y o p t i m i z i n g

t h e o r y .

M o l a r

m e a s u r e s ,

s u c h

a s

t h e

a g g r e g a t e

r e -

s p o n s e

a n d

r e i n f o r c e m e n t r a t e s t h a t e n t e r

i n t o

E q u a t i o n

1 ,

a r e made u p o f m o l e c u l a r

e l e m e n t s :

m o m e n t - b y - m o m e n t

c h o i c e s o f o n e

a l t e r n a t i v e o r

t h e

o t h e r . B o t h

m o l a r

m a t c h -

i n g

a n d

o v e r a l l

r e i n f o r c e m e n t - r a t e

m a x i m i z a -

t i o n when t h e y

o c c u r

m u s t d e p e n d u p o n

r u l e s

t h a t r e l a t e

t h e

a n i m a l ' s i n s t a n t a n e o u s c h o i c e

t o i t s p a s t h i s t o r y .

S u c h

a r u l e c a n b e c a l l e d

a

s t r a t e g y

o r p o l i c y w i t h o u t i m p l y i n g

c o n

s c i o u s

d e l i b e r a t i o n

b y

t h e

a n i m a l .

When

m o l a r

p r i n c i p l e s

f a i l ,

t h e

o b v i o u s

p l a c e

t o

l o o k

f o r a n

e x p l a n a t i o n

i s

t h e

m o l e c u l a r s t r a t e -

g i e s

t h a t

u n d e r l i e t h e m .

We

c a n

p r o b a b l y

r u l e o u t o n e

p o s s i b i l i t y -

w h a t we h a v e

e l s e w h e r e c a l l e d

t h e

m o l a r

c o m -

p a r i s o n

s t r a t e g y

( H i n s o n

S t a d d o n ,

1 9 8 3 ) -

t h a t

i s , t h e i d e a t h a t

when

a n i m a l s m a x i m i z e ,

t h e y

d o

s o b y

v a r y i n g

c h o i c e

p r o p o r t i o n s

f r o m

d a y

t o

d a y , r e m e m b e r i n g

t h e

a v e r a g e

r e i n f o r c e -

m e n t r a t e

a s s o c i a t e d w i t h

e a c h ,

a n d

c h o o s i n g

t h e

p r o p o r t i o n

t h a t

g i v e s

t h e m

t h e

h i g h e s t

p a y o f f

r a t e .

Memory

l i m i t a t i o n s

mean

t h a t

a n i -

m a l s

a r e

much m o r e

l i k e l y

t o

m a x i m i z e

( a n d

m a t c h ) b y a d o p t i n g

a

m o m e n t - b y - m o m e n t

s t r a t e g y

t h a t

d o e s

n o t demand

c o m p a r i s o n s

o v e r

l o n g

t i m e

p e r i o d s .

H i l l - c l i m b i n g ,

p i c k i n g

t h e

b e s t

o p t i o n

a v a i l -

a b l e

f r o m moment t o

m o m e n t ,

i s

o n e c l a s s

o f

s t r a t e g i e s

t h a t

m a k e s l i m i t e d

d e m a n d s on m e m -

o r y , y e t

o f t e n

a c h i e v e s

m o l a r o u t c o m e s

c l o s e

t o

t h e t h e o r e t i c a l

o p t i m u m

( M i n s k y , 1 9 6 1 ) .

T h i s

p a p e r

d i s c u s s e s

o n e s u c h

h i l l - c l i m b i n g s t r a t e g y ,


( S h i m p ,

1 9 6 6 ) .

We

h a v e p r e v i o u s l y

s h o w n t h a t

p i g e o n s

c o n f o r m

r e a s o n a b l y

w e l l

t o

m o m e n t a r y

m a x i m i z i n g

o n

b o t h c o n c u r r e n t

V I V I

a n d c o n c u r r e n t

VI VR

s c h e d u l e s

( H i n s o n

8 c

S t a d d o n ,

1 9 8 1 , 1 9 8 3 ) .

H e r e

w e s h o w

t h a t when

p i g e o n s

s h o w

m o m e n t a r y

m a x i m i z i n g , m o l a r c h o i c e

p r o p o r t i o n a p p r o x i -

m a t e l y

m a t c h e s

r e i n f o r c e m e n t p r o p o r t i o n ;

t h a t

m o l a r c h o i c e

v a r i e s

w i t h

t h e

a n i m a l ' s momen-

t a r y e s t i m a t e o f p a y o f f p r o b a b i l i t i e s f o r t h e

t w o

a l t e r n a t i v e s o n

t h e s e t w o

s c h e d u l e s ;

a n d

t h a t t h i s r e l a t i o n

i s

n o t

a n a r t i f a c t

o f o u r

m e t h o d o f m e a s u r i n g t h e a n i m a l ' s

e s t i m a t e .

H e n c e

m a t c h i n g ,

a m o l a r r e l a t i o n , i s p r o b a b l y

t h e

o u t c o m e

o f m o m e n t - b y - m o m e n t h i l l - c l i m b -

i n g . We s h o w i n t h e D i s c u s s i o n

t h a t a

c l a s s o f


s t r a t e g i e s o f w h i c h m o m e n t a r y

m a x i m i z i n g

i s a s p e c i a l

c a s e i m p l i e s

m o l a r r e -

s u l t s

c o n f o r m i n g

t o E q u a t i o n 1 .

We

c o n c l u d e

f r o m

t h e s e

s i m u l a t i o n s t h a t

E q u a t i o n

1

i s

i m -

p l i e d

b y

a l m o s t

a n y


r u l e .

METHOD

T h i s p a p e r

p r e s e n t s

a d d i t i o n a l a n a l y s e s

o f

t h e e x p e r i m e n t d e s c r i b e d

i n

H i n s o n

a n d S t a d -

d o n ( 1 9 8 3 ) .

The

m e t h o d i s

g i v e n

i n

f u l l

i n

t h a t

p a p e r ,

s o we

p r e s e n t o n l y

a

b r i e f s u m m a r y

h e r e .

S u b j e c t s

E i g h t m a l e ,

a d u l t

W h i t e

C a r n e a u x p i g e o n s

s e r v e d .

A p p a r a t u s

A l l

e x p e r i m e n t s w e r e c o n d u c t e d

i n

a s t a n -

d a r d a l u m i n u m a n d P l e x i g l a s o p e r a n t - c o n d i -

t i o n i n g

c h a m b e r w i t h

t w o

t r a n s l u c e n t

p e c k i n g

k e y s . The e x p e r i m e n t a l c o n t i n g e n c i e s

a n d

d a t a

r e c o r d i n g

w e r e c a r r i e d o u t

b y

a

m i c r o c o m p u t e r

i n a n

a d j a c e n t

r o o m .

D a t a

o n

t h e a b s o l u t e

t i m e

( t o

o n e m s e c ) a n d i d e n t i t y o f e a c h e x p e r i m e n -

t a l e v e n t w e r e l a t e r

t r a n s f e r r e d

t o

a

PDP

I 1

m i n i c o m p u t e r

f o r a n a l y s i s .

P r o c e d u r e

The

p i g e o n s

r e c e i v e d

e x t e n s i v e t r a i n i n g o n

c o n c u r r e n t V I V I a n d VR V I

s c h e d u l e s ,

w i t h

r a n d o m

( F l e s h l e r

H o f f m a n ,

1 9 6 2 )

i n t e r f o o d

i n t e r v a l s a n d n o

c h a n g e o v e r

d e l a y .

Th e

e x p e r i -

m e n t a l

c o n d i t i o n s

f o r

a l l

a n i m a l s

a p p e a r

i n

T a b l e

1 . S e s s i o n s

l a s t e d

1

h o u r , e x c l u d i n g

t h e

t i m e

t a k e n

b y

f o o d

d e l i v e r y .

RESULTS

C o n c u r r e n t

V I V I

F i g u r e

1

s h o w s m o l a r m a t c h i n g :

t h e

r e l a t i o n -

s h i p

b e t w e e n

t h e

m e a n

l o g a r i t h m s

o f

c h o i c e

r a t i o s a n d

t h e

mean o f

t h e

l o g a r i t h m s

o f o b -

3 2 2


3/11

MATCHING, MAXIMIZING,

AND HILL-CLIMBING

T a b l e

1

C o n d i t i o n s

a n d Number o f

S e s s i o n s f o r E a c h B i r d

C o n c u r r e n t

V I

V I

B i r d

C o n d i t i o n

C096

C0123

C 0 1 0 4

S e s s i o n s

1

VI60

V I

6 0

VI60

VI60

V I 6 0 V I 6 0

9 0

2

VI180VI60

VI180VI60 VI180VI60

9 0

3 VI60

V I 1 8 0

VI60

V I 1 8 0 VI60

V I 1 8 0

6 0

4 VI60

VI60 VI60 VI60

VI60 VI60

3 0

CD129

CD117

C D 1 4 8

1

V I

1 8 0

V I

6 0

V I

1 8 0

V I

6 0

3 0

2

VI60 V I

1 8 0 VI60

V I 1 8 0

VI60 V I

1 8 0

3 0

3 V I 6 0

V I

6 0

V I

6 0 V I 6 0

V I

6 0

V I 6 0

1 7

4 V I

2 4 0

V I 6 0 V I 2 4 0

V I 6 0

V I 2 4 0 V I 6 0

1 5

5

V I 9 0

V I

1 8 0

V I

9 0

V I 1 8 0

V I

9 0

V I

1 8 0

1 6

6

VI180VI30

V I 1 8 0 V I 3 0

1 5

C o n c u r r e n t

VR

V I

B i r d

B i r d

C R 1 2 9

S e s s i o n s

C R 1 1 7

S e s s i o n s

1

VR

3 0

V I

6 0

3 0

VR 3 0

V I

6 0

3 0

2

VR 6 0

V I 6 0

3 0

VR 6 0 V I 6 0

3 0

3

VR

1 5

V I

6 0

3 0 VR

1 5

V I

6 0

3 0

C R 1 0 1

CR196

1

VR

1 5

V I

6 0

4 0

VR

6 0

V I

6 0

2 0

2

VR 6 0 V I 6 0

4 0

VR 6 0

V I

1 8 0

1 7

3

VR

3 0

V I 6 0

1 5

VR 6 0

V I

1 2 0

1 8

t a i n e d


r a t i o s

o f

t h e

l a s t

f i v e s e s -

s i o n s

o f e a c h

c o n d i t i o n f o r

e a c h

a n i m a l .

V e r -

t i c a l b a r s f o r e a c h

p o i n t

w i t h i n

t h e

g r a p h

s h o w

t h e

range

o f

response

r a t i o s .

M a t c h i n g

i n

t h i s

s i t u a t i o n

i s

w i t h i n

t h e

n o r m a l

range: S l o p e s

o f

t h e

f i t t e d

r e g r e s s i o n

l i n e s ,

shown

f o r

e a c h

a n i -

m a l ,

a r e

g e n e r a l l y

l e s s

t h a n one

and t h e

i n t e r -

c e p t s

a r e

c l o s e

t o

z e r o .

T h e r e

a r e t w o

ways t o

d e m o n s t r a t e

a

r e l a -

t i o n s h i p

b e t w e e n

m a t c h i n g

a n d

m o m e n t a r y

m a x i m i z i n g ,

n e i t h e r

p e r f e c t l y

s a t i s f a c t o r y .

Th e

f i r s t

i s

t o s h o w

t h a t

when

a n i m a l s

c o n f o r m

w e l l

t o

t h e

m o m e n t a r y

m a x i m i z i n g

r u l e ,

c h o i c e

p r o -

p o r t i o n s

ar e

c l o s e

t o

m a t c h i n g . (When

a n i m a l s

m a x i m i z e

p o o r l y ,

t h e i r

c h o i c e

p r o p o r t i o n s

may

o r

may

no t

c o n f o r m

t o

m a t c h i n g , d e p e n d i n g

on

w h a t causes

t h e

p o o r

p e r f o r m a n c e .

C o n s e -

q u e n t l y ,

m o l a r

c h o i c e

p r o p o r t i o n

on

d a y s

w h en

m a x i m i z i n g

i s

p o o r

i s

l e s s

i n f o r m a t i v e

t h a n

c h o i c e

p e r f o r m a n c e

on

d a y s

when

m a x i m i z i n g

i s g o o d . )

Th e s e c o n d way

t o s h o w

a r e l a t i o n -

s h i p

b e t w e e n

m a t c h i n g

and

m o m ent a r y

m a x i -

m i z i n g

i s

t o s h o w

t h a t

m o l a r

c h o i c e

p r o p o r t i o n

r e l i a b l y

c o v a r i e s

w i t h

t h e

a n i m a l ' s

e s t i m a t e

o f

t h e


s w i t c h i n g

l i n e .

We

w i l l

d i s c u s s e a c h

o f

t h e s e

m e t h o d s

i n t u r n .

P r e v i o u s

pa pe r s

( H i n s o n

S t a d d o n ,

1 9 8 1 ,

1 9 8 3 ;

S t a d d o n ,

H i n s o n ,

K r a m ,

1 9 8 1 )

h a v e

s h o w n

t h a t

t h e r e l e v a n t

v a r i a b l e s

f o r momen-

t a r y m a x i m i z i n g

a r e

t 1

a n d

t 2 ,

t h e t i m e s s i n c e

t h e l a s t

r e s p o n s e s

t o

a l t e r n a t i v e s o n e a n d t w o .

M o m e n t a r y

m a x i m i z i n g

i s d e f i n e d b y t h e

s w i t c h i n g

l i n e ,

t l

=

x 2 t 2 / X l ,

w h e r e

X ,

i s t h e s c h e d u l e d

V I r e i n f o r c e m e n t

r a t e f o r

a l t e r n a t i v e

i . The

a n i m a l

i s p e r f o r m i n g

p e r f e c t l y

when

a l l

i n s t a n c e s o f

r e s p o n s e

o n e

l i e

b e t w e e n

t h e s w i t c h i n g

l i n e

a n d t h e

t 1 a x i s

i n

t 1

/ t 2 s p a c e

( t h e

c l o c k s p a c e )

a n d

a l l i n s t a n c e s

o f

r e s p o n s e

t w o

l i e b e t w e e n

t h e l i n e

a n d

t h e

t 2

a x i s .

T a b l e

2

P r o c e d u r e

f o r

o b t a i n i n g t h e

m o m e n t a r y

m a x i m i z i n g

e s t i m a t e m .

R e i n f o r c e m e n t

P r o b a b i l i t y

p ( R

I t l )

>

P ( R

Q

p ( R | t j )

matching, maximizing, and hill‐climbing

Documents