vision based hand tracking for interaction
TRANSCRIPT
-
8/3/2019 Vision Based Hand Tracking for Interaction
1/7
D i g i t E y e s : V i s i o n - B a s e d H a n d T r a c k i n g f o r
H u m a n - C o m p u t e r I n t e r a c t i o n
J a m e s M . R e h g
T a k e o K a n a d e
D e p t . o f E l e c t r i c a l a n d C o m p u t e r E n g . T h e R o b o t i c s I n s t i t u t e
C a r n e g i e M e l l o n U n i v e r s i t y C a r n e g i e M e l l o n U n i v e r s i t y
P i t t s b u r g h , P A 1 5 2 1 3 P i t t s b u r g h , P A 1 5 2 1 3
j i m r @ c s . c m u . e d u t k @ c s . c m u . e d u
A p p e a r s i n P r o c . o f t h e I E E E W o r k s h o p o n M o t i o n o f N o n - R i g i d a n d A r t i c u l a t e d O b j e c t s ,
A u s t i n , T e x a s , N o v e m b e r 1 9 9 4 , p a g e s 1 6 - 2 2 .
A b s t r a c t
C o m p u t e r s e n s i n g o f h a n d a n d l i m b m o t i o n i s
a n i m p o r t a n t p r o b l e m f o r a p p l i c a t i o n s i n H u m a n -
C o m p u t e r I n t e r a c t i o n ( H C I ) , v i r t u a l r e a l i t y , a n d a t h -
l e t i c p e r f o r m a n c e m e a s u r e m e n t . C o m m e r c i a l l y a v a i l -
a b l e s e n s o r s a r e i n v a s i v e , a n d r e q u i r e t h e u s e r t o
w e a r g l o v e s o r t a r g e t s . W e h a v e d e v e l o p e d a n o n i n -
v a s i v e v i s i o n - b a s e d h a n d t r a c k i n g s y s t e m , c a l l e d D i g -
i t E y e s . E m p l o y i n g a k i n e m a t i c h a n d m o d e l , t h e D i g -
i t E y e s s y s t e m h a s d e m o n s t r a t e d t r a c k i n g p e r f o r m a n c e
a t s p e e d s o f u p t o 1 0 H z , u s i n g l i n e a n d p o i n t f e a -
t u r e s e x t r a c t e d f r o m g r a y s c a l e i m a g e s o f u n a d o r n e d ,
u n m a r k e d h a n d s . W e d e s c r i b e a n a p p l i c a t i o n o f o u r
s e n s o r t o a 3 D m o u s e u s e r - i n t e r f a c e p r o b l e m .
1 I n t r o d u c t i o n
A \ h u m a n s e n s o r " c a p a b l e o f t r a c k i n g a p e r s o n ' s
s p a t i a l m o t i o n u s i n g t e c h n i q u e s f r o m C o m p u t e r V i -
s i o n w o u l d b e a p o w e r f u l t o o l f o r h u m a n - c o m p u t e r
i n t e r f a c e s . S u c h a s e n s o r c o u l d b e l o c a t e d i n t h e
u s e r ' s e n v i r o n m e n t ( r a t h e r t h a n o n t h e i r p e r s o n ) a n d
c o u l d o p e r a t e u n d e r n a t u r a l c o n d i t i o n s o f l i g h t i n g a n d
d r e s s , p r o v i d i n g a d e g r e e o f c o n v e n i e n c e a n d e x i b i l -
i t y t h a t i s c u r r e n t l y u n a v a i l a b l e . F o r t h e p u r p o s e o f
v i s u a l s e n s i n g , h u m a n h a n d s a n d l i m b s c a n b e m o d -
e l e d a s a r t i c u l a t e d m e c h a n i s m s , s y s t e m s o f r i g i d b o d -
i e s c o n n e c t e d t o g e t h e r b y j o i n t s w i t h o n e o r m o r e
d e g r e e s o f f r e e d o m ( D O F ' s ) . T h i s m o d e l c a n b e a p -
p l i e d a t a n e ( v i s u a l ) s c a l e t o d e s c r i b e h a n d m o t i o n ,
a n d a t a c o a r s e r s c a l e t o d e s c r i b e t h e m o t i o n o f t h e
e n t i r e b o d y . B a s e d o n t h i s o b s e r v a t i o n , w e f o r m u -
l a t e h u m a n s e n s i n g a s t h e r e a l - t i m e v i s u a l t r a c k i n g o f
S u p p o r t e d b y t h e N A S A G e o r g e M a r s h a l l S p a c e F l i g h t
C e n t e r , G S R P G r a n t N G T - 5 0 5 5 9 .
a r t i c u l a t e d k i n e m a t i c c h a i n s .
A l t h o u g h m a n y f r a m e w o r k s f o r h u m a n m o t i o n
a n a l y s i s a r e p o s s i b l e , o u r a p p r o a c h h a s f o u r m a i n a d -
v a n t a g e s . F i r s t , b y t r a c k i n g a l l o f t h e h a n d ' s D O F ' s ,
w e p r o v i d e t h e u s e r w i t h m a x i m u m e x i b i l i t y f o r i n -
t e r f a c e a p p l i c a t i o n s . ( S e e 1 5 , 6 ] f o r e x a m p l e s o f i n -
t e r f a c e s r e q u i r i n g a w h o l e - h a n d s e n s o r . ) I n a d d i t i o n ,
o u r g e n e r a l m o d e l i n g a p p r o a c h b a s e d o n 3 D k i n e m a t -
i c s m a k e s i t p o s s i b l e t o t r a c k a n y s u b s e t o f h a n d o r
b o d y s t a t e s w i t h t h e s a m e b a s i c a l g o r i t h m . A n o t h e r
b e n e t o f f u l l s t a t e t r a c k i n g i s i n v a r i a n c e t o u n u s e d
h a n d m o t i o n s . T h e m o t i o n o f a p a r t i c u l a r n g e r , f o r
e x a m p l e , c a n b e r e c o g n i z e d f r o m i t s j o i n t a n g l e s r e -
g a r d l e s s o f t h e p o s e o f t h e p a l m r e l a t i v e t o t h e c a m -
e r a . F i n a l l y , b y m o d e l i n g t h e h a n d k i n e m a t i c s i n 3 D
w e e l i m i n a t e t h e n e e d f o r a p p l i c a t i o n - o r v i e w p o i n t -
d e p e n d e n t u s e r m o d e l i n g .
T h e D i g i t E y e s s y s t e m t r e a t s h a n d t r a c k i n g a s a
m o d e l - b a s e d s e q u e n t i a l e s t i m a t i o n p r o b l e m : g i v e n a
s e q u e n c e o f i m a g e s a n d a h a n d m o d e l , w e e s t i m a t e
t h e 3 D h a n d c o n g u r a t i o n i n e a c h f r a m e . A l l p o s -
s i b l e h a n d c o n g u r a t i o n s a r e r e p r e s e n t e d b y v e c t o r s
i n a s t a t e s p a c e , w h i c h e n c o d e s t h e p o s e o f t h e p a l m
( s i x r o t a t i o n a n d t r a n s l a t i o n D O F ' s
1
) a n d t h e j o i n t
a n g l e s o f t h e n g e r s ( f o u r s t a t e s p e r n g e r , v e f o r
t h e t h u m b ) . E a c h h a n d c o n g u r a t i o n g e n e r a t e s a s e t
o f i m a g e f e a t u r e s , 2 D l i n e s a n d p o i n t s , b y p r o j e c t i o n
t h r o u g h t h e c a m e r a m o d e l . A f e a t u r e m e a s u r e m e n t
p r o c e s s e x t r a c t s t h e s e h a n d f e a t u r e s f r o m g r e y - s c a l e
i m a g e s b y d e t e c t i n g t h e o c c l u d i n g b o u n d a r i e s o f n -
g e r l i n k s a n d t i p s . T h e s t a t e e s t i m a t e f o r e a c h i m a g e
i s c o m p u t e d b y n d i n g t h e s t a t e v e c t o r t h a t b e s t t s
t h e m e a s u r e d f e a t u r e s . O u r b a s i c t r a c k i n g f r a m e w o r k
1
W e u s e q u a t e r n i o n s t o r e p r e s e n t p a l m r o t a t i o n , r e s u l t i n g i n
a m o d e l w i t h f o u r r o t a t i o n a l s t a t e s | - o n e m o r e t h a n t h e n u m -
b e r o f D O F ' s . A l t h o u g h q u a t e r n i o n s a r e a n o n m i n i m a l r e p r e -
s e n t a t i o n , t h e y h a v e t h e a d v a n t a g e o f b e i n g f r e e o f s i n g u l a r i t i e s .
-
8/3/2019 Vision Based Hand Tracking for Interaction
2/7
i s s i m i l a r t o t h a t o f 4 , 7 , 1 6 ] .
A r t i c u l a t e d m e c h a n i s m s a r e m o r e d i c u l t t o t r a c k
t h a n t h e s i n g l e r i g i d o b j e c t s t r a d i t i o n a l l y a d d r e s s e d
i n C o m p u t e r V i s i o n . T h r e e m a j o r d i c u l t i e s a r e t h e
l a r g e s i z e o f t h e s t a t e s p a c e , n o n l i n e a r i t i e s i n t h e
s t a t e - t o - f e a t u r e m a p p i n g ( c a l l e d t h e m e a s u r e m e n t
m o d e l ) , a n d s e l f - o c c l u s i o n s . F i n g e r a r t i c u l a t i o n s a d d
a n a d d i t i o n a l 2 1 s t a t e s o v e r t h e r i g i d b o d y m o t i o n o f
t h e p a l m , s i g n i c a n t l y i n c r e a s i n g t h e c o m p u t a t i o n a l
c o s t o f e s t i m a t i o n . T h e s e a d d i t i o n a l s t a t e s a r e p a -
r a m e t e r i z e d b y j o i n t a n g l e s , w h i c h i n t r o d u c e n o n l i n -
e a r i t i e s a n d k i n e m a t i c s i n g u l a r i t i e s i n t o t h e m e a s u r e -
m e n t m o d e l . S i n g u l a r i t i e s a r i s e w h e n a s m a l l c h a n g e
i n a g i v e n s t a t e h a s n o e e c t o n t h e i m a g e f e a t u r e s . I n
a d d i t i o n t o t h e s e p r o b l e m s , t h e n g e r s o c c l u d e e a c h
o t h e r a n d t h e p a l m d u r i n g m o t i o n , m a k i n g f e a t u r e
m e a s u r e m e n t d i c u l t .
T h e D i g i t E y e s s y s t e m u s e s l o c a l s e a r c h a n d l i n -
e a r i z t i o n t o d e a l w i t h t h e l a r g e s t a t e s p a c e a n d n o n -
l i n e a r m e a s u r e m e n t m o d e l . T h e k e y t o o u r l o c a l ,
g r a d i e n t - b a s e d a p p r o a c h t o t r a c k i n g i s a h i g h i m a g e
a c q u i s i t i o n r a t e ( 1 0 H z ) , w h i c h l i m i t s t h e c h a n g e i n
t h e h a n d s t a t e , a n d t h e r e f o r e i m a g e f e a t u r e l o c a t i o n ,
b e t w e e n f r a m e s . I n t h e s t a t e s p a c e , w e e x p l o i t t h i s l o -
c a l i t y b y l i n e a r i z i n g t h e n o n l i n e a r s t a t e m o d e l a r o u n d
t h e p r e v i o u s e s t i m a t e . T e c h n i q u e s f r o m r o b o t i c s p r o -
v i d e f o r f a s t c o m p u t a t i o n o f t h e n e c e s s a r y k i n e m a t i c
J a c o b i a n . K i n e m a t i c s i n g u l a r i t i e s a r e d e a l t w i t h b y
s t a b i l i z i n g t h e s t a t e e s t i m a t o r . T h e r e s u l t i n g l i n e a r
e s t i m a t i o n p r o b l e m i s s o l v e d f o r e a c h f r a m e , p r o d u c -
i n g a s e q u e n c e o f s t a t e c o r r e c t i o n s w h i c h a r e i n t e -
g r a t e d o v e r t i m e t o y i e l d a n e s t i m a t e d s t a t e t r a j e c -
t o r y .
A s a r e s u l t o f t h e h i g h i m a g e s a m p l i n g r a t e , t h e
c h a n g e i n h a n d f e a t u r e s b e t w e e n f r a m e s i s a l s o s m a l l .
F o r a g i v e n i m a g e , t h e s t a t e e s t i m a t e f r o m t h e p r e -
v i o u s f r a m e i s u s e d t o p r e d i c t f e a t u r e p o s i t i o n s . F e a -
t u r e d e t e c t o r s , i n i t i a l i z e d t o t h e s e p r e d i c t i o n s , e x p l o i t
t h e s y m m e t r y o f t h e n g e r l i n k s t o e x t r a c t l i n e s a n d
p o i n t s a n d m a t c h t h e m t o t h e h a n d m o d e l . I n t h e
r s t i m a g e o f t h e s e q u e n c e , t h e u s e r p l a c e s h i s h a n d
i n a k n o w n s t a r t i n g c o n g u r a t i o n t o i n i t i a l i z e t r a c k -
i n g . I n t h e c u r r e n t s y s t e m , e a c h n g e r l i n k d e t e c t s i t s
f e a t u r e s i n d e p e n d e n t l y o f t h e o t h e r s , w h i c h l i m i t s t h e
s e n s o r t o h a n d m o t i o n s w i t h o u t o c c l u s i o n s . W e a r e
e x t e n d i n g o u r f e a t u r e p r o c e s s i n g a p p r o a c h t o r e m o v e
t h i s l i m i t a t i o n .
I n 1 2 ] , w e d e s c r i b e d t h e D i g i t E y e s s y s t e m i n d e -
t a i l , a n d g a v e r e s u l t s o f t r a c k i n g a 2 7 D O F h a n d
m o d e l f r o m a t w o c a m e r a i m a g e s e q u e n c e u n d e r o r -
t h o g r a p h i c p r o j e c t i o n . T h i s p a p e r d e s c r i b e s a n e x -
t e n s i o n t o p e r s p e c t i v e p r o j e c t i o n , a n d g i v e s a d e t a i l e d
e x a m p l e o f a u s e r - i n t e r f a c e b a s e d o n o u r s e n s o r : a 3 D
g r a p h i c a l m o u s e . W h i l e d i c u l t p r o b l e m s s t i l l r e -
m a i n i n t r a c k i n g t h r o u g h o c c l u s i o n s a n d a c r o s s c o m -
p l i c a t e d b a c k g r o u n d s , t h e s e r e s u l t s d e m o n s t r a t e t h e
p o t e n t i a l o f o u r a p p r o a c h t o v i s i o n - b a s e d h u m a n m o -
t i o n s e n s i n g .
2 P r e v i o u s W o r k
P r e v i o u s w o r k o n t r a c k i n g g e n e r a l a r t i c u l a t e d o b -
j e c t s i n c l u d e s 8 , 1 6 , 1 0 , 9 ] . I n 1 6 ] , Y a m a m o t o a n d
K o s h i k a w a d e s c r i b e a s y s t e m f o r h u m a n b o d y t r a c k -
i n g u s i n g k i n e m a t i c a n d g e o m e t r i c m o d e l s . T h e y
g i v e a n e x a m p l e o f t r a c k i n g a s i n g l e h u m a n a r m
a n d t o r s o u s i n g o p t i c a l o w f e a t u r e s . P e n t l a n d a n d
H o r o w i t z 1 0 ] g i v e a n e x a m p l e o f t r a c k i n g t h e m o -
t i o n o f a h u m a n g u r e u s i n g o p t i c a l o w a n d a n a r -
t i c u l a t e d d e f o r m a b l e m o d e l . I n a r e l a t e d a p p r o a c h ,
M e t a x i s a n d T e r z o p o u l o s 8 ] t r a c k a r t i c u l a t e d m o -
t i o n u s i n g d e f o r m a b l e s u p e r q u a d r i c m o d e l s . I n 4 ] ,
D o r n e r d e s c r i b e s a s y s t e m f o r i n t e r p r e t i n g A m e r i -
c a n S i g n L a n g u a g e f r o m i m a g e s e q u e n c e s o f a s i n g l e
h a n d . D o r n e r ' s s y s t e m u s e s t h e f u l l s e t o f t h e h a n d ' s
D O F s , a n d e m p l o y s a g l o v e w i t h c o l o r e d m a r k e r s t o
s i m p l i f y f e a t u r e e x t r a c t i o n . O n e o f t h e e a r l i e s t s y s -
t e m s , b y O ' R o u r k e a n d B a d l e r 9 ] , a n a l y z e d h u m a n
b o d y m o t i o n u s i n g c o n s t r a i n t p r o p a g a t i o n . N o n e o f
t h e s e e a r l i e r a p p r o a c h s b a s e d o n a r t i c u l a t e d m o d e l s
h a v e d e m o n s t r a t e d r e a l - t i m e t r a c k i n g r e s u l t s f o r t h e
f u l l s t a t e o f a c o m p l i c a t e d m e c h a n i s m l i k e t h e h u m a n
h a n d , u s i n g n a t u r a l i m a g e f e a t u r e s .
I n a d d i t i o n t o p r e v i o u s w o r k o n a r t i c u l a t e d o b j e c t
t r a c k i n g , m a n y a u t h o r s h a v e a p p l i e d g e n e r a l v i s i o n
t e c h n i q u e s t o h u m a n m o t i o n a n a l y s i s . I n c o n t r a s t t o
D i g i t E y e s , t h e s e a p p r o a c h s a n a l y z e a s u b s e t o f t h e t o -
t a l h a n d m o t i o n , s u c h a s a s e t o f g e s t u r e s 2 , 1 3 ] o r t h e
r i g i d m o t i o n o f t h e p a l m 1 ] . D a r r e l l a n d P e n t l a n d d e -
s c r i b e a s y s t e m f o r l e a r n i n g a n d r e c o g n i z i n g d y n a m i c
h a n d g e s t u r e s i n 2 ] . R e l a t e d w o r k b y S e g e n 1 3 ] t a k e s
a n e u r a l n e t w o r k a p p r o a c h t o 2 D h a n d g e s t u r e r e c o g -
n i t i o n . B o t h o f t h e s e a p p r o a c h s w o r k i n r e a l - t i m e o n
u n m a r k e d h a n d i m a g e s , b u t t h e y d o n ' t p r o d u c e 3 D
m o t i o n e s t i m a t e s a n d i t w o u l d b e d i c u l t t o a p p l y
t h e m t o p r o b l e m s l i k e t h e 3 D m o u s e i n t e r f a c e i n S u b -
s e c t . 5 . I n 1 ] , B l a k e e t . a l . d e s c r i b e a r e a l - t i m e
c o n t o u r t r a c k i n g s y s t e m t h a t c a n f o l l o w t h e s i l h o u -
e t t e o f a r i g i d l y m o v i n g h a n d u n d e r a n a n e m o t i o n
m o d e l .
-
8/3/2019 Vision Based Hand Tracking for Interaction
3/7
Anchor
Palm
Point
4th Finger
Thumb
0
1
2
3
2
3
4
1
0
1
2
3
4th Finger Side View
Link 1
Link 2
Link 3
F i g u r e 1 : K i n e m a t i c m o d e l s , i l l u s t r a t e d f o r f o u r t h
n g e r a n d t h u m b . T h e a r r o w s i l l u s t r a t e t h e j o i n t a x e s
f o r e a c h l i n k i n t h e c h a i n .
3 H a n d M o d e l i n g f o r V i s u a l T r a c k i n g
T h i s s e c t i o n i s a b r i e f s u m m a r y o f o u r k i n e m a t i c
a n d f e a t u r e m o d e l s o f t h e h a n d . S e e 1 2 ] f o r m o r e
d e t a i l . W e u s e t h e D e n a v i t - H a r t e n b u r g ( D H ) r e p r e -
s e n t a t i o n , w i d e l y u s e d i n r o b o t i c s 1 4 ] , t o d e s c r i b e
t h e h a n d k i n e m a t i c s . W e m a k e s e v e r a l s i m p l i f y i n g
a s s u m p t i o n s i n m o d e l i n g t h e h a n d , w h i c h a r e i l l u s -
t r a t e d i n F i g . 1 . F i r s t , w e a s s u m e t h a t e a c h o f t h e
f o u r n g e r s o f t h e h a n d a r e p l a n a r m e c h a n i s m s w i t h
f o u r d e g r e e s o f f r e e d o m ( D O F ) . T h e a b d u c t i o n D O F
m o v e s t h e p l a n e o f t h e n g e r r e l a t i v e t o t h e p a l m ,
w h i l e t h e r e m a i n i n g 3 D O F d e t e r m i n e t h e n g e r ' s
c o n g u r a t i o n w i t h i n t h e p l a n e . E a c h n g e r h a s a n
a n c h o r p o i n t , w h i c h i s t h e p o s i t i o n o f i t s b a s e j o i n t
c e n t e r i n t h e f r a m e o f t h e p a l m , w h i c h i s a s s u m e d
t o b e r i g i d . R e a l n g e r s d e v i a t e f r o m o u r m o d e l i n g
a s s u m p t i o n s s l i g h t l y , b u t w e h a v e f o u n d t h e m t o b e
a d e q u a t e i n p r a c t i c e .
H a n d f e a t u r e s c o n s i s t o f l i n e s a n d p o i n t s g e n e r a t e d
b y t h e p r o j e c t i o n o f t h e h a n d m o d e l i n t o t h e i m a g e
p l a n e . E a c h n g e r l i n k , m o d e l e d b y a c y l i n d e r , g e n -
e r a t e s a p a i r o f l i n e s i n t h e i m a g e c o r r e s p o n d i n g t o
i t s o c c l u s i o n b o u n d a r i e s . T h e b i s e c t o r o f t h e s e l i n e s ,
w h i c h c o n t a i n s t h e p r o j e c t i o n o f t h e c y l i n d e r c e n t r a l
a x i s , i s u s e d a s t h e l i n k f e a t u r e . T h e l i n k f e a t u r e v e c -
t o r a b ] g i v e s t h e p a r a m e t e r s o f t h e l i n e e q u a t i o n
a x + b y ? = 0 . U s i n g t h e c e n t r a l a x i s l i n e a s t h e
l i n k f e a t u r e e l i m i n a t e s t h e n e e d t o m o d e l t h e c y l i n d e r
r a d i u s o r t h e s l o p e o f t h e p a i r o f l i n e s r e l a t i v e t o t h e
c e n t r a l a x i s , w h i c h i s o f t e n s i g n i c a n t n e a r t h e n g e r
t i p s . W e u s e t h e e n t i r e l i n e b e c a u s e t h e e n d p o i n t s a r e
d i c u l t t o m e a s u r e i n p r a c t i c e . F i g . 2 s h o w s t w o l i n k
f e a t u r e l i n e s e x t r a c t e d f r o m t h e r s t t w o l i n k s o f a n -
g e r . T h e s e f e a t u r e s c a n b e e x t r a c t e d f r o m g r e y - s c a l e
h a n d i m a g e s b y a s i m p l e l o c a l o p e r a t o r , d e s c r i b e d
i n 1 2 ] .
x
y
ImageCoords
Link 0
12
Link 2 Feat
Link 1 Feat
Tip Feat
F i g u r e 2 : F e a t u r e s u s e d i n h a n d t r a c k i n g a r e i l l u s -
t r a t e d f o r n g e r l i n k s 1 a n d 2 , a n d t h e t i p . E a c h
i n n i t e l i n e f e a t u r e i s t h e p r o j e c t i o n o f t h e n g e r l i n k
c e n t r a l a x i s .
4 S t a t e E s t i m a t i o n f o r A r t i c u l a t e d
M e c h a n i s m s
W e t a k e a n o n l i n e a r l e a s t s q u a r e s a p p r o a c h t o
s t a t e e s t i m a t i o n . W e f o r m a r e s i d u a l i n e a c h f r a m e
t h a t m e a s u r e s t h e d i e r e n c e b e t w e e n t h e m e a s u r e d
i m a g e f e a t u r e s a n d t h e p r o j e c t i o n o f t h e e s t i m a t e d
h a n d m o d e l i n t o t h e i m a g e . T h e s t a t e c o r r e c t i o n
i s o b t a i n e d b y m i n i m i z i n g t h e s q u a r e d m a g n i t u d e o f
t h e r e s i d u a l v e c t o r t h r o u g h a m o d i e d G a u s s - N e w t o n
( G N ) a l g o r i t h m 3 ] . L e t R ( q
j
) b e t h e r e s i d u a l v e c t o r
f o r i m a g e j . T h e G N s t a t e u p d a t e e q u a t i o n i s g i v e n
b y
q
j + 1
= q
j
? J
t
j
J
j
+ S ]
? 1
J
t
j
R
j
; ( 1 )
w h e r e J
j
i s t h e J a c o b i a n m a t r i x f o r t h e r e s i d u a l R
j
,
b o t h o f w h i c h a r e e v a l u a t e d a t q
j
. T h e s o u r c e s o f
n o n l i n e a r i t y i n t h i s m o d e l a r e t r i g o n o m e t r i c t e r m s i n
t h e j o i n t a n g l e s a n d i n v e r s e d e p t h t e r m s f r o m p e r -
s p e c t i v e p r o j e c t i o n . S i s a c o n s t a n t d i a g o n a l c o n d i -
t i o n i n g m a t r i x u s e d t o s t a b i l i z e t h e l e a s t s q u a r e s s o -
l u t i o n i n t h e p r e s e n c e o f k i n e m a t i c s i n g u l a r i t i e s . T h i s
a p p r o a c h i s b a s e d o n t h e r i g i d b o d y t r a c k i n g w o r k o f
L o w e 7 ] .
T h e r e m a i n d e r o f t h i s s e c t i o n g i v e s t h e d e r i v a t i o n
o f t h e l i n k a n d t i p r e s i d u a l J a c o b i a n s i n b o t h t h e o r -
t h o g r a p h i c a n d p r o j e c t i v e c a s e s . T h e r e s i d u a l d e r i v a -
t i v e s c a n b e o b t a i n e d b y s i m p l e i m a g e p l a n e p r o j e c -
t i o n s o f t h e g r a d i e n t o f 3 D p o i n t p o s i t i o n s w i t h r e -
s p e c t t o t h e s t a t e . T h e s e g r a d i e n t s c a n b e c o m p u t e d
q u i c k l y u s i n g s t a n d a r d r o b o t i c t e c h n i q u e s .
T h e r e s i d u a l m e a s u r e s t h e i m a g e p l a n e d i s t a n c e
b e t w e e n p r o j e c t e d 3 D h a n d g e o m e t r y ( l i n e s a n d
p o i n t s ) a n d d e t e c t e d f e a t u r e s . I t i s z e r o w h e n t h e
h a n d m o d e l i s p e r f e c t l y a l i g n e d w i t h t h e i m a g e d a t a .
T h e r e s i d u a l f o r t h e i t h t i p f e a t u r e i s a v e c t o r i n t h e
i m a g e p l a n e d e n e d b y
v
i
( q ) = H P
i
( q ) ] ? t
i
; ( 2 )
-
8/3/2019 Vision Based Hand Tracking for Interaction
4/7
w h e r e P
i
= X
i
Y
i
Z
i
] i s t h e 3 D t i p c e n t e r ( i n t h e
c a m e r a c o o r d i n a t e f r a m e ) a s a f u n c t i o n o f t h e h a n d
s t a t e , H ] g i v e s t h e p r o j e c t i o n o f a 3 D p o i n t i n t o t h e
i m a g e p l a n e , a n d t
i
i s t h e m e a s u r e d t i p f e a t u r e .
T h e l i n k r e s i d u a l m e a s u r e s t h e d e v i a t i o n o f p o i n t s
o n t h e p r o j e c t e d c y l i n d e r a x i s f r o m t h e m e a s u r e d f e a -
t u r e l i n e . I t i s g i v e n b y
l
i
( q ) = m
t
H P
i
( q ) ] ? ; ( 3 )
w h e r e m = a b ]
t
.
T h e p o i n t p r o j e c t i o n o p e r a t o r u s e d i n ( 2 ) a n d ( 3 )
c a n b e w r i t t e n
H P ( q ) ] = C
P ( q ) w h e r e C =
u
0 u
0
0
v
v
0
( 4 )
i s t h e i n t r i n s i c c a m e r a m o d e l ( s e e 5 ] ) a n d
P i s t h e
i d e a l p o i n t p r o j e c t i o n m o d e l . I n t h e o r t h o g r a p h i c
c a s e ,
P = X Y 1 ] , w h i l e i n t h e p r o j e c t i v e c a s e ,
P = X = Z Y = Z 1 ] .
T o c a l c u l a t e t h e t i p a n d l i n k J a c o b i a n s , w e w i l l
n e e d @
P = @ q . I n t h e o r t h o g r a p h i c c a s e , w e h a v e
@
P
@ q
=
2
4
1 0 0
0 1 0
0 0 0
3
5
@ P
@ q
= A
o
@ P
@ q
; ( 5 )
w h i l e i n t h e p e r s p e c t i v e c a s e w e h a v e
@
P
@ q
=
2
4
1 = Z 0 ? X = Z
2
0 1 = Z ? Y = Z
2
0 0 0
3
5
@ P
@ q
= A
p
@ P
@ q
:
( 6 )
T o c a l c u l a t e t h e t i p J a c o b i a n , w e d i e r e n t i a t e ( 2 )
w i t h r e s p e c t t o t h e s t a t e v e c t o r , o b t a i n i n g
@ v
i
( q )
@ q
= C
@
P
i
( q )
@ q
= H
@ P
i
( q )
@ q
; ( 7 )
w h e r e H = C A
o = p
i s a 2 x 3 g r a d i e n t p r o j e c t i o n m a -
t r i x a n d t h e c h o i c e o f A
o
o r A
p
i s d e t e r m i n e d b y t h e
p r o j e c t i o n m o d e l .
S i m i l a r l y , t o c a l c u l a t e t h e l i n k J a c o b i a n w e d i e r -
e n t i a t e ( 3 ) , o b t a i n i n g
@ l
i
( q )
@ q
= ~m
t
@ P
i
( q )
@ q
; ( 8 )
w h e r e ~m = m
t
C A
o = p
. S u b s t i t u t i n g ( 4 ) , ( 5 ) , a n d ( 6 ) ,
w e o b t a i n :
~m
o
= a
u
b
v
0 ] ( 9 )
~m
p
= a
u
= Z b
v
= Z
? ( a
u
X + b
v
Y ) = Z
2
] : ( 1 0 )
F i g u r e 3 : A s a m p l e g r a p h i c a l e n v i r o n m e n t f o r a 3 D
m o u s e .
T h e g r a d i e n t v e c t o r f o r l i n k i c o n s t i t u t e s o n e r o w o f
t h e t o t a l J a c o b i a n m a t r i x . G e o m e t r i c a l l y , i t i s f o r m e d
b y p r o j e c t i n g t h e k i n e m a t i c J a c o b i a n f o r p o i n t s o n t h e
l i n k , @ P
i
( q ) = @ q , i n t h e d i r e c t i o n o f t h e f e a t u r e e d g e
n o r m a l .
T h e k i n e m a t i c J a c o b i a n s i n ( 7 ) a n d ( 8 ) a r e c o m -
p o s e d o f t e r m s o f t h e f o r m @ P
i
= @ q
j
, w h i c h a r i s e f r e -
q u e n t l y i n r o b o t c o n t r o l a n d c a n b e o b t a i n e d d i r e c t l y
f r o m t h e k i n e m a t i c m o d e l . S e e 1 1 ] f o r m o r e d e t a i l s .
5 3 D G r a p h i c a l M o u s e : E x p e r i m e n t a l
R e s u l t s
W e d e s c r i b e i n d e t a i l a n e x p e r i m e n t w i t h a 3 D
g r a p h i c a l m o u s e u s e r - i n t e r f a c e b a s e d o n t h e D i g i t E y e s
s e n s o r a n d a s i m p l i e d , e i g h t s t a t e h a n d m o d e l . F i g -
u r e 3 s h o w s t h e s i m p l e 3 D g r a p h i c a l e n v i r o n m e n t
u s e d i n t h e i n t e r f a c e . I t c o n s i s t s o f a g r o u n d p l a n e ,
a 3 D c u r s o r ( d r a w n a s a p o l e , w i t h t h e c u r s o r a t
t h e t o p ) , a n d a s p h e r i c a l o b j e c t ( b e i n g m a n i p u l a t e d . )
S h a d o w s g e n e r a t e a d d i t i o n a l d e p t h c u e s . T h e i n t e r -
f a c e p r o b l e m i s t o p r o v i d e t h e u s e r w i t h c o n t r o l o f t h e
c u r s o r ' s t h r e e D O F ' s .
T h e D i g i t E y e s s o l u t i o n i s b a s e d o n a p a r t i a l h a n d
m o d e l , c o n s i s t i n g o f t h e r s t a n d f o u r t h n g e r s o f
t h e h a n d , a l o n g w i t h t h e t h u m b . T h e p a l m i s c o n -
s t r a i n e d t o l i e i n t h e p l a n e o f t h e t a b l e ( 3 D O F ) u s e d
i n t h e i n t e r f a c e . T h e r s t n g e r h a s 3 a r t i c u l a t e d
D O F s , w h i l e t h e f o u r t h n g e r a n d t h u m b e a c h h a v e
a s i n g l e D O F a l l o w i n g t h e m t o r o t a t e i n t h e p l a n o f
t h e t a b l e ( a b d u c t ) . T h e h a n d m o d e l i s i l l u s t r a t e d i n
F i g . 4 , a n d a c o r r e s p o n d i n g i n t e n s i t y i m a g e i s g i v e n i n
F i g . 5 . A s i n g l e c a m e r a o r i e n t e d a t a p p r o x i m a t e l y 4 5
d e g r e e s t o t h e t a b l e t o p a c q u i r e s t h e i m a g e s u s e d i n
-
8/3/2019 Vision Based Hand Tracking for Interaction
5/7
F i g u r e 4 : T h e h a n d m o d e l u s e d i n t h e 3 D m o u s e
a p p l i c a t i o n i s s h o w n i n i t s e s t i m a t e d s t a t e f r o m f r a m e
2 0 0 i n t h e m o t i o n s e q u e n c e . T h e v e r t i c a l l i n e s h o w s
t h e h e i g h t o f t h e t i p a b o v e t h e g r o u n d p l a n e .
t r a c k i n g . T h e p a l m p o s i t i o n o n t h e t a b l e c o n t r o l s t h e
b a s e p o s i t i o n o f t h e p o l e , w h i l e t h e h e i g h t o f t h e i n -
d e x n g e r a b o v e t h e t a b l e c o n t r o l s t h e h e i g h t o f t h e
c u r s o r . T h i s p a r t i c u l a r m a p p i n g h a s t h e i m p o r t a n t
a d v a n t a g e o f d e c o u p l i n g t h e c o n t r o l l e d D O F ' s , w h i l e
m a k i n g i t p o s s i b l e t o o p e r a t e t h e m s i m u l t a n e o u s l y .
T h e f o u r t h n g e r a n d t h u m b h a v e a b d u c t i o n D O F ' s
i n t h e p l a n e , a n d a r e u s e d a s \ b u t t o n s " .
F i g u r e s 6 { 1 0 g i v e e x p e r i m e n t a l r e s u l t s f r o m a 5 0 0
f r a m e m o t i o n s e q u e n c e . F i g u r e s 7 , 8 , a n d 9 s h o w t h e
e s t i m a t e d h a n d s t a t e f o r e a c h f r a m e . F r a m e s w e r e a c -
q u i r e d a t 1 0 0 m s s a m p l i n g i n t e r v a l s . T h e p o l e h e i g h t s
a n d b a s e p o s i t i o n s d e r i v e d f r o m t h e e s t i m a t e d h a n d
s t a t e s a r e d e p i c t e d i n F i g . 1 0 . T h e m o t i o n s e q u e n c e
h a s f o u r p h a s e s . I n t h e r s t p h a s e ( f r a m e 0 t o 1 5 0 ) ,
t h e u s e r ' s n g e r i s r a i s e d a n d l o w e r e d t w i c e , p r o d u c -
i n g t w o p e a k s i n t h e p o l e h e i g h t , w i t h a s m a l l v a r i a -
t i o n i n t h e e s t i m a t e d p o l e p o s i t i o n . S e c o n d , a r o u n d
f r a m e 1 5 0 t h e n g e r i s r a i s e d a g a i n a n d k e p t e l e v a t e d ,
w h i l e t h e t h u m b i s a c t u a t e d , a s f o r a \ b u t t o n e v e n t " .
T h e a c t u a t i o n p e r i o d i s f r o m f r a m e 1 5 0 t o f r a m e 2 0 0 ,
a n d r e s u l t s i n s o m e c h a n g e i n t h e p o l e h e i g h t , b u t
n e g l i g i b l e c h a n g e i n p o l e p o s i t i o n . T h i r d , f r o m 2 0 0
t o 3 5 0 , t h e p o l e h e i g h t i s h e l d c o n s t a n t w h i l e t h e
p o l e p o s i t i o n i s v a r i e d . F i n a l l y , f r o m 3 5 0 t o t h e e n d
o f t h e s e q u e n c e a l l s t a t e s a r e v a r i e d s i m u l t a n e o u s l y .
F i g u r e s 4 a n d 5 s h o w a n i n p u t i m a g e a n d i t s a s s o c i -
a t e d s t a t e e s t i m a t e f o r f r a m e 2 0 0 . S a m p l e m o u s e p o l e
p o s i t i o n s t h r o u g h o u t t h e s e q u e n c e a r e i l l u s t r a t e d i n
F i g . 6 .
T h e s e r e s u l t s d e m o n s t r a t e f a i r l y g o o d d e c o u p l i n g
b e t w e e n t h e d e s i r e d s t a t e s a n d a u s e f u l d y n a m i c r a n g e
F i g u r e 5 : T h e i n p u t h a n d i m a g e f r o m f r a m e 2 0 0 i n
t h e m o t i o n s e q u e n c e .
o f m o t i o n . T h e l a r g e s t c o u p l i n g e r r o r o c c u r s a r o u n d
f r a m e 1 5 0 w h e n t h e p o l e h e i g h t d r o p s a s t h e t h u m b
i s a c t u a t e d . F o r s i m p l i c i t y , t h e m o u s e s t a t e i s g e n e r -
a t e d f r o m t h e h a n d s t a t e b y a s i m p l e s c a l i n g a n d c o -
o r d i n a t e c h a n g e , w h i c h t e n d s t o a m p l i f y s e n s o r n o i s e .
B o t h o f t h e s e p r o b l e m s c o u l d b e a l l e v i a t e d b y m o r e
s o p h i s t i c a t e d p r o c e s s i n g o f t h e s e n s o r o u t p u t .
T h i s e x a m p l e i l l u s t r a t e s a n i m p o r t a n t a d v a n t a g e
o f h a n d t r a c k i n g w i t h k i n e m a t i c m o d e l s : a b s o l u t e 3 D
d i s t a n c e s ( s u c h a s n g e r h e i g h t a b o v e a t a b l e ) c a n b e
m e a s u r e d f r o m a s i n g l e c a m e r a i m a g e . T h e a b i l i t y
t o r e c o v e r 3 D s p a t i a l q u a n t i t i e s f r o m h a n d m o t i o n i s
o n e o f t h e a d v a n t a g e s o u r s y s t e m h a s o v e r a p p r o a c h s
b a s e d o n g e s t u r e r e c o g n i t i o n .
I n t h e a b o v e e x p e r i m e n t , D i g i t E y e s w a s i m p l e -
m e n t e d o n a 6 8 0 4 0 - b a s e d i m a g e p r o c e s s i n g p l a t f o r m
c a l l e d I C 4 0 . S t a t e e s t i m a t e s w e r e t r a n s f e r e d b y E t h -
e r n e t t o a S i l i c o n G r a p h i c s I n d i g o 2 f o r m o d e l d i s -
p l a y a n d u s e r - i n t e r f a c e d e m o n s t r a t i o n s . T h e I C 4 0
b o a r d d e l i v e r s d i g i t i z e d i m a g e s t o p r o c e s s o r m e m o r y
a t v i d e o r a t e w i t h n o c o m p u t a t i o n a l o v e r h e a d , r e m o v -
i n g a n i m p o r t a n t I / O b o t t l e n e c k .
6 C o n c l u s i o n
W e h a v e p r e s e n t e d t h e D i g i t E y e s f r a m e w o r k f o r v i -
s u a l h a n d t r a c k i n g a n d i t s a p p l i c a t i o n t o a 3 D m o u s e
u s e r - i n t e r f a c e p r o b l e m . W e a r e c u r r e n t l y e x t e n d i n g
t h e s e r e s u l t s i n t w o w a y s . F i r s t , w e a r e m o d i f y i n g
o u r f e a t u r e e x t r a c t i o n p r o c e s s t o h a n d l e o c c l u s i o n s
a n d c o m p l i c a t e d b a c k g r o u n d s . S e c o n d , w e a r e a n -
a l y z i n g t h e o b s e r v a b i l i t y r e q u i r e m e n t s o f a r t i c u l a t e d
o b j e c t t r a c k i n g .
-
8/3/2019 Vision Based Hand Tracking for Interaction
6/7
T h e a u t h o r s w o u l d l i k e t o t h a n k O m e a d A m i d i a n d
Y u j i M e s a k i f o r h e l p w i t h t h e I C 4 0 h a r d w a r e e n v i -
r o n m e n t , a n d t h e r s t r e v i e w e r f o r h i s m a n y d e t a i l e d
c o m m e n t s .
(a)
(b)
(c)
(d)
(e)
(f)
F i g u r e 6 : T h e m o u s e p o l e c u r s o r a t s i x p o s i t i o n s d u r -
i n g t h e m o t i o n s e q u e n c e . T h e p o l e i s t h e v e r t i c a l l i n e
w i t h a h o r i z o n t a l s h a d o w , a n d i s t h e o n l y t h i n g m o v -
i n g i n t h e s e q u e n c e . S a m p l e s w e r e t a k e n a t f r a m e s
0 , 3 0 , 7 5 , 2 6 0 , 3 0 0 , a n d 3 7 0 ( c h o s e n t o i l l u s t r a t e t h e
r a n g e o f m o t i o n ) .
R e f e r e n c e s
1 ] A . B l a k e , R . C u r w e n , a n d A . Z i s s e r m a n . A
f r a m e w o r k f o r s p a t i o t e m p o r a l c o n t r o l i n t h e
t r a c k i n g o f v i s u a l c o n t o u r s . I n t . J . C o m p u t e r
V i s i o n , 1 1 ( 2 ) : 1 2 7 { 1 4 5 , 1 9 9 3 .
2 ] T . D a r r e l l a n d A . P e n t l a n d . S p a c e - t i m e g e s -
t u r e s . I n L o o k i n g a t P e o p l e W o r k s h o p , C h a m -
b e r y , F r a n c e , 1 9 9 3 .
3 ] J . D e n n i s a n d R . S c h n a b e l . N u m e r i c a l M e t h o d s
f o r U n c o n s t r a i n e d O p t i m i z a t i o n a n d N o n l i n e a r
E q u a t i o n s . P r e n t i c e - H a l l , E n g l e w o o d C l i s , N J ,
1 9 8 3 .
4 ] B . D o r n e r . H a n d s h a p e i d e n t i c a t i o n a n d t r a c k -
i n g f o r s i g n l a n g u a g e i n t e r p r e t a t i o n . I n L o o k i n g
a t P e o p l e W o r k s h o p , C h a m b e r y , F r a n c e , 1 9 9 3 .
5 ] O . F a u g e r a s . T h r e e - D i m e n s i o n a l C o m p u t e r V i -
s i o n : A G e o m e t r i c V i e w p o i n t . M I T P r e s s , 1 9 9 3 .
6 ] S . B . K a n g a n d K . I k e u c h i . G r a s p r e c o g n i t i o n
u s i n g t h e c o n t a c t w e b . I n P r o c . I E E E / R S J I n t .
C o n f . o n I n t . R o b o t s a n d S y s . , R a l e i g h , N C ,
1 9 9 2 .
7 ] D . L o w e . R o b u s t m o d e l - b a s e d m o t i o n t r a c k i n g
t h r o u g h t h e i n t e g r a t i o n o f s e a r c h a n d e s t i m a t i o n .
I n t . J . C o m p u t e r V i s i o n , 8 ( 2 ) : 1 1 3 { 1 2 2 , 1 9 9 2 .
8 ] D . M e t a x i s a n d D . T e r z o p o u l o s . S h a p e a n d n o n -
r i g i d m o t i o n e s t i m a t i o n t h r o u g h p h y s i c s - b a s e d
s y n t h e s i s . I E E E T r a n s . P a t t e r n A n a l y s i s a n d
M a c h i n e I n t e l l i g e n c e , 1 5 ( 6 ) : 5 8 0 { 5 9 1 , 1 9 9 3 .
9 ] J . O ' R o u r k e a n d N . B a d l e r . M o d e l - b a s e d i m -
a g e a n a l y s i s o f h u m a n m o t i o n u s i n g c o n s t r a i n t
p r o p a g a t i o n . I E E E T r a n s . P a t t e r n A n a l y s i s a n d
M a c h i n e I n t e l l i g e n c e , 2 ( 6 ) : 5 2 2 { 5 3 6 , 1 9 8 0 .
1 0 ] A . P e n t l a n d a n d B . H o r o w i t z . R e c o v e r y o f n o n -
r i g i d m o t i o n a n d s t r u c t u r e . I E E E T r a n s . P a t t e r n
A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , 1 3 ( 7 ) : 7 3 0 {
7 4 2 , 1 9 9 1 .
1 1 ] J . R e h g a n d T . K a n a d e . D i g i t e y e s : V i s i o n - b a s e d
h u m a n h a n d t r a c k i n g . T e c h n i c a l R e p o r t C M U -
C S - T R - 9 3 - 2 2 0 , C a r n e g i e M e l l o n U n i v . S c h o o l o f
C o m p . S c i . , 1 9 9 3 .
1 2 ] J . R e h g a n d T . K a n a d e . V i s u a l t r a c k i n g o f
h i g h d o f a r t i c u l a t e d s t r u c t u r e s : a n a p p l i c a t i o n
t o h u m a n h a n d t r a c k i n g . I n J . E k l u n d h , e d i t o r ,
P r o c . o f T h i r d E u r o p e a n C o n f . o n C o m p u t e r V i -
s i o n , v o l u m e 2 , p a g e s 3 5 { 4 6 , S t o c k h o l m , S w e d e n ,
1 9 9 4 . S p r i n g e r - V e r l a g .
1 3 ] J . S e g e n . G e s t : A l e a r n i n g c o m p u t e r v i s i o n s y s -
t e m t h a t r e c o g n i z e s h a n d g e s t u r e s . I n R . M i c h a l -
s k i a n d G . T e c u c i , e d i t o r s , M a c h i n e L e a r n i n g I V .
M o r g a n K a u f m a n n , 1 9 9 3 .
1 4 ] M . S p o n g . R o b o t D y n a m i c s a n d C o n t r o l . J o h n
W i l e y a n d S o n s , 1 9 8 9 .
1 5 ] D . S t u r m a n . W h o l e - H a n d I n p u t . P h D t h e s i s ,
M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y , 1 9 9 2 .
1 6 ] M . Y a m a m o t o a n d K . K o s h i k a w a . H u m a n m o -
t i o n a n a l y s i s b a s e d o n a r o b o t a r m m o d e l . I n
I E E E C o n f . C o m p u t . V i s . a n d P a t t e r n R e c . ,
p a g e s 6 6 4 { 6 6 5 , 1 9 9 1 .
-
8/3/2019 Vision Based Hand Tracking for Interaction
7/7
0.0 100.0 200.0 300.0 400.0 500.0
Frames (100 ms/frame)
-1.0
-0.5
0.0
0.5
JointAngle(radians)
Finger 1 States
Palm Rotation
Theta 0
Theta 1
Theta 2
F i g u r e 7 : P a l m r o t a t i o n a n d r s t n g e r j o i n t a n g l e s
f o r m o u s e p o l e h a n d m o d e l .
0.0 100.0 200.0 300.0 400.0 500.0
Frames (100 ms/frame)
0.0
0.2
0.4
0.6
0.8
1.0
1.2
1.4
JointAngle(radians)
Button States
Finger 4
Thumb
F i g u r e 8 : J o i n t a n g l e s f o r t h u m b a n d f o u r t h n g e r
o f m o u s e p o l e h a n d m o d e l . N o t e t h e \ b u t t o n e v e n t "
s i g n a l e d b y t h e t h u m b m o t i o n a r o u n d f r a m e 1 7 5 .
0.0 100.0 200.0 300.0 400.0 500.0
Frames (100 ms/frame)
0.0
50.0
100.0
150.0
200.0
Distance(mm)
Palm Translation
Tx
Ty
Tz
F i g u r e 9 : E s t i m a t e d t r a n s l a t i o n s t a t e s f o r m o u s e p o l e
h a n d m o d e l . T h e Y a x i s m o t i o n i s c o n s t r a i n e d t o z e r o
d u e t o t a b l e t o p .
0.0 100.0 200.0 300.0 400.0 500.0
Frames (100 ms/frame)
-200.0
-100.0
0.0
100.0
200.0
300.0
WorkspaceDistance
Mouse Pole Interface
Mouse Pole Height
Mouse Pole X
Mouse Pole Y
F i g u r e 1 0 : M o u s e p o l e s t a t e s d e r i v e d f r o m t h e D i g -
i t E y e s s e n s o r d u r i n g t h e m o t i o n s e q u e n c e .