8/2/2019 A Solution for Illumination Challenged 01689025

1/5

W 2 B . 1

A S o l u t i o n f o r I l l u m i n a t i o n C h a l l e n g e d F a c eR e c o g n i t i o n u s i n g E x e m p l a r - b a s e d S y n t h e s i sT e c h n i q u eT e l e T a n , T h o r s t e n K t i h n a p f e l , A m e l y n Wongso a n d F e e - L e e Lim

D e p a r t m e n t o f C o m p u t i n g , C u r t i n U n i v e r s i t y o f T e c h n o l o g yGPO Box U 1 9 8 7 , P e r t h , W e s t e r n A u s t r a l i a 6 8 4 5{ t e l e t a n , t h o r s t e n , w o n g s o a , l i m f l } g c s . c u r t i n . e d u . a uA b s t r a c t T h i s p a p e r a d d r e s s e s t h e p r o b l e m o fi l l u m i n a t i o n v a r i a t i o n s a f f e c t i n g t h e p e r f o r m a n c e o f r e a lw o r l d f a c e r e c o g n i t i o n s y s t e m s . W e p r o p o s e a n e x e m p l a r( o r a p p e a r a n c e ) - b a s e d t e c h n i q u e t o c o m p u t e t h e c a n o n i c a lr e p r e s e n t a t i o n o f t h e h u m a n f a c e . T h e c a n o n i c a l i m a g e i se q u i v a l e n t t o t h e r e f l e c t a n c e f i e l d o f t h e f a c e t h a t i si n v a r i a n t t o i l l u m i n a t i o n . W e s u b s e q u e n t l y u s e t h ec a n o n i c a l f a c e t o p e r f o r m t h e f o l l o w i n g t w o t a s k s : ( 1 )E x t r a c t t h e s e r i e s o f i n d e p e n d e n t l i g h t i n g m o d e l w h i c hi n t e r a c t s w i t h t h e c a n o n i c a l f a c e t o f o r m t h e n o v e l f a c e s .( 2 ) S y n t h e s i z e n o v e l f a c e a p p e a r a n c e s u s i n g t h e s e l i g h t i n gm o d e l s . W e d e m o n s t r a t e t h e a b i l i t y o f t h e a p p r o a c h t og e n e r a t e n o v e l v i e w s o f t h e f a c e a n d s h o w how t h e y h e l pi m p r o v e t h e p e r f o r m a n c e o f i l l u m i n a t i o n c h a l l e n g e d f a c er e c o g n i t i o n p r o b l e m .

1 INTRODUCTIONT h e n e e d t o f u r t h e r d e v e l o p r o b u s t f a c e r e c o g n i t i o nt e c h n i q u e s t o m e e t r e a l w o r l d s i t u a t i o n s i s s t i l l a n o p e nr e s e a r c h c h a l l e n g e . T h e s i g n i f i c a n c e h e r e i s t h e n e e d t od e v e l o p f a c e r e c o g n i t i o n s y s t e m s t h a t a r e i m m u n e t o p o s ea n d i l l u m i n a t i o n v a r i a t i o n s , a com m on o c c u r r e n c e i nu n c o n s t r a i n e d o u t d o o r e n v i r o n m e n t . W e w i l l a d d r e s s t h ep r o b l e m c a u s e d b y i l l u m i n a t i o n i n t h i s p a p e r . A p p r o a c h e sd e a l i n g w i t h i l l u m i n a t i o n v a r i a t i o n s c a n b e b r o a d l yc l a s s i f i e d i n t o t w o c a t e g o r i e s ; f e a t u r e - b a s e d a p p r o a c h a n de x e m p l a r - o r a p p e a r a n c e - b a s e d a p p r o a c h . F e a t u r e - b a s e da p p r o a c h a i m s a t d e f i n i n g a f e a t u r e s p a c e t h a t e x h i b i t ss o m e b r o a d i n v a r i a n c e o v e r t h e l i g h t i n g v a r i a t i o n s .E x a m p l e s o f t h i s a r e [ 1 ] [ 1 0 ] w h i c h u s e s d i f f e r e n t i m a g er e p r e s e n t a t i o n s l i k e 2D G a b o r - l i k e f i l t e r s , f i r s t a n d s e c o n dd e r i v a t i v e s o f t h e i m a g e , a n d t h e l o g a r i t h m i ct r a n s f o r m a t i o n o f t h e i n t e n s i t y i m a g e o v e r a f e w l a n d m a r kr e g i o n s o n t h e f a c e . A l t h o u g h t h e s e f e a t u r e s may e x h i b i ti n t e n s i t y i m m u n i t y ( e . g . t h e y a l l h a v e z e r o - m e a nr e s p o n s e s ) , n o n e o f t h e s e a r e f o u n d t o b e r e l i a b l e t o c o p ew i t h l a r g e v a r i a t i o n s i n i l l u m i n a t i o n c h a n g e s [ 9 ] [ 1 0 ] .

E x e m p l a r - o r a p p e a r a n c e - b a s e d a p p r o a c h u s e s a s e t o fs a m p l e i m a g e s t a k e n o f a c l a s s o b j e c t ( i n t h i s c a s e a f a c e )a s a b a s i s t o c o m p u t e a n i n t e r m e d i a r y i m a g e . T h ei n t e r m e d i a t e i m a g e c a n t h e n b e u s e d e i t h e r d i r e c t l y a s t h ep r o b e i m a g e s u b m i t t e d t o t h e r e c o g n i t i o n s y s t e m o r b eu s e d t o s y n t h e s i z e n o v e l v i e w s o f t h e f a c e u n d e r d i f f e r e n tl i g h t i n g c o n d i t i o n s . F o r e x a m p l e , [ 2 ] r e p o r t e d a m e t h o d t oc o m p u t e t h e Q u o t i e n t I m a g e f r o m a s m a l l s a m p l e o fb o o t s t r a p i m a g e s r e p r e s e n t i n g a m i n i m u m o f t w o c l a s so b j e c t s . T h e i l l u m i n a t i o n i n v a r i a n t s i g n a t u r e o f t h eQ u o t i e n t I m a g e e n a b l e s a n a n a l y t i c g e n e r a t i o n o f t h e n o v e li m a g e s p a c e w i t h v a r y i n g i l l u m i n a t i o n . H o w e v e r , t h i st e c h n i q u e i s h i g h l y d e p e n d e n t o n t h e t y p e s o f b o o t s t r a pi m a g e s u s e d w h i c h h a s t h e u n d e s i r a b l e e f f e c t o f g e n e r a t i n gd i v e r s e l y l o o k i n g Q u o t i e n t I m a g e s e v e n f r o m t h e s a m ep e r s o n . S i m a n d K a n a d e [ 3 ] u s e a s t a t i s t i c a l s h a p e - f r o m -s h a d i n g m o d e l t o e s t i m a t e t h e 3D f a c e s h a p e f r o m a s i n g l ei m a g e . T h e 3D r e c o v e r y m o d e l i s b a s e d o n t h e s y m m e t r i cs h a p e - f r o m - s h a d i n g a l g o r i t h m p r o p o s e d b y [ 4 ] . T h e y u s e dt h e 3D f a c e m o d e l t o s y n t h e s i z e n o v e l f a c e s u n d e r newi l l u m i n a t i o n c o n d i t i o n s u s i n g c o m p u t e r g r a p h i c st e c h n i q u e s . T h e a p p r o a c h p r o d u c e h i g h r e c o g n i t i o n r a t e o nt h e i l l u m i n a t i o n s u b s e t o f t h e CMU P I E d a t a b a s e [ 5 ] .H o w e v e r , i t w a s n o t e v i d e n t how t h e i r s y n t h e s i s t e c h n i q u ec a n c o p e w i t h e x t r e m e i l l u m i n a t i o n c o n d i t i o n s [ 3 ] .D e b e v e c i n [ 6 ] p r e s e n t e d a m e t h o d t o a c q u i r e t h er e f l e c t a n c e f i e l d o f a h u m a n f a c e a n d u s e t h e s em e a s u r e m e n t s t o r e n d e r t h e f a c e u n d e r a r b i t r a r y c h a n g e si n l i g h t i n g a n d v i e w p o i n t . T h e y f i r s t a c q u i r e i m a g e s o f t h ef a c e f r o m a s m a l l s e t o f v i e w p o i n t s u n d e r a d e n s es a m p l i n g o f i n c i d e n t i l l u m i n a t i o n d i r e c t i o n s u s i n g a ne l a b o r a t e l i g h t s t a g e . A r e f l e c t a n c e f u n c t i o n i m a g e i s t h e nc o n s t r u c t e d f o r e a c h o b s e r v e d i m a g e p i x e l . T h e yd e m o n s t r a t e d t h e t e c h n i q u e w i t h s y n t h e t i c r e n d e r i n g s o f ap e r s o n ' s f a c e u n d e r n o v e l i l l u m i n a t i o n a n d v i e w p o i n t s .H o w e v e r , t h e n e e d t o g e n e r a t e a l a r g e s a m p l e o f i m a g e su s i n g t h e l i g h t s t a g e i s u n f e a s i b l e f o r m o s t f a c e r e c o g n i t i o ns y s t e m s .

0 - 7 8 0 3 - 9 2 8 2 - 5 / 0 5 / $ 2 0 . 0 0 2 0 0 5 I E E E 1 5 7 I C I C S 2 0 0 5

8/2/2019 A Solution for Illumination Challenged 01689025

2/5

A s i n [ 2 ] a n d [ 1 1 ] , we a d d r e s s t h e p r o b l e m o f c l a s s - b a s e di m a g e s y n t h e s i s a n d r e c o g n i t i o n w i t h v a r y i n g i l l u m i n a t i o nc o n d i t i o n s . W e d e f i n e a n i d e a l c l a s s a s a c o l l e c t i o n o f 3Do b j e c t s t h a t h a v e t h e s a m e s h a p e b u t d i f f e r e n t a l b e d of u n c t i o n s . T h e l a t t e r i s t r a n s l a t e d t o t e x t u r e w h e n p r o j e c t e do n t o a 2D v i e w i n g p l a n e t o f o r m t h e i m a g e . I n p r a c t i c e ,o b j e c t s o f a s p e c i f i c c l a s s l i k e a h u m a n f a c e d o h a v e s l i g h ts h a p e v a r i a t i o n s b u t f o r d e f i n i t i o n p u r p o s e s h e r e , we c a na s s u m e a l l o f t h e m t o h a v e s i m i l a r s t r u c t u r e t h u s f i t t i n gt h e m w i t h i n t h e g e n e r a l " c l a s s " m o d e l [ 2 ] [ 1 ] . O u ra p p r o a c h i s b a s e d o n t h e d u a l r e c o v e r y o f t h e c a n o n i c a lf a c e m o d e l a n d l i g h t i n g m o d e l s g i v e n a s e t o f i m a g e st a k e n w i t h v a r y i n g l i g h t i n g c o n d i t i o n s a n d f r o m am i n i m u m o f t w o d i s t i n c t s u b j e c t s w i t h i n t h e c l a s s . T h ec a n o n i c a l i m a g e i s e q u i v a l e n t t o t h e r e f l e c t a n c e f i e l d o f t h ef a c e t h a t i s i n v a r i a n t t o i l l u m i n a t i o n . T h e l i g h t i n g m o d e l i st h e i m a g e r e p r e s e n t a t i o n o f t h e a m b i e n t l i g h t i n gi n d e p e n d e n t o f t h e f a c e i n p u t . W e w i l l f i r s t f o r m u l a t e t h ep r o b l e m w i t h a n o v e r - d e t e r m i n e d s e t o f e q u a t i o n s a n dp r o p o s e a m e t h o d i n s o l v i n g t h e m o v e r e v e r y p i x e ll o c a t i o n i n t h e i m a g e . W e w i l l d e m o n s t r a t e t h e q u a l i t y o ft h e r e c o v e r e d c a n o n i c a l f a c e f o r g e n e r a t i n g n o v e la p p e a r a n c e s u s i n g b o t h q u a l i t a t i v e a n d q u a n t i t a t i v em e a s u r e s .

2 T H I E ILLUMINATION FUNCTIONI n g e n e r a l , a n i m a g e c a n b e e x p r e s s e d a s t h e p r o d u c t o f t h eo b j e c t ' s r e f l e c t a n c e a n d t h e i l l u m i n a t i o n s o u r c e . T h ed i g i t a l i m a g e I ( x , y ) c a n t h e r e f o r e b e e x p r e s s e d a s :

I ( x , y ) z R ( x , y ) L ( x , y ) ( 1 )w h e r e R ( x , y ) i s t h e r e f l e c t a n c e a n d L ( x , y ) i s t h ei l l u m i n a t i o n a t e a c h s a m p l e p o i n t ( x , y ) 1 . O u r a p p r o a c h i st o u s e c a n d i d a t e e x e m p l a r i n t e n s i t y i m a g e s t a k e n o v e rd i f f e r e n t l i g h t i n g d i r e c t i o n s t o r e c o v e r b o t h t h e r e f l e c t a n c em o d e l a n d i l l u m i n a t i o n s o u r c e . N o r m a l l y o n l y t h em e a s u r e d i n t e n s i t y i m a g e s a r e a v a i l a b l e . T h e r e f o r e , t h e r ea r e t w i c e a s many u n k n o w n d a t a ( R H S ) a s t h e r e a r ek n o w n d a t a ( L H S ) m a k i n g t h e f o r m u l a t i o n i n E q u a t i o n ( 1 )a n i l l - p o s e d o n e . T h e r e f l e c t a n c e s u r f a c e e s s e n t i a l l yc o m p r i s e s t h e c o m b i n a t i o n o f t h e r e f l e c t a n c e p r o p e r t ya s s o c i a t e d w i t h t h e p i g m e n t a t i o n o f t h e s k i n , m o u t h , e y e sa n d a r t i f a c t s l i k e f a c i a l h a i r . W e d e f i n e t h e r e f l e c t a n c em o d e l a s t h e c a n o n i c a l f a c e a n d r e p r e s e n t i t a s a g r e y l e v e li n t e n s i t y i m a g e . W e w i l l d i s c u s s i n t h e n e x t s e c t i o n howwe r e c o v e r t h e c a n o n i c a l a n d i l l u m i n a t i o n i n f o r m a t i o nf r o m i n t e n s i t y i m a g e s I i j ( x , y ) z R j ( x , y ) L i ( x , y ) , w h e r e i a n d ja r e i n d i c e s t o t h e c o l l e c t i o n o f b o o t s t r a p f a c e s a n di l l u m i n a t i o n d i r e c t i o n s r e s p e c t i v e l y .

3 TUE APPROACH3 . 1 S y s t e m s R e p r e s e n t a t i o n a n d S o l u t i o n1 F o r c o m p u t a t i o n a l r e a s o n s we s i m p l i f y t h e o r i g i n a l i l l u m i n a t i o n m o d e l

w h i c h t a k e s i n t o c o n s i d e r a t i o n t h e 3D s u r f a c e a n d t h e o r i e n t a t i o n o ft h e l i g h t s o u r c e w i t h r e s p e c t t o t h e s u r f a c e . T h e p e r f o r m a n c e o f t h i ss i m p l i f i e d m o d e l w i l l b e d e t e r m i n e d i n s e c t i o n 4 .

A s e x p l a i n e d i n t h e p r e v i o u s s e c t i o n , e q u a t i o n ( 1 ) i s i l l -p o s e d w i t h m o r e u n k n o w n t e r m s t h a n k n o w n . I n o r d e r t om a k e t h e e q u a t i o n s o l v a b l e i n a l e a s t s q u a r e s e n s e , wen e e d t o i n t r o d u c e m o r e m e a s u r e m e n t s t o m a k e t h e s y s t e mo f e q u a t i o n s a n o v e r - d e t e r m i n e d ( i . e . m o r e k n o w n t e r m st h a n u n k n o w n ) o n e . W e n o t e t h a t t h e b o o t s t r a p i m a g e ,i 1 ( x , y ) h a s t w o v a r i a b l e c o m p o n e n t s . T h e y a r e t h er e f l e c t a n c e c o m p o n e n t w h i c h i s u n i q u e t o t h e i n d i v i d u a lp e r s o n a n d t h e i l l u m i n a t i o n m o d e l w h i c h i s d e p e n d e n t o nt h e l i g h t i n g s o u r c e a n d d i r e c t i o n . S u p p o s e i f we h a v e Md i s t i n c t p e o p l e w h i c h we u s e i n t h e b o o t s t r a p c o l l e c t i o n( i . e . R j , j = 1 , . . . , M) a n d N s p a t i a l l y d i s t r i b u t e di l l u m i n a t i o n s o u r c e s w h o s e d i r e c t i o n w i t h r e s p e c t t o t h eh e a d o f t h e p e r s o n i s f i x e d a t a l l t i m e ( i . e . L i , i = 1 , . . . , N ) ,we c a n t h e r e f o r e b y v a r y i n g b o t h M a n d N p r o d u c es y s t e m s o f e q u a t i o n s t h a t a r e o v e r - d e t e r m i n e d a n dt h e r e f o r e s o l v a b l e . F o r e x a m p l e , i f we u s e t w o p e o p l ef r o m t h e b o o t s t r a p c o l l e c t i o n ( M = 2 ) , a n d c o l l e c t N i m a g e sf o r e a c h p e r s o n b y v a r y i n g t h e i l l u m i n a t i o n , we g e t t h ef o l l o w i n g s y s t e m o f e q u a t i o n s ;

I i i ( x , y ) z R 1 ( x , y ) L i ( x , y ) ( 2 )I i 2 ( x , y ) z R 2 ( x , y ) L i ( x , y ) w h e r e i = 1 , . . . , NT h e t e r m s o n t h e l e f t h a n d s i d e o f t h e s e e q u a t i o n s a r e t h eb o o t s t r a p i m a g e s f r o m t h e t w o p e o p l e ( i . e . j = 1 a n d 2 ) . I ft h e i l l u m i n a t i o n s ( i . e . s o u r c e t y p e a n d d i r e c t i o n w i t hr e s p e c t t o t h e s u b j e c t ) u s e d t o g e n e r a t e t h e s e b o o t s t r a pi m a g e s a r e t h e s a m e , t h e i l l u m i n a t i o n m o d e l s , L i u s e d w i l lb e common f o r e v e r y p e r s o n a s i s r e f l e c t e d i n e q u a t i o n ( 2 ) .I n g e n e r a l , t h e r e a r e a t o t a l o f MxN k n o w n t e r m s a n dM+N u n k n o w n t e r m s ( f o r M > 1 ) , m a k i n g i t p o s s i b l e t of i n d a s o l u t i o n f o r t h e s y s t e m . S i n c e we a r e d e a l i n g w i t h2D i m a g e s , we n e e d t o s o l v e t h e s e e q u a t i o n s f o r e v e r yp i x e l l o c a t i o n . T h e s t r e n g t h o f t h i s a p p r o a c h i s t h a t we a r ea b l e t o r e c o v e r a l l i n d i v i d u a l p e r s o n s ' r e f l e c t a n c e m o d e l sa s w e l l a s t h e i l l u m i n a t i o n m o d e l s a l l a t o n c e .N u m e r o u s n o n - l i n e a r m i n i m i s a t i o n a l g o r i t h m s e x i s t a n da r e u s u a l l y p r o b l e m d e p e n d e n t [ 7 ] . W e c h o s e t o u s e t h eL e v e n b e r g - M a r q u a r d t n o n - l i n e a r l e a s t s q u a r e f i t t i n ga l g o r i t h m [ 8 ] a s i t i s f a s t a n d s u i t e d t o p r o b l e m s o f h i g hd i m e n s i o n a l i t y . T h e s o l v e r t a k e s a s i n p u t t h e s e t o fe q u a t i o n s s h o w n i n ( 2 ) t o m i n i m i s e , a J a c o b i a n m a t r i x o fd e r i v a t i v e s , a s e t o f k n o w n d a t a ( i . e . I i j ) a n d s e e d v a l u e sf o r t h e u n k n o w n s . W e c h o s e t o s e t t h e s e e d v a l u e t o 1 2 8s i n c e t h e r e a r e 2 5 6 p o s s i b l e g r e y v a l u e s f o r b o t h t h er e f l e c t a n c e a n d i l l u m i n a t i o n m o d e l s . T h e i n t e r n a lf u n c t i o n s o f t h e s o l v e r a r e i t e r a t e d u n t i l t h e c h a n g e i nc o m p u t e d v a l u e s f a l l s b e l o w a t h r e s h o l d . A t t h i s p o i n t t h ea l g o r i t h m i s s a i d t o h a v e c o n v e r g e d , a n d t h e c u r r e n tc o m p u t e d v a l u e s f o r t h e u n k n o w n d a t a a r e t a k e n a s t h es o l u t i o n . T h e a l g o r i t h m i s e x t r e m e l y f a s t a n d c a n r e c o v e rt h e u n k n o w n v a l u e s ( f o r m o s t p r a c t i c a l v a l u e s o f M a n dN ) i n n e a r r e a l - t i m e .T h e r e c o v e r e d c a n o n i c a l f a c e w h i c h i s f r e e o f i l l u m i n a t i o np e r t u r b a t i o n s h a s t w o p o t e n t i a l u s e s , n a m e l y ( 1 ) a s a p r o b es u b m i t t e d t o a f a c e r e c o g n i t i o n s y s t e m . ( 2 ) A s t h e b a s e

1 5 8

8/2/2019 A Solution for Illumination Challenged 01689025

3/5

i m a g e u s e t o g e n e r a t e n o v e l a p p e a r a n c e v i e w s v i as y n t h e s i s t e c h n i q u e s . T h i s p a p e r w i l l f o c u s o n t h e l a t t e ru s e .3 . 2 S y n t h e s i s i n g A p p e a r a n c e f o r R e c o g n i t i o nT h e r e c o v e r y o f t h e c a n o n i c a l a n d i l l u m i n a t i o n m o d e l s i st h e i m p o r t a n t f i r s t s t e p t o e n a b l e t h e f o l l o w i n g a p p e a r a n c es y n t h e s i s f u n c t i o n s t o b e p e r f o r m e d :

1 . New i l l u m i n a t i o n m o d e l s c a n b e g e n e r a t e d b yc o m b i n i n g t h e s u b s e t o f t h e r e c o v e r e di l l u m i n a t i o n m o d e l s . T h i s i s p o s s i b l e s i n c em i x i n g l i g h t s i s a n a d d i t i v e f u n c t i o n a n d t h e r e f o r et h e new i l l u m i n a t i o n m o d e l i s s i m p l y a n a d d i t i o no f t h e c o m p o n e n t l i g h t s . W e c a n t h e r e f o r ep o t e n t i a l l y g e n e r a t e s i g n i f i c a n t l y g r e a t e r t h a n Np o s s i b l e v a r i a t i o n s o f t h e i l l u m i n a t i o n c o n d i t i o n st o r e f l e c t t h e a c t u a l r e a l - w o r l d l i g h t i n gc o n d i t i o n s .2 . N o v e l a p p e a r a n c e v i e w s f o r e a c h p e r s o n c a n b eg e n e r a t e d b y c o m b i n i n g t h e e x p a n d e d s e t o fi l l u m i n a t i o n m o d e l s m e n t i o n e d i n p o i n t ( 1 ) t oc l o s e l y m a t c h t h e a c t u a l i l l u m i n a t i o n c o n d i t i o n s .M a r i a n i [ 1 1 ] s y n t h e s i z e s t h e a p p e a r a n c e o f t h ef a c e f r o m a s i n g l e s o u r c e i m a g e b y v a r y i n g b o t ht h e p o s e a n d i l l u m i n a t i o n c o n d i t i o n s a n d r e p o r t e dg o o d r e c o g n i t i o n r a t e b y m a t c h i n g a p r o b e f a c ew i t h t h e s e a p p e a r a n c e s .I t i s n o t e c o n o m i c a l a n d c o m p u t a t i o n a l l y f e a s i b l e t o s t o r es p e c i f i c i l l u m i n a t i o n m o d e l s f o r s p e c i f i c f a c e s . T o m a k et h i s a p p r o a c h v i a b l e , we n e e d t o d e f i n e a s e t o f g e n e r i ci l l u m i n a t i o n m o d e l s t h a t i s a p p l i c a b l e t o p e o p l e o fd i f f e r e n t s k i n t y p e s a n d b o n e s t r u c t u r e s . W e c o m p u t e e a c hg e n e r i c i l l u m i n a t i o n m o d e l a s s u c h ;

1 . S e l e c t a w e l l r e p r e s e n t e d g e n r e o f p e o p l e a n dr e c o v e r t h e c a n o n i c a l f a c e r e p r e s e n t a t i o n f o rt h e s e p e o p l e u s i n g t h e a p p r o a c h e x p l a i n e d i n t h ep r e v i o u s s e c t i o n .2 . R e c o v e r t h e c o r r e s p o n d i n g i l l u m i n a t i o n m o d e lf o r e a c h c a n o n i c a l f a c e . T h e i l l u m i n a t i o n m o d e ls h o u l d b e d i f f e r e n t f o r d i f f e r e n t i n d i v i d u a l .

3 . E s t i m a t e t h e c o v a r i a n c e m a t r i x o f t h e i n t e n s i t ym e a s u r e m e n t b e t w e e n t h e s a m p l e i n d i v i d u a l s .4 . D i a g o n a l i s e t h e c o v a r i a n c e m a t r i x u s i n g t h eS i n g u l a r V a l u e D e c o m p o s i t i o n ( S V D ) a l g o r i t h mt o r e c o v e r t h e E i g e n v a l u e s a n d v e c t o r s .5 . U s e t h e c o e f f i c i e n t o f t h e n o r m a l i z e d E i g e nv e c t o r a s s o c i a t e d w i t h t h e h i g h e s t E i g e n v a l u e a sw e i g h t s t o sum t h e i l l u m i n a t i o n c o n t r i b u t i o n f o re a c h s a m p l e i n d i v i d u a l s . W e c a l l t h i s f i n a l m o d e lt h e g e n e r i c i l l u m i n a t i o n m o d e l , L g .

W e w i l l s u b s e q u e n t l y u s e L g i t o r e p r e s e n t t h e i l l u m i n a t i o nm o d e l s i n t h i s w o r k .

4 EXPERIMENT4 . 1 T h e D a t a b a s eF o r o u r e x p e r i m e n t s , we w i l l m a k e u s e o f t h e i l l u m i n a t i o ns u b s e t o f t h e CMU P I E d a t a b a s e [ 5 ] . I t c o m p r i s e s 6 3p e o p l e t a k e n u n d e r 2 1 d i f f e r e n t i l l u m i n a t i o n d i r e c t i o n s( w i t h a l l a m b i e n t l i g h t s s w i t c h e d o f f ) i n a c o n t r o l l e de n v i r o n m e n t . A l l t h e c o l o u r i m a g e s a r e f i r s t t r a n s f o r m e d t og r e y - l e v e l , p r e - p r o c e s s e d a n d t h e f a c e s m a n u a l l y c r o p p e dw i t h t h e a i d o f a g r a p h i c a l - u s e r - i n t e r f a c e ( G U I ) t o a s s i s t i nt h e l o c a l i z a t i o n o f t h e e y e p o s i t i o n s . A s e t o f t w o o f f s e tv e c t o r s i s a p p l i e d s t a r t i n g f r o m t h e l e f t - h a n d s i d e e y ep o s i t i o n t o d e t e r m i n e t h e t o p l e f t a n d t h e b o t t o m r i g h tc o r n e r p i x e l s f o r c r o p p i n g . W e a p p l y t h e s a m e o f f s e tf i g u r e s f o r a l l i m a g e s i n t h e d a t a b a s e . T h e f i n a l s i z e f o r a l li m a g e s i s 1 1 0 x 9 0 p i x e l s . F i g u r e 1 s h o w s a t y p i c a l f a c ei m a g e a f t e r c r o p p i n g .

F i g u r e 1 : A c r o p p e d f a c e i m a g e . T h e t w o o f f s e t v e c t o r s u s e d t o d e t e r m i n et h e e x t e n t o f t h e c r o p p e d f a c e a r e s h o w n .4 . 2 R e c o v e r i n g t h e C a n o n i c a l F a c eW e u s e e q u a t i o n ( 2 ) t o r e c o v e r t h e c a n o n i c a l f a c e s w i t hd i f f e r e n t v a l u e s o f M a n d N a n d a s u b s e t o f t h e m a r es h o w n i n F i g . 2 . I n o r d e r t o m e a s u r e t h e q u a l i t y o f t h er e c o v e r e d c a n o n i c a l f a c e , we d e f i n e a s e t o f m e a s u r e s t h a td e s c r i b e s t h e p r o p e r t i e s o f a n a c c e p t a b l e c a n o n i c a l f a c e .T h e m e a s u r e s a r e ; ( 1 ) E l i m i n a t i o n o f l i g h t i n g e f f e c t s l i k es p e c u l a r r e f l e c t i o n s a n d c a s t s h a d o w s . ( 2 ) P r e s e r v a t i o n o ft h e v i s u a l d i s t i n c t i v e n e s s o f t h e u n d e r l y i n g f a c e . ( 3 ) W e l l -b a l a n c e d i n t e n s i t y d i s t r i b u t i o n . B a s e d o n t h e s e m e a s u r e s ,we c a n s e e t h a t i n g e n e r a l t h e r e c o v e r y o f t h e c a n o n i c a lf a c e s f o r d i f f e r e n t v a l u e s o f M a n d N a r e v e r y g o o d . T h i si s a s i g n i f i c a n t i m p r o v e m e n t o v e r t h e Q u o t i e n t I m a g er e p o r t e d i n [ 2 ] . T h i s p r o o f t h a t t h e s i m p l i f i e d i l l u m i n a t i o nm o d e l u s e d i n s e c t i o n 2 i s a d e q u a t e t o r e c o v e r t h ec a n o n i c a l f a c e i m a g e .

0 4 0 0 1 _ l l l l l ll l= . , . = = I

0 4 0 0 2

0 4 0 0 0

~IMwl_ _S . _ II I ~ mo0 4 0 0 8 I

( a ) 2 3 N= ( c N = 1 3 (@ N = 2 1( a ) C a n o n i c a l f a c e s g e n e r a t e d f o r c a n d i d a t e s a m p l e s 0 4 0 0 1, 0 4 0 0 2 ,0 4 0 0 0 a n d 0 4 0 0 8 u s i n g d i f f e r e n t N v a l u e s .

1 5 9

8/2/2019 A Solution for Illumination Challenged 01689025

4/5

( b ) T h e b o o t s t r a p i m a g e s u s e d t o g e n e r a t e t h e c a n o n i c a l f a c e f o rc a n d i d a t e 0 4 0 0 2 w i t h N = 5 .

F i g u r e 2 : C a n o n i c a l f a c e e x t r a c t i o n .4 . 3 F a c e A p p e a r a n c e S y n t h e s i sF o r e a c h r e c o v e r e d c a n o n i c a l f a c e , t h e c o r r e s p o n d i n g s e to f 2 1 i l l u m i n a t i o n m o d e l s c a n t h e n b e c o m p u t e d . W ef u r t h e r e s t i m a t e d t h e generic i l l u m i n a t i o n m o d e l s ( i . e . L g i )as d e f i n e d i n S e c t i o n 3 . 2 b y u s i n g 1 0 c a n d i d a t e s a m p l e sf r o m t h e CMU P I E d a t a b a s e . W e t h e n u se t h e s e g e n e r i ci l l u m i n a t i o n m o d e l s a n d t h e c a n o n i c a l f a c e s f r o m t h er e m a i n i n g d a t a b a s e s a m p l e s t o g e n e r a t e n o v e l appearancef a c e s .F i g u r e 3 a a n d 3 c r e s p e c t i v e l y s h o w s t h e s y n t h e t i c v i e w s o ft w o p e o p l e i n t h e d a t a b a s e g e n e r a t e d b y 7 g e n e r i ci l l u m i n a t i o n m o d e l s . T h e c o r r e s p o n d i n g i m a g e s as t a k e nf r o m t h e o r i g i n a l CMU P I E d a t a b a s e ar e s h o w n i n F i g u r e3 b a n d 3 d r e s p e c t i v e l y . As ca n b e seen, t h e appearances o ft h e s y n t h e t i c i m a g e s b r o a d l y r e s e m b l e t h e a c t u a l i m a g e s i nr e l a t i o n t o t h e l o c a t i o n o f t h e s h a d o w a n d h i g h l i g h ts t r u c t u r e s . H o w e v e r , t h i s a l o n e c a n n o t b e u s e d asj u s t i f i c a t i o n f o r t h e s y n t h e s i s a p p r o a c h . One way t om e a s u r e t h e s i g n i f i c a n c e o f t h e appearance s y n t h e s i s i s b yu s i n g q u a n t i t a t i v e f a c e r e c o g n i t i o n p e r f o r m a n c e measures.T h i s w i l l b e e l a b o r a t e d i n t h e n e x t s e c t i o n .

T h eC a n o n i c a lF a c e___.. I

T h eC a n o n i i c a lF a c e*u_1 1 E _

1 S ;s--IE d a t a b a s e .F i g u r e 3 : N o v e l appearance s y n t h e s i s r e s u l t s u s i n g a s u b s e t o f t h e g e n e r i ci l l u m i n a t i o n m o d e l s a n d i t s c o m p a r i s o n w i t h t h e a c t u a l appearance. T h ec a n o n i c a l f a c e s u s e d t o g e n e r a t e t h e s e i m a g e s ar e s h o w n a t t h e t o p o f ( a )a n d ( c ) . T h e c o r r e s p o n d i n g i m a g e s o f ( b ) a n d ( d ) show t h e a c t u a li l l u m i n a t i o n s t a k e n f r o m t h e CMU P I E d a t a b a s e .

4 . 4 R e c o g n i t i o n E x p e r i m e n tT o d e m o n s t r a t e t h e f e a s i b i l i t y o f t h e f a c e appearances y n t h e s i s f o r r e c o g n i t i o n , we i m p l e m e n t a s i m p l e c l a s s i f i e rb a s e d o n t e m p l a t e m a t c h i n g . T h i s i s e q u i v a l e n t t o t h en e a r e s t n e i g h b o u r c l a s s i f i e r r e p o r t e d b y S i m a n d K a n a d e[ 3 ] . We u s e o n l y f r o n t a l pose f a c e s t h r o u g h o u t t h ee x p e r i m e n t . T h e g e n e r i c i l l u m i n a t i o n m o d e l s u s e d h e r e i st h e same as i n S e c t i o n 4 . 3 . To m a i n t a i n u n b i a s e d

r e c o g n i t i o n o u t c o m e , t h e t e s t s a m p l e s u s e d f o r r e c o g n i t i o nd o e s n o t c o m e f r o m a n y o f t h e s a m p l e s u s e d t o p r o d u c et h e g e n e r i c i l l u m i n a t i o n m o d e l s . T h e r e a r e 2 1 p e r s o n s i nt h e t e s t s a m p l e s . F r o m e a c h p e r s o n we c o m p u t e t h ec a n o n i c a l r e p r e s e n t a t i o n a n d u s e i t t o s y n t h e s i z e 2 1a p p e a r a n c e s o f t h e p e r s o n u n d e r d i f f e r e n t l i g h t i n gc o n d i t i o n s . T h e s e i m a g e s c o l l e c t i v e l y f o r m t h e r e g i s t r yr e p r e s e n t a t i o n o f t h e p e r s o n i n t h e d a t a b a s e . W e u s e a c t u a li l l u m i n a t i o n s a m p l e s o f t h e P I E d a t a b a s e a s t h e t e s ti m a g e s . T h e r e a r e a t o t a l o f 4 4 1 ( i . e . 2 1 x 2 1 ) t e s t s a m p l ei m a g e s . W e c o n s t r u c t d i f f e r e n t r e g i s t r y d a t a b a s e s f o rd i f f e r e n t c o m b i n a t i o n o f M ( n u m b e r o f p e r s o n ) a n d N( n u m b e r o f l i g h t i n g ) v a l u e s . W e t h e n p e r f o r m t h e f a c er e c o g n i t i o n e x p e r i m e n t s o n t h e t e s t s a m p l e s o v e r t h ed i f f e r e n t r e g i s t r i e s . F i g . 4 s h o w s t h e s u m m a r y o fr e c o g n i t i o n r a t e f o r d i f f e r e n t v a l u e s o f M a n d N . W eo b s e r v e s e v e r a l i m p o r t a n t b e h a v i o u r s . T h e y a r e :

1 . F o r a f i x e d v a l u e o f M , t h e r e c o g n i t i o n r a t ei n c r e a s e s m o n o t o n i c a l l y w h e n N i n c r e a s e s .2 . H o w e v e r w h e n M i n c r e a s e s , N h a s t oc o n s e q u e n t i a l l y i n c r e a s e f o r t h e c a n o n i c a l f a c e t ob e r e c o v e r e d w i t h r e a s o n a b l e q u a l i t y . T h em i n i m u m ( M , N ) p a i r n e e d e d t o e s t a b l i s h g o o dr e c o g n i t i o n r a t e s a r e ( 2 , 3 ) , ( 3 , 5 ) , ( 4 , 7 ) a n d ( 5 , 7 ) .3 . T h e r e c o g n i t i o n r a t e f o r N=2 i s v e r y p o o r f o r a l lv a l u e s o f M .4 . T h e r a n g e o f r e c o g n i t i o n r a t e s f o r d i f f e r e n t v a l u e so f M a n d N ( e x N = 2 ) a r e b e t w e e n 8 5 . 5 % a n d8 8 . 8 % .

A s c a n b e s e e n , t h e r e s u l t s o b t a i n e d h e r e i ss i g n i f i c a n t l y b e t t e r t h a n [ 3 ] w h i c h r e p o r t e d a n a c c u r a c y o f39% w i t h t h e n e a r e s t n e i g h b o u r c l a s s i f i e r o n a s i m i l a rd a t a s e t . T h e g e n e r a l t r e n d o f t h e r e c o g n i t i o n r a t e s w h i c hf l a t t e n o f f a s N i n c r e a s e s f o r a l l v a l u e s o f M s u g g e s t aw i d e p e r i m e t e r f o r t h e c h o i c e s o f t h e s e v a l u e s . H o w e v e r ,f r o m t h e c o m p u t a t i o n , d a t a a c q u i s i t i o n a n d h a r d w a r es t a n d p o i n t , i t w o u l d b e e f f e c t i v e t o k e e p t h e M a n d Nv a l u e s s m a l l , w i t h o u t n e g a t i v e l y i m p a c t i n g t h e r e c o g n i t i o nr a t e .

2 L i g h t s 3 L i g h t s 5 L i g h t s 7 L i g h t s 9 L i g h t s 1 1 L i g h t sNumber o f L i g h t i n g s

F i g u r e 4 : R e c o g n i t i o n r a t e s ( i n p e r c e n t a g e ) b y v a r y i n g t h e v a l u e s o f Ma n d N .

16 0

R e c o g n i t i o n R a t e10 09 08 07 06 05 04 03 020100

2 P e r s o n s3 P e r s o n s4 P e r s o n s5 P e r s o n s

i P . l

8/2/2019 A Solution for Illumination Challenged 01689025

5/5

5 DISCUSSIONT h e r e s u l t s o b t a i n e d u s i n g t h e c a n o n i c a l f a c e r e c o v e r ya l g o r i t h m i s v e r y e n c o u r a g i n g . W e h a v e s h o w n t h a t t h em i n i m u m n u m b e r o f i l l u m i n a t i o n s p e c i f i e d b o o t s t r a pi m a g e s ( i . e . N ) n e e d e d t o g e n e r a t e a s t a b l e c a n o n i c a l f a c er a n g e s b e t w e e n 3 a n d 5 . T h i s m a k e s g o o d h a r d w a r e d e s i g ns e n s e a s a n e l a b o r a t e l i g h t s t a g e s e t u p [ 5 ] [ 6 ] b e c o m e su n n e c e s s a r y . C u r r e n t l y we a r e f a b r i c a t i n g a l o w - c o s tp o r t a b l e l i g h t a r r a y m o d u l e u s e d t o i m p l e m e n t t h ec a n o n i c a l f a c e r e c o v e r y . D e p e n d i n g o n t h e r o l e , t h i sl i g h t i n g m o d u l e c a n b e e m b e d d e d i n t o t h e d i f f e r e n t s t a g e so f t h e f a c e r e c o g n i t i o n s y s t e m . F o r e x a m p l e , t h e m o d u l ec a n b e i n t r o d u c e d d u r i n g t h e r e g i s t r a t i o n s t a g e w h e r e t h eo b j e c t i v e i s t o c a p t u r e a g o o d q u a l i t y n e u t r a l i m a g e o f t h es u b j e c t ( i . e . i t s c a n o n i c a l r e p r e s e n t a t i o n ) t o b e r e g i s t e r e di n t o t h e s y s t e m i r r e g a r d l e s s o f t h e a m b i e n t l i g h t i n gc o n d i t i o n . A n o t h e r p o s s i b l e u s e i s t o i n c o r p o r a t e i t i n t o t h ei m a g e c a p t u r e s y s t e m a t t h e f r o n t e n d o f t h e r e c o g n i t i o ns y s t e m . T h i s w i l l e n s u r e t h a t t h e p i c t u r e t a k e n a n d u s e d f o rm a t c h i n g w i l l n o t b e a f f e c t e d a g a i n b y e x t e r n a l l i g h ts o u r c e s . B e s i d e s u s i n g t h e i m a g e s c a p t u r e d b y t h e l i g h t i n gm o d u l e a s d e s c r i b e d h e r e , we c a n e x p l o r e u s i n g s h a p e -f r o m - s h a d i n g t e c h n i q u e s t o r e c o v e r t h e 3D s h a p e o f t h ef a c e [ 4 ] . T h e r a n g e i n f o r m a t i o n w i l l b e a n a d d e d b o o s t t oi m p r o v e o n t h e i l l u m i n a t i o n r e n d e r i n g q u a l i t y a s w e l l a sf o r r e c o g n i t i o n . A l t h o u g h t h e i l l u m i n a t i o n m o d e l sr e c o v e r e d u s i n g t h e CMU P I E d a t a b a s e g e n e r a t e s 2 1d i f f e r e n t v a r i a t i o n s t h e y a r e i n a d e q u a t e a s s o m e i m p o r t a n tl i g h t i n g d i r e c t i o n s ( i . e . e s p e c i a l l y t h o s e c o m i n g f r o m t h et o p ) a r e g l a r i n g l y m i s s i n g . W e w i l l n e x t c o n s i d e r u s i n gc o m p u t e r g r a p h i c s t o o l s t o d e v e l o p a v i r t u a l l i g h t s t a g et h a t h a s t h e a b i l i t y t o r e n d e r a n y a r b i t r a r y l i g h t i n gc o n d i t i o n s o n a 3D f a c e . T h e s e new v a r i a t i o n s c a n t h e n b eu s e d t o e x t r a c t f i n e r q u a l i t y i l l u m i n a t i o n m o d e l s w h i c h i nt u r n c a n b e u s e t o s y n t h e s i s m o r e r e a l i s t i c n o v e la p p e a r a n c e v i e w s . F i n a l l y , we w i l l e x p l o r e how t h es y s t e m s o f c a n o n i c a l f a c e r e c o v e r y a n d a p p e a r a n c es y n t h e s i s c a n p l a y a f u r t h e r r o l e i n e n h a n c i n g t h ep e r f o r m a n c e s o f i l l u m i n a t i o n c h a l l e n g e d r e a l w o r l d f a c er e c o g n i t i o n s y s t e m s .

W e w i s h t o t h a n k t h e R o b o t i c s I n s t i t u t e , C a r n e g i e M e l l o nU n i v e r s i t y f o r p r o v i d i n g t h e P I E i m a g e sR e f e r e n c e s1 . Y . A d i n i , Y . M o s e s a n d S . U l l m a n , " F a c e R e c o g n i t i o n : t h e P r o b l e m o fC o m p e n s a t i n g f o r C h a n g e s i n I l l u m i n a t i o n D i r e c t i o n " , i n P r o c . o f IEEET r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e . V o l . 1 9 , N o . 7 ,1 9 9 7 , p p . 7 2 1 - 7 3 2 .2 . T . R i k l i n - R a v i v a n d A . S h a s h u a , " T h e Q u o t i e n t I m a g e : C l a s s b a s e dR e - r e n d e r i n g a n d R e c o g n i t i o n w i t h V a r y i n g I l l u m i n a t i o n s " , i n P r o c . o fIEEE T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e . V o l . 2 3 , N o .2 , 2 0 0 1 , p p . 1 2 9 - 1 3 9 .3 . T . S i m a n d T . K a n a d e , " C o m b i n i n g M o d e l s a n d E x e m p l a r s f o r F a c eR e c o g n i t i o n : a n I l l u m i n a t i o n E x a m p l e " , i n P r o c . o f W o r k s h o p o n M o d e l sv e r s u s E x e m p l a r s i n C o m p u t e r V i s i o n , D e c 2 0 0 1 .4 . Z h a o a n d C h e l l a p p a , " R o b u s t F a c e R e c o g n i t i o n u s i n g S y m m e t r i cS h a p e - f r o m - S h a d i n g " , T e c h n i c a l R e p o r t CARTR-9 1 9 , C e n t r e f o rA u t o m a t i o n R e s e a r c h , U n i v e r s i t y o f M a r y l a n d , C o l l e g e P a r k , MD, 1 9 9 9 .5 . T . S i m , S . B a k e r a n d M. B s a t , " T h e CMU P o s e , I l l u m i n a t i o n a n dE x p r e s s i o n D a t a b a s e " , i n P r o c . o f IEEE T r a n s . o n P a t t e r n A n a l y s i s a n dM a c h i n e I n t e l l i g e n c e , V o l . 2 5 , N o . 1 2 , 2 0 0 3 , p p . 1 6 1 5 - 1 6 1 8 .6 . P . D e b e v e c , T . H a w k i n s , C . T c h o u , H . D u i k e r , W. S a r o k i n , a n d M .S a g a r , " A c q u i r i n g t h e R e f l e c t a n c e F i e l d o f a Human F a c e " , i n P r o c . o fSIGGRAPH 2 0 0 0 , p p . 1 4 5 - 1 5 6 .7 . A . Y e r e d o r , " T h e E x t e n d e d L e a s t S q u a r e s C r i t e r i o n : M i n i m i s a t i o nA l g o r i t h m s a n d A p p l i c a t i o n s " , IEEE T r a n s . o n S i g n a l P r o c e s s i n g , V o l .4 9 , N o . 1 , J a n 2 0 0 0 , p p . 7 4 - 8 6 .8 . J M o r e , " T h e L e v e n b e r g - M a r q u a r d t A l g o r i t h m : I m p l e m e n t a t i o n a n dT h e o r y " , i n G . W a t s o n , E d i t o r , L e c t u r e N o t e s i n M a t h e m a t i c s , V o l 6 3 0 ,S p r i n g e r V e r l a g , 1 9 7 8 , p p . 1 0 5 - 1 1 6 .9 . B . M a n j u n a t h , R . C h e l l a p p a a n d C . d . M a l s b u r g , "A f e a t u r e b a s e da p p r o a c h t o f a c e r e c o g n i t i o n " , i n P r o c . o f IEEE C o m p u t e r S o c i e t y . C o n f r .On C o m p u t e r V i s i o n a n d P a t t e r n R e c o g n i t i o n , 1 9 9 2 , p p . 3 7 3 - 3 7 8 .1 0 . P . Y a n g , S . S h a n , W. G a o , S . Z . L i a n d D . Z h a n g , " F a c e r e c o g n i t i o nu s i n g A d a - b o o s t e d G a b o r f e a t u r e s " , I n t ' t c o n f r . On A u t o m a t i c F a c e a n dG e s t u r e R e c o g n i t i o n , 2 0 0 4 , p p . 3 5 6 - 3 6 0 .1 1 . R . M a r i a n i , "A F a c e L o c a t i o n a n d R e c o g n i t i o n S y s t e m B a s e d o nT a n g e n t D i s t a n c e " , M u l t i m o d a l I n t e r f a c e F o r H u m a n - M a c h i n eC o m m u n i c a t i o n , S e r i e s i n M a c h i n e P e r c e p t i o n A r t i f i c i a l I n t e l l i g e n c e ,V o l u m e 4 8 . E d i t o r s PC Y u e n , YY T a n g a n d PSP W a n g , W o r l dS c i e n t i f i c , p p 3 - 3 1 .1 2 . P . B e l h u m e u r , J . H e s p a n h a a n d D a v i d K r i e g m a n , " E i g e n f a c e s v s .F i s h e r f a c e s : R e c o g n i t i o n U s i n g C l a s s S p e c i f i c L i n e a r P r o j e c t i o n " , i nP r o c . o f IEEE T r a n s . o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e . V o l .1 9 , N o . 7 , 1 9 9 7 , p p . 7 1 1 - 7 2 0 .

6 CONCLUSIONW e h a v e d e v e l o p e d a n e x e m p l a r - b a s e d a p p r o a c h t or e c o v e r t h e c a n o n i c a l f a c e r e p r e s e n t a t i o n a s w e l l a s t os y n t h e s i z e n o v e l a p p e a r a n c e s o f a f a c e s u b j e c t t oi l l u m i n a t i o n v a r i a t i o n s . T h e c a n o n i c a l f a c e h a s t w op o s s i b l e u s e s , m a i n l y t o b e u s e d a s a p r o b e f a c e f o rr e c o g n i t i o n o r u s e a s a b a s e i m a g e t o g e n e r a t e n o v e la p p e a r a n c e m o d e l s u n d e r new i l l u m i n a t i o n c o n d i t i o n s . W eh a v e s h o w n s u b j e c t i v e l y t h a t t h e c a n o n i c a l f a c e r e c o v e r e dw i t h o u r a p p r o a c h i s v e r y s t a b l e a n d n o t h e a v i l y d e p e n d e n to n t h e t y p e s a n d n u m b e r s o f t h e b o o t s t r a p i m a g e s . T h es t r e n g t h o f t h e v i e w s y n t h e s i s a l g o r i t h m i s o b j e c t i v e l yd e m o n s t r a t e d b y i t s a b i l i t y t o i m p r o v e t h e p e r f o r m a n c e o ft h e n e a r e s t - n e i g h b o u r , t e m p l a t e - b a s e d f a c e r e c o g n i t i o na l g o r i t h m u s i n g t h e CMU P I E i m a g e s a s t e s t s a m p l e s .A c k n o w l e d g e m e n t

1 6 1