a method to enhance face biometric security

8/2/2019 A Method to Enhance Face Biometric Security

1/6

A Method t o E n h a n c e F a c e B i o m e t r i c S e c u r i t yY o u n g s u n g K i m , a n d K a r - A n n T o h , S en io r M e m b e r , IEEE

A b s t r a c t - I n c a n c e l a b l e b i o m e t r i c s , a t e m p l a t e u n d e r g o e s ar a n d o m - l i k e t r a n s f o r m a t i o n p r o c e s s s u c h t h a t i t i s d i s p o s a b l ea n d a new t e m p l a t e f o r t h e s a m e i d e n t i t y c a n b e r e - g e n e r a t e d f o rnew u s a g e . H o w e v e r , e x i s t i n g w o r k s d o n o t c o ns id er c o n t r o l o fv e r i f i c a t i o n p e r f o r m a n c e a n d i d e n t i t y c o n c e a l m e n t a t t h e s a m et i m e . I n t h i s p a p e r , we p r o p o s e a m e t h o d w hi ch c a n b o o s t t hev e r i f i c a t i o n p e r f o r m a n c e o f f a c e b i o m e t r i c v i a t w o s t e p s : u s i n ga n e f f i c i e n t f e a t u r e e x t r a c t i o n t r a n s f o r m a t i o n , a n d u s i n g a ne r r o r m i n i m i z i n g t e m p l a t e t r a n s f o r m a t i o n . An e x t e n d e dRandom P r o j ec t io n o f f a c e d a t a i m p r o v e s t h e f ea t u re e x t r a c t i o ne f f i c i e n c y i n t h e f i r s t s t e p . A n e a r o p t i m a l t r a n s f o r m a t i o n o f t h ef a c e t e m p l a t e i s n e x t g e n e r a t e d f r o m i t e r a t i v e s t e p s o f g r a d i e n td e s c e n t a l go r i t hm b a s e d o n a n e r r o r r a t e f o r m u l a t i o n . F o re x p e r i m e n t a t i o n , we a d o p t e d f a c e i m a g e s f r o m AR a n d BERCd a t a b a s e s w h e r e t h e f a c e i m a g e s w e r e c o l l e c t e d u n d e r v a r i o u se x t e r n a l c o n d i t i o n s . From t h e s e f a c e d a t a b a s e s , we s h o w a ni m p r o v e d v e r i f i c a t i o n p e r f o r m a n c e i n t e r m s o f t e s t e qu al e r r o rr a t e ( E E R ) , a t t h e s a m e t i m e h i d i n g t he f a c e i d e n t i t y b a s ed o nt e m p l a t e t r a n s f o r m a t i o n . T h i s work c o n t r i b u t e s t oe s t a b l i s h m e n t o f a n a l g o r i t h m f o r e f f e c t i v e c a n c e l a b l e f a c et e m p l at e g e ner at i o n as w e l l a s v e r i f i c a t i o n p e r f o r m a n c ee n h a n c e m e n t .

I . I N T R O D U C T I O N

B i o m e t r i c i s a t e c h n i q u e f o r a u t o m a t i c v e r i f i c a t i o n o f ap e r s o n b a s e d o n h i s / h e r own p h y s i o l o g i c a l o r b e h a v i o r a lc h a r a c t e r i s t i c s . E s s e n t i a l l y , t h o s e i n h e r i t e d b i o l o g i c a l t r a i t s o rc h a r a c t e r i s t i c s w h i c h c a n n o t b e d u p l i c a t e d o r s h a r e d a m o n gi n d i v i d u a l s a r e a d o p t e d a s p a t t e r n f e a t u r e s f o r i d e n t i t ya u t h e n t i c a t i o n . T hi s has i m p r o v e d t h e s i t u a t i o n o f u s i n gc o n v e n t i o n a l m e t h o d s s u c h a s k e y s , c a r d s a n d p a s s w o r d s f o ra u t h e n t i c a t i o n b e c a u s e t h e s e t o k e n s c a n b e l o s t o r s t o l e n [ 1 ] .H o w e v e r , t h e u n i q u e n e s s p r o p e r t y o f b i o m e t r i c s c a n h a v ed i s a d v a n t a g e s t o o . P a r t i c u l a r l y , f o r f a c e r e c o g n i t i o n , a s t o l e nr e g i s t e r e d t e m p l a t e c a n n o t b e r ev o ke d f o r r e u s e s i n c e i t i su n i q u e . M o r e o v e r , p r i v a c y c a n b e a n i s s u e w h e n t h e f a c et e m p l a t e c a n b e r e v e r s e - e n g i n e e r e d t o r e v e a l t h e u s e r ' si d e n t i t y . F o r t u n a t e l y , t h e s e s e c u r i t y i s s u e s o f b i o m e t r i c s c a nb e s o l v e d b y u s e o f c a n c e l a b l e b i o m e t r i c s , a t e c h n i q u e t ot r a n s f o r m t h e b i o m e t r i c t e m p l a t e f o r p o s s i b l e r e u s e . R a t h a e ta l [ 2 ] c o n c r e t i z e d t h e c o n c e p t o f c a n c e l a b l e b i o m e t r i c s t oa l l e v i a t e t h e a b o v e m e n t i o n e d s e c u r i t y a n d p r i v a c y p r o b l e m s .T h e y p r o p o s e d a r e p e a t a b l e t r a n s f o r m a t i o n t o d i s t o r t t h eb i o m e t r i c t e m p l a t e a t each p r e s e n t a t i o n , f o r e n r o l l m e n t a sw e l l a s q u e r y a u t h e n t i c a t i o n i n a s i m i l a r m a n n e r . T h e

M a n u s c r i p t r e c e i v e d May 1 4 , 2 0 0 7 .T h e a u t h o r s a r e w i t h S c h o o l o f E l e c t r i c a l & E l e c t r o n i c E n g i n e e r i n g , Y o n s e iU n i v e r s i t y , S e o u l , K o r e a .( e m a i l : mr a oh o r kaohAieem)

d i s t o r t i o n t r a n s f o r m c a n b e d e a l t w i t h i n t h e s i g n a l d o m a i na n d i n t h e f e a t u r e d o m a i n . I n s i g n a l d o m a i n , d i s t o r t i o nt r a n s f o r m i n c l u d e s g r i d m o r p h i n g a n d b l o c k p e r m u t a t i o n . I nf e a t u r e d o m a i n , a s e t o f r a n d o m a n d r e p e a t a b l e p e r t u r b a t i o n so f f e a t u r e p o i n t s c a n b e u s e d w i t h n o n - i n v e r t i b l e h i g h - o r d e rp o l y n o m i a l f o r t r a n s f o r m a t i o n .A n o t h e r a p p r o a c h i s t o u s e a r a n d o m i z e d t o k e n n u m b e r t om i x w i t h t h e b i o m e t r i c t e m p l a t e f o r t e m p l a t e c o n c e a l m e n t .T e o h e t a l . [ 3 , 4 ] r e p o r t e d B i o H a s hi n g a nd i t s v a r i a n t s , w h i c hu s e d t o k e n i z e d r an d o m n u m b e r t o m i x w i t h b i o m e t r i cf e a t u r e s . T h e i r p r o p o s e d m e t h o d w h e n a p p l i e d t o f a c e ,f i n g e r p r i n t a n d p a l m p r i n t ha s c l a i m e d g o o d v e r i f i c a t i o na c c u r a c y t o t h e e x t e n d o f h a v i n g a z e r o e q u a l e r r o r r a t e ( E E R ) .E s s e n t i a l l y , a u s e r - d e p e n d e n t i n p u t t o k e n o f e ac h t e m p l a t e a r ee m p l o y e d t o g e n e r a t e a s e t o f p s e u d o r a n d o m v e c t o r s . T h e s er an d o m n u m b e r v e c t o r s a r e t h e n u s e d t o o b t a i n a s e t o fo r t h o g o n a l v e c t o r s . A f t e r a d o t p r o d u c t b e t w e e n t h eo r t h o g o n a l v e c t o r s a n d t h e f e a t u r e v e c t o r , b i o m e t r i c c o d e s a r eg e n e r a t e d u s i n g a p r e d e f i n e d t h r e s h o l d . H o w e v e r , A . Kong e ta l . [ 5 ] who a n a l y z e d t h e B i o H a s h t e c h n i q u e o n b i o m e t r i c s ,f o u n d t h a t h i g h a c c u r a c y r e s u l t s r e l y h e a v i l y o n t o k e n s a n da r e v a l i d o n l y u n d e r t h e a s s u m p t i o n t h a t t h e t o k e n s a r e n o tl o s t , s t o l e n , s h a r e d a n d d u p l i c a t e d .E x i s t i n g w o r k s d o n o t c o n s i d e r c o n t r o l o f v e r i f i c a t i o np e r f o r m a n c e a n d i d e n t i t y c o n c e a l m e n t a t t h e s a m e t i m e . F o ri n s t a n c e , i n [ 2 ] , t h e i r d i s t o r t i o n m e t h o d d i d n o t a t t e m p t t oe n h a n c e t h e v e r i f i c a t i o n p e r f o r m a n c e d u r i n g t h et r a n s f o r m a t i o n p r o c e s s . A l s o , i n T e o h ' s m e t h o d [ 3 ] , t h ep e r f o r m a n c e w a s i n d i r e c t l y c o n t r o l l e d b y a n a c c u r a t e t o k e n ,a n d t h i s may i n f l u e n c e t h e s y s t e m i n d o m i n a n c y o fa u t h e n t i c a t i o n . We p r o p o s e i n t h i s p a p e r a d i r e c t m e t h o d t ob o o s t t h e v e r i f i c a t i o n p e r f o r m a n c e o f f a c e b i o m e t r i c v i a a ne f f e c t i v e f e a t u r e e x t r a c t i o n m e t h o d a n d a n e r r o r m i n i m i z i n gt e m p l a t e t r a n s f o r m a t i o n . T h i s p r o p o s e d m e t h o d s a t i s f i e s t h ec a n c e l a b l e f a c e b i o m e t r i c ' s r e q u i r e m e n t o n i d e n t i t y h i d i n ga n d v e r i f i c a t i o n e r r o r r a t e r e d u c t i o n s i m u l t a n e o u s l y .T h e p a p e r i s o r g a n i z e d a s f o l l o w s : i n s e c t i o n I I , we p r o v i d en e c e s s a r y p r e l i m i n a r i e s a n d d e f i n i t i o n s f o r b a s i cu n d e r s t a n d i n g . T h e p r o p o s e d m e t h o d o l o g y i s d e s c r i b e d i ns e c t i o n I I I . E m p i r i c a l e v i d e n c e s w i t h s e v e r a l c a s e s t u d i e s a r es h o w n i n s e c t i o n I V . F i n a l l y , s o m e c o n c l u d i n g r e m a r k s a r eg i v e n i n s e c t i o n V .

I I . P R E L I M I N A R I E S AND D E F I N I T I O NI n g e n e r a l , t o v e r i f y a n i d e n t i t y u s i n g f a c e b i o m e t r i c , t h ea u t h e n t i c a t i o n s y s t e m o p e r a t e s i n t w o m o d e s , n a m e l y t h eR e g i s t r a t i o n / E n r o l l m e n t m o d e , a n d t h e Q u e r y m o d e [ 6 ] . T h er e g i s t r a t i o n m o d e c o n s i s t s o f t h e f o l l o w i n g s t e p s :( i ) G a t h e r b i o m e t r i c i n f o r m a t i o n u s i n g a s e n s o r ( c a m e r a ) ,

9 7 8 - 1 - 4 2 4 4 - 1 5 9 7 - 7 / 0 7 / $ 2 5 . 0 0 2 0 0 7 I E E E


2/6

a n d t h e n p r e p r o c e s s t h e r a w d a t a .( i i ) E x t r a c t f e a t u r e f r o m t h e p r e p r o c e s s e d b i o m e t r i c d a t a .( i i i ) S t o r e b i o m e t r i c f e a t u r e s i n t e m p l a t e f o r m i n d a t a b a s es e r v e r f o r f u t u r e q u e r y .S i m i l a r t o t h e r e g i s t r a t i o n m o d e , t h e q u e r y m o d e r e p e a t ss t e p s ( i ) a n d ( i i ) w h e r e t h e q u e r y b i o m e t r i c t e m p l a t e i sg e n e r a t e d . T h e f i n a l s t e p o f q u e r y m o d e i s t o v e r i f y t h e q u e r yt e m p l a t e b y m a t c h i n g i t w i t h a r e t r i e v e d b i o m e t r i c t e m p l a t ef r o m t h o s e r e g i s t e r e d t e m p l a t e s .I n n e x t s u b s e c t i o n , s o m e n e c e s s a r y p r e l i m i n a r i e s a n dd e f i n i t i o n s f o r a d o p t e d t e c h n i q u e s a r e p r o v i d e d f o r i m m e d i a t er e f e r e n c e .

A . F e a t u r e E x t r a c t i o nT y p i c a l l y , a r a w f a c e i m a g e w o u l d b e t o o l a r g e f o re f f e c t i v e p r o c e s s i n g . F o r i n s t a n c e , a VGA i m a g e c o n t a i n s 6 4 0x 4 8 0 p i x e l s , a n d t h i s s i z e i s n o t s u i t a b l e f o r c l a s s i f i c a t i o np r o c e s s i n g . M o r e o v e r , t h e l e v e l o f n o i s e i s l a r g e a nd h en cef e a t u r e e x t r a c t i o n i s n e c e s s a r y f o r e f f e c t i v e p r o c e s s i n g .1 ) P r i n c i p l e C o m p o n e n t A n a l y s i s ( P C A ) . I n f a c er e c o g n i t i o n , PCA h as b e e n f r e q u e n t l y u s e d t o r e d u c e t h ei m a g e d i m e n s i o n . E s s e n t i a l l y , t h e PCA d e c o m p o s e s a n i m a g ei n t o l i n e a r c o m b i n a t i o n o f c o e f f i c i e n t s ( e i g e n v a l u e s ) a n dc o m p o n e n t v e c t o r s ( e i g e n v e c t o r ) [ 7 ] . S i n c e t h e p r o j e c t e dc o m p o n e n t s o r e i g e n v a l u e s f o r d i f f e r e n t i d e n t i t i e s ( f a c ei m a g e s ) a r e d i f f e r e n t , t h e y c a n b e u se d a s f e a t u r e v e c t o r f o rf a c e r e c o g n i t i o n . T h e i n t e r e s t e d r e a d e r s a r e r e f e r r e d t o [ 7 , 8 ,9 ] f o r d e t a i l s o f t h i s f e a t u r e e x t r a c t i o n t e c h n i q u e .2 ) R a n d o m P r o j e c t i o n ( R P ) . R e c e n t l y , R a n d o m P r o j e c t i o n( R P ) ha s a t t r a c t e d a t t e n t i o n a n d has b e e n a d o p t e d f o rd i m e n s i o n a l i t y r e d u c t i o n [ 1 0 ] . T o r e d u c e a d - d i m e n s i o n a ls a m p l e x i ( i = 1 , . . . n ) t o p - d i m e n s i o n , we c a n a d o p t e d ap r o j e c t i o n m a t r i x R s u c h t h a t y i = R x i w h e r e R i s a no r t h o g o n a l m at r ix w it h i t s c o l u m n b e i n g i n d e p e n d e n t a n di d e n t i c a l l y d i s t r i b u t e d ( i . i . d . ) o f u n i t l e n g t h , z e r o - m e a n a n du n i t - v a r i a n c e . T h e o r t h o g o n a l m a t r i x c a n b e g e n e r a t e d b yG r a m - S h m i d t o r t h o g o n a l i z a t i o n p r o c e s s [ 1 0 ] . T h e v a l i d i t y o ft h i s l i n e a r o r t h o g o n a l t r a n s f o r m o f RP i s b a s e d o n t h eJ o h n s o n - L i n d e n s t r a u s s l e m m a [ 1 1 ] w h i c h s t a t e s t h a t a n y np o i n t s e t i n E u c l i d e a n s p a c e c o u l d b e m a p p e d i nO ( l o g n / F 2 ) d i m e n s i o n s w i t h o u t d i s t o r t i n g a n y p a i rd i s t a n c e s b y m o r e t h a n a f a c t o r o f ( 1 + ) , V 0 < < 1 .D i f f e r f r o m P C A , t h e r e i s n o t r a i n i n g s t e p i n R P . A f a c e t e s ts a m p l e x t c a n b e p r o j e c t e d u s i n g t h e a b o v e R m a t r i x t oo b t a i n t h e d e s i r e d f e a t u r e v a l u e s f o r r e c o g n i t i o n :Y t = R ( x t -x ) .Du e t o s e v e r a l r e a s o n s , RP c a n b e m o r e a t t r a c t i v e t h a nP C A . F i r s t l y , RP i s i n d e p e n d e n t u p o n d a t a . On l a r g ed a t a b a s e s , PCA s u f f e r s f r o m c o m p u t a t i o n c o s t f o r s o l v i n g t h ee i g e n v a l u e s - e i g e n v e c t o r s p r o b l e m . S i n c e RP d o n o t n e e d al o w d i m e n s i o n a l s u b s p a c e f r o m t h e t r a i n i n g d a t a s e t f o rp r o j e c t i o n , i t h a s m u c h l o w e r c o m p u t a t i o n c o s t t h a n P C A .S e c o n d l y , RP d o e s n o t n e e d u p d a t e o f a n y r e p r e s e n t a t i o n

g e n e r a t e d , t h e p r o j e c t i o n m a t r i x ca n b e u s e d i n a news i t u a t i o n [ 1 0 ] .I n t h i s paper, we s h a l l e x p l o r e t h e p o t e n t i a l o f RP f o rf e a t u r e e x t r a c t i o n as w e l l as f o r c a n c e l a b l e f a c e b i o m e t r i cs i n c e a RP m a t r i x ca n b e c h a n g e d w h e n r e q u i r e d . S i n c e RPm e t h o d ca n h i d e u s e r ' s appearance, a n d i t ca n b e g e n e r a t e dr e p e a t e d l y , i t i s s u i t a b l e f o r c a n c e l a b l e f a c e b i o m e t r i ca p p l i c a t i o n .

B . I d e n t i t y V e r i f i c a t i o nA f t e r e x t r a c t i n g f e a t u r e s f r o m f a c e i m a g e s u s i n g t h e a b o v e

m e t h o d s , t h e f e a t u r e t e m p l a t e v e c t o r s ( f a c e t e m p l a t e s ) ar em a t c h e d w i t h e a c h o t h e r u s i n g a c e r t a i n d i s t a n c e s m e a s u r e( s u c h as E u c l i d e a n d i s t a n c e m e a s u r e ) . T h i s c o m p a r i s o nb e t w e e n t w o f a c e e n t i t i e s i s u s e d t o d e t e r m i n e w h e t h e r i tb e l o n g s t o a g e n u i n e - u s e r or an i m p o s t e r m a t c h i n g .B a s e d o n a p r e d e f i n e d t h r e s h o l d o n t h e a d o p t e d m a t c h i n gd i s t a n c e m ea s u r e , a s y s t e m d e t e r m i n e s w h e t h e r t h e i n p u tt e m p l a t e i s a g e n u i n e - u s e r or an i m p o s t e r . H e r e , t h e r a t ew h e r e b y g e n u i n e - u s e r s ar e b e i n g r e j e c t e d i s c a l l e d f a l s er e j e c t i o n r a t e ( F R R ) a n d t h e r a t e o f i m p o s t e r s b e i n g a c c e p t e di s c a l l e d f a l s e a c c e p t a n c e r a t e ( F A R ) [ 6 ] . A t t h e p o i n t w h e nF R R a n d FAR ar e e q u a l , an e q u a l error r a t e ( E E R ) ca n b ed e f i n e d . I n g e n e r a l , t h e l o w e r t h e E E R v a l u e , t h e h i g h e r t h eaccuracy o f a b i o m e t r i c s y s t e m . I n t h i s paper, t h e E E R i sa d o p t e d as p e r f o r m a n c e e v a l u a t i o n c r i t e r i o n f o r c o m p a r i s o no f p e r f o r m a n c e .

C . C a n c e l a b l e B i o m e t r i c sI n g e n e r a l , t h e b i o m e t r i c c h a r a c t e r i s t i c o f a p e r s o n i s

u n i q u e a n d ca n n o t b e c h a n g e d . I f b i o m et r i c d a t a i st r e s p a s s e d , a r e p l a c e m e n t i s i m p o s s i b l e . T o r e l i e v e t h i sconcern, c a n c e l a b l e b i o m e t r i c was i n t r o d u c e d [ 2 ] . I nc a n c e l a b l e b i o m e t r i c , a d e s i g n e d a n d r e p e a t a b l e t r a n s f o r md i s t o r t s t h e b i o m e t r i c s i g n a l s a t e a c h p r e s e n t a t i o n d u r i n ge n r o l l m e n t as w e l l as d u r i n g a u t h e n t i c a t i o n i n a s i m i l a rm a n n e r . A c c o r d i n g t o [ 6 , 1 2 , 1 3 ] f o u r i m p o r t a n t o b j e c t i v e swere d e f i n e d f o r c a n c e l a b l e b i o m e t r i c s as f o l l o w s :( i ) D i v e r s i t y : No s i m i l a r c a n c e l a b l e t e m p l a t e ca n b e u s e d i nt w o d i f f e r e n t a p p l i c a t i o n s .( i i ) R e u s a b i l i t y : S t r a i g h t f o r w a r d r e v o c a t i o n a n d r e i s s u e i nt h e e v e n t o f c o m p r o m i s e .( i i i ) O n e - w a y t r a n s f o r m a t i o n : N o n - i n v e r t i b i l i t y o f t e m p l a t ec o m p u t a t i o n t o p r e v e n t recovery o f b i o m e t r i c d a t a .( i v ) P e r f o r m a n c e : T h e f o r m u l a t i o n s h o u l d n o t d e t e r i o r a t et h e r e c o g n i t i o n p e r f o r m a n c e .We s h a l l o b s e r v e t h e s e o b j e c t i v e s i n o u r d e v e l o p m e n t .

III. PROPOSED METHODA . O v e r v i e wI n o r d e r t o a c h i e v e t h e a b o v e c a n c e l a b l e b i o m e t r i co b j e c t i v e s , we w o r k a t t w o l e v e l s n a m e l y , f e a t u r e l e v e l a n dv e r i f i c a t i o n l e v e l . A t f e a t u r e l e v e l , we propose a n e x t e n d e dRP m e t h o d t o make a t e m p l a t e a d a p t e d t o ou r c a n c e l a b l e

b i o m e t r i c f r a m e w o r k . A t v e r i f i c a t i o n l e v e l , we f i n d a n e a rw h e n t h e f a c e d a t a b a s e i s u p d a t e d o r c h a n g e d . O n c e o p t i m a l w e i g h t i n g m a t r i x t o m i n i m i z e t h e v e r i f i c a t i o n e f f or


3/6

r a t e . A l t h o u g h each m e t h o d c a n b e u se d i n d e p e n d e n t l y t os a t i s f y t h e c a n c e l a b l e b i o m e t r i c o b j e c t i v e s , h e r e we s h o w t h a tc o m bi n at i o n o f t h e t w o l e v e l s c a n b e a m o r e p o w e r f u l m e t h o dt h a n t h a t s o l e l y u s e d .F o r t h e f e a t u r e l e v e l p r o p o s a l , we u s e M u l t i p l e RandomP r o j e c t i o n ( M R P ) t o e x t r a c t r e l e v a n t f a c e f e a t u r e f o r i d e n t i t yr e p r e s e n t a t i o n . I n M R P we u s e m u l t i p l e n u m b e r o f R P s ( e a c hRP u s e s a m u l t i s p a c e m a t r i x ) f o r f e a t u r e e x t r a c t i o n . MRP i sa n e x t e n d e d v e r s i o n o f t h e o r i g i n a l R P . D e t a i l s o f MRP a r ep r o v i d e d i n s e c t i o n I I I - B .

F o r t h e v e r i f i c a t i o n l e v e l p r o p o s a l , we u s e T o t a l E r r o r R a t e( T E R ) a s t h e m i n i m i z a t i o n c r i t e r i o n [ 1 4 , 1 5 ] . TE R i s as u m m a t i o n o f FAR a n d F R R . T h e g r a d i e n t d e s c e n t a l g o r i t h mw a s n e x t a d o p t e d t o f i n d t h e w e i g h t m a t r i x f o r m i n i m i z i n g a na p p r o x i m a t e d T E R . S i n c e t h e g r a d i e n t d e s c e n t a l g o r i t h m i s al o c a l m i n i m i z e r , a n e a r o p t i m a l w e i g h t m a t r i x c a n b e f o u n da n d t h i s r e d u c e s t h e v e r i f i c a t i o n e r r o r f r o m t h e u s e o fd i s t o r t e d f a c e t e m p l a t e s .B . M u l t i p l e R a n d o m P r o j e c t i o n f o r F e a t u r e E x t r a c t i o n

T h e r e a r e t w o p o s s i b l e w a y s t o g e n e r a t e t h e m u l t i p l ep r o j e c t i o n m a t r i c e s . O n e way i s t o f i r s t c o n c a t e n a t e m u l t i p l ep r o j e c t e d v e c t o r s f r o m m u l t i p l e h i g h - d i m e n s i o n a l R P s a n dt h e n p r o j e c t t h e c o n c a t e n a t e d v e c t o r t o a l o w - d i m e n s i o n a lPCA e i g e n s p a c e ( s e e F i g . l ( a ) ) . We w i l l c a l l t h i s m e t h o dMRPPCA i n b r i e f . A n o t h e r way i s t o c o n c a t e n a t e m u l t i p l ep r o j e c t e d v e c t o r s f r o m m u l t i p l e l o w - d i m e n s i o n a l R P s ( s e eF i g 1 ( b ) ) . We w i l l c a l l t h i s m e t h o d MRP i n b r i e f .C . A N e a r O p t i m a l W e i g h t i n g M e t h o dA f t e r f e a t u r e e x t r a c t i o n , we s e e k a n e a r o p t i m a l w e i g h tm a t r i x f r o m m i n i m i z i n g t h e T o t a l E r r o r R a t e ( T E R ) f o rp e r f o r m a n c e e n h a n c e m e n t a s w e l l a s i d e n t i t y c o n c e a l m e n t .T o o b t a i n t h e f i n a l c a n c e l a b l e t e m p l a t e , t h e f a c e f e a t u r e

v e c t o r i s m u l t i p l i e d w i t h a w e i g h t m a t r i x t o p r o d u c e at r a n s f o r m e d t e m p l a t e , w h i c h h o p e f u l l y g i v e s a n e a r o p t i m a lp e r f o r m a n c e i n v e r i f i c a t i o n . G i v e n a p r o j e c t e d t e m p l a t e o rPCA t e m p l a t e y , t h e w e i g h t e d f a c e t e m p l a t e z c a n b e w r i t t e na s f o l l o w s :z=W y ,

W I I.. w i p 1w h e r e W =wL. . w1 ) TE R a s m i ni m iz a t i o n c r i t e r i o n . A s m e n t i o n e d , FRRr e p r e s e n t s t h e f r a c t i o n o f f a l s e l y r e j e c t e d p a t t e r n s , a n d F ARr e p r e s e n t s t h e f r a c t i o n o f f a l s e l y a c c e p t e d p a t t e r n s . D e n o t e f o rm r e l a t e d t o g e n u i n e - u s e r d i s t a n c e s c o r e g ( x ) ( w i t h l o w

d i s t a n c e v a l u e ) a n d i m p o s t e r d i s t a n c e s c o r e g ( x + ) ( w i t h h i g hd i s t a n c e v a l u e ) b y r e s p e c t i v e s u p e r s c r i p t s - a n d + , t h e F RRa n d FAR a r e t h e a v e r a g e d c o u n t s o f d e c i s i o n s c o r e s w h i c hf a l l s w i t h i n t h e o p p o s i t e p a t t e r n c a t e g o r i e s [ 1 4 ] :

( a ) MRPPCA ( M u l t i p l e h i gh d i m e ns i o n a l RP s f o l l o w e d by P C A )y = (Q{on c a t e n a t e R ( x - E ( x E ) ) ) | y : m x I f e a t u r e v e c t o r( aa:i g e n v e c t o r o f c o n c a t e n a t e d D i m e n s i o n r e d u c e d b y R RPp r o j e c t e d f e a t u r e .R I , : kt h Random o r t h o g o n al v ec t o r C( p d ) . y i y,E ( x ) : m e a n o f x m x I f e a t u r e v e c t o r

D i m e n s i o n r e d u c e d by RP R

y , k * p x 1c o n c a t e n a t e df e a t u r e v e c t G rby M Y R PPCA t r a i n i n g fo rE i g e n v e c t o r

y=

c o n c a t e n a t e d p r o j e c t e df e a t u r e ,E ( y q )3 : me an of y,

11 - amimr I&A-.&I1_| l_... rim__=S_( D ) M R I P ( M u I t i p l e l o w d i m e rv = c o n d a t e n a t e ( R k { ( x - E ( x ) ) }( R k : t h Ra nd om o r t h o g o n a l v e c t o r( w x d ) .E ( x ) : mean o f x)cf . w * k = p , ( w < p )

i s i o n a l R P s )y:wx I f e a t u r e e c t o r- D i m e n s i o n r e d u c e d b y RP R|

C o n c a t e n a t ey l to Y k ,

y, w x I f e a t L u r e v e c t o r c o n- D i m en s i o n r e d u c ed by RP R I , | f e a t uMI R P l

J \, . =

F i g . 1 . P r o p o s e d f e a t u r e e x t r a c t i o n m e t h o d s : ( a ) MRPPCA, ( b ) MRP.

I mFRR = 1 ,m- g ( x i ) ri t mF AR= +Zl

m g( x i + ) < r

( 2 )( 3 )

w h e r e t h e t e r m 1 ( ) 2 ( c o n v e r s e l y , 1 ( ) c o r r e s p o n d s t oa ' 1 ' w h e n e v e r g ( x ) > r ( c o n v e r s e l y , g ( x + ) < r ) , a n d ' 0 'o t h e r w i s e .T h e s e F RR a n d F AR c o u n t i n g c o n c e p t c a n b e a l s o d e f i n e du s i n g a s t e p f u n c t i o n 5 ( c j ))-1>0 w i t h E J = g ( x ) - ra n d d ( e ) - 1 8 > 0 w i t h e = - - g ( x ) . W i t h F RR a n dF AR d e f i n e d , t h e T o t a l E r r o r R a t e ( T E R ) c a n b e w r i t t e n a s :

T E R ( x + , x - ) = FRR + F ARI m - I m T=-E ( - j ) + + Zi Y 1 ( - )m = m i =

( 4 )I n o r d e r t o s o l v e t h e m i n i m i z a t i o n p r o b l e m u s i n g t h e a b o v eTE R c r i t e r i o n , we c a n a d o p t a d i f f e r e n t i a b l e f u n c t i o n t oa p p r o x i m a t e t h e c o u n t i n g s t e p f u n c t i o n . A s i g m o i d f u n c t i o nw h i c h i s d i f f e r e n t i a b l e c a n b e u se d f o r t h e a p p r o x i m a t i o ns i n c e t h e s i g m o i d f u n c t i o n c a n p u l l t r a i n e d o b j e c t s a p a r tm a k i n g t h e m p o s s i b l y l i n e a r l y s e p a r a b l e f o r p a t t e r nc l a s s i f i c a t i o n [ 1 6 ] . F i n a l l y , t h e m i n i m i z a t i o n p r o b l e mb e c o m e s :

, ( Y , - E ( Y , ) )i g e n v e c t o r of

* w x W Xi c a t e n a t e dt u r e v e c t o r t


4/6

a r g m i n TER(W)wa r g m i n - +) Eo))}(

w h e r e j g ( x - )-rand 1 i = - g ( X )a n d C ( x ) r, y >O.1 + e r x2 ) O p t i m i z i n g t h e w e i g h t m a t r i x u s i n g g r a d i e n t d e s c e n ta l g o r i t h m . N e x t , w e s h a l l s e a r c h f o r a n e a r o p t i m a l w e i g h tm a t r i x t o b o o s t t h e c a n c e l a b l e b i o m e t r i c p e r f o r m a n c e u s i n gg r a d i e n t d e s c e n t a l g o r i t h m [ 7 ] . T h e g r a d i e n t d e s c e n ta l g o r i t h m f i n d s l o c a l m i n i m u m v a l u e o f t a r g e t f u n c t i o n( T ER ) b y u s i n g [ 7 ] :

W i + = W i - aERDww h e r e a T E R aTER

aTER I w l 1 w p laTER aTERL l p p p _

a n d p i s t h e D i m e n s i o n o f f e a t u r e v a l u e s , 7 i s

( M C ) 3 ) j p ) 5 ( 6 )

} 8 1 0 ) ( 1 ) ( 1 2 ) 1 3 )

( 1 4 ) ( 1 5 i ( 1 6 ) ( 1 7 ) ( 1 8 ) ( 1 9 ) 2 0 )

2 1 ) ( 2 2 ) ( 2 3 ) 2 4 ) ( 2 5 ) ( 6 )F i g . 2 . T h e AR f a c e d a t a b a s e w h i c h c o n t a i n s 2 6 i m ag es p e r i d e n t i t y .

( 6 )RRI L-.-

F i g . 3 . T h e BERC v i s u a l f a c e d a t a b a s e w h i c h c o n t a i n s 5 4 i m a g e s p e ri d e n t i t y .( 7 )

t h e l e a r n i n g r a t e .An i d e n t i t y m a t r i x i s u s e d f o r i n i t i a l i z a t i o n , s i n c e t h ew e i g h t t e m p l a t e ca n s t a r t f r o m t h e o r i g i n a l t e m p l a t e a f t e rf e a t u r e e x t r a c t i o n . T h e l e a r n i n g r a t e ca n b e a d j u s t e d f r o ml a r g e v a l u e t o s m a l l v a l u e a l o n g t h e t r a i n i n g convergence [ 7 ] .F o r c a n c e l a b l e b i o m e t r i c a p p l i c a t i o n , we ca n u s e t h ew e i g h t m a t r i x a t a n y i t e r a t i v e s t e p s i n t h e s t e e p e s t d i r e c t i o n ,

e v e n t h o u g h t h e f u n c t i o n may n o t converge t o t h e g l o b a lminimum p o i n t . T h e v a s t l o c a l s o l u t i o n s ar e w e l l s u i t e d f o rc an ce l ab l e b i o m et r i c a p p l i c a t i o n s i n c e t h e y a l l o w manya l t e r n a t i v e s o l u t i o n s w h i c h make i t d i f f i c u l t f o r t he o r i g i n a lt e m p l a t e s t o b e r e co v e r ed or u n c o v e r e d .

D . S u m m a r y o f P r o p o s e d M e t h o dT h e f i n a l f e a t u r e v e c t o r a f t e r p r o j e c t i o n a n d w e i g h t i n g i s

g i v e n b y :z =W-y= W-P-x, ( 8 )

w h e r e W a i s ( p x p ) - d i m e n s i o n a l c ha ng ea bl e o p t i mi z in gw e i g h t m a t r i x , P i s a ( p x d ) - d i m e n s i o n a l r a n d o m p r o j e c t i o nm a t r i x , x i s a ( d x 1 ) - d i m e n s i o n a l f e a t u r e v e c t o r , a n d z i s a ( px 1 ) - d i m e n s i o n a l f i n a l f e a t u r e v e c t o r or t e m p l a t e .I n c a n c e l a b l e b i o m e t r i c s , t h e t r an sf o r m at i o n f u nc t i o n

c o n c e a l s a n i d e n t i t y a n d p r o t e c t s i t f r o m a n a t t a c k . F o rt e m p l a t e t r a n s f o r m a t i o n , we can a d o p t t h e p r o p o s e d W a n d Pm a t r i c e s . T h e p r o p o s e d m e t h o d ca n f u l f i l l t h o s e o b j e c t i v e ss u c h as d i v e r s i t y , r e u s a b i l i t y , o n e-w ay t r a n s f o r m a t i o n , a n dp e r f o r m a n c e . I n c o r p o r a t i o n o f a c h a n g e a b l e w e i g h t m a t r i xa n d a p r o j e c t i o n m a t r i x m a k e s b i o m e t r i c t e m p l a t e s s a t i s f yd i v e r s i t y a n d r e u s a b i l i t y o b j e c t i v e s . A t t h e same t i m e , f o r

e ac h o f t h e r a n d o m p r o j e c t i o n s t e p a n d t h e w e i g h t i n g s t e p , wec a n p e r f o r m a d t o p m a p p i n g w h e r e p < d . T h i s c o n s t i t u t e s am a n y - t o - o n e m a p p i n g w h i c h i s i r r e v e r s i b l e , a n d h e n c e ao n e - w a y t r a n s f o r m a t i o n . We t h u s c a n n o t r e c o v e r t h e o r i g i n a lt e m p l a t e o f u s e r s t h e o r e t i c a l l y . M o r e o v e r , s i n c e t h e TE Rf o r m u l a t i o n i s n o n l i n e a r w i t h r e s p e c t t o l e a r n i n g p a r a m e t e r s ,d i f f e r e n t i n i t i a l i z a t i o n s e n d u p w i t h d i f f e r e n t l o c a l s o l u t i o n s .T h e s e l o c a l s o l u t i o n s a r e w e l l s u i t e d f o r c a n c e l a b l e b i o m e t r i ca s t h e y a l l o w many a l t e r n a t i v e s o l u t i o n s t h a t m a k e i t d i f f i c u l tf o r t h e o r i g i n a l t e m p l a t e s t o b e r e c o v e r e d . F i n a l l y t h e w e i g h tm a t r i x i s a d j u s t e d t o b o o s t t h e v e r i f i c a t i o n p e r f o r m a n c e .I V . E X P E R I M E N T S

A . D a t a b a s e sT h e p r o p o s e d a l g o r i t h m i s e x p e r i m e n t e d u s i n g AR f a c ed a t a b a s e [ 1 7 ] a n d BERC v i s u a l f a c e d a t a b a s e [ 1 8 ] . T h e ARf a c e d a t a b a s e c a p t u r e d f a c e i m a g e s u n d e r d i f f e r e n t f a c i a le x p r e s s i o n s , i l l u m i n a t i o n c o n d i t i o n s , a n d o c c l u s i o n s f r o m 2 6f r o n t a l i m a g e s f o r 1 2 6 i d e n t i t i e s . I m a g e s w e r e r ec o rd ed i n t w od i f f e r e n t s e s s i o n s s e p a r a t e d b y 2 w e e k s . A t e a c h s e s s i o n 1 3i m a g e s w e r e r e c o r d e d . T h e s i z e o f t h e i m a g e s i s 7 6 8 x 5 7 6

p i x e l s w h i c h u s e d 2 4 b i t s o f RGB c o l o r v a l u e s . We s e l e c t e d1 0 2 i d e n t i t i e s ( 6 1 m a l e s a n d 4 1 f e m a l e s ) , e a c h w i t h 2 6 i m a g e s ,f o r e x p e r i m e n t a t i o n . T h u s o u r r e a r r a n g e d AR d a t a b a s e ha s at o t a l o f 2 6 5 2 ( 1 0 2 x 2 6 ) i m a g e s ( F i g . 2 ) .A p a r t f r o m f a c i a l e x p r e s s i o n , i l l u m i n a t i o n , a n d o c c l u s i o n ,t h e BERC v i s u a l f a c e d a t a b a s e i m a g e w e r e c a p t u r e d u n d e rp o s e , p r e s e n c e / a b s e n c e o f g l a s s e s , w i n d , i n d o o r / o u t d o o rc o n d i t i o n s . T h e f a c e i m a g e d a t a s e t c o n s i s t s o f 9 7 i d e n t i t i e sw i t h 5 4 i m a g e s p e r i d e n t i t y ( 9 7 x 5 4 = 5 2 3 8 i m a g e s ) . E a c hf a c e i m a g e ha s 3 2 0 x 2 4 0 p i x e l s ( F i g . 3 ) .

M Mk..-M - . m


5/6

B . D a t a P r e p r o c e s s i n g a n d S e t u pAR F a c e D a t a b a s e : We p r e p r o c e s s e d t h e i m a g e s b ya l i g n i n g , s c a l i n g , a n d c r o p p i n g b a s e d o n e y e s c o o r d i n a t ep o s i t i o n s w h i c h w e r e m a n u a l l y f o u n d . T h e s e i m a g e s a r ec o n v e r t e d t o g r a y s c a l e i m ag es a nd n o r m a l i z e d w i t h h i s t o g r a me q u a l i z a t i o n a t z e r o m e a n a n d u n i t v a r i a n c e . T h e f i n a l i m a g e sw e r e 5 6 x 4 6 p i x e l s i n s i z e . I n o r d e r t o o b s e r v e t h ep e r f o r m a n c e a c c o r d i n g t o i n d i v i d u a l e x t e r n a l c o n d i t i o n s , wec a t e g o r i z e d t h e d a t a i n t o 3 g r o u p s n a m e l y , n o r m a l i m a g e s ,w e a r i n g s u n g l a s s e s i m a g e s , a n d w e a r i n g s c a r f i m a g e s .Group I : n o r m a l i m a g e s , w h e r e i m a g e s ( 1 - 7 ) a r e u s e d a st r a i n i n g s e t a n d i m a g e s ( 1 4 - 2 0 ) a r e u s e d a s t e s t s e t ( s e e F i g . 2 ) .Group I I : n o r m a l i m ag es a n d w e a r i n g s u n g l a s s e s i m a g e s ,w h e r e i m a g e s ( 1 - 1 0 ) a r e u s e d a s t r a i n i n g s e t a n d i m a g e s( 1 4 - 2 3 ) a r e u s e d a s t e s t s e t ( s e e F i g . 2 ) .Group I I I : n o r m a l i m a g e s , w e a r i n g s u n g l a s s e s , a n dw e a r i n g s c a r f , w h e r e i m a g e s ( 1 - 1 3 ) a r e u s e d a s t r a i n i n g s e ta n d i m a g e s ( 1 4 - 2 6 ) a r e u s e d a s t e s t s e t ( s e e F i g . 2 ) .F r o m t h e t r a i n i n g i m a g e s e t a n d t e s t i m a g e s e t , we c a ng e n e r a t e g e n u i n e - u s e r a n d i m p o s t e r u s e r g r o u p s f o rv e r i f i c a t i o n e x p e r i m e n t s . T h e g e n u i n e - u s e r g r o u p i sg e n e r a t e d b y i n t r a - m a t c h i n g ( c o m p a r e p r o j e c t e d c o e f f i c i e n t so f t w o i m a g e s f r o m t h e s a m e i d e n t i t y ) , a n d t h e i m p o s t e rg r o u p i s g e n e r a t e d b y i n t e r - m a t c h i n g ( c o m p a r e p r o j e c t e dc o e f f i c i e n t s o f t w o i m a g e s b e t w e e n d i f f e r e n t i d e n t i t i e s ) . F o rm a t c h i n g s c o r e c o m p u t a t i o n , t h e E u c l i d e a n d i s t a n c e( L 2 - n o r m ) i s u s e d t o c o m p a r e b et w ee n t w o f e a t u r e t e m p l a t e s .D i s t a n c e v a l u e s a r e n o r m a l i z e d w i t h i n t h e r a n g e [ 0 , 1 ] .BERC v i s u a l f a c e d a t a b a s e : H e r e , we p r e p r o c e s s e d t h ei m a g e s t h e s a m e m a n n e r s a s a b o v e . F i n a l l y , we o b t a i n t h eg r a y s c a l e 5 6 x 4 6 p i x e l s i m a g e s . E v e n t h o u g h BERC f a c ed a t a b a s e c a n b e c a t e g o r i z e d i n t o s e v e r a l c a s e s , i n t h i s p a p e r ,we c a t e g o r i z e t h e i m a g e s i n t o 2 g r o u p s w h i c h a r e a s s o c i a t e dw i t h t h e o c c l u s i o n c o n d i t i o n , a c c o r d i n g t o w e a r i n g g l a s s e sg r o u p a n d n o n - w e a r i n g g l a s s e s g r o u p .G r o u p I : w e a r i n g g l a s s e s i m a g e s a r e s e p a r a t e d f r o m t h o s en o n - w e a r i n g g l a s s e s , w h e r e 2 7 w e a r i n g g l a s s e s i m a g e s a r eu s e d a s t r a i n i n g s e t a n d 2 7 n o n - w e a r i n g g l a s s e s i m a g e s a r em i x e d a s t e s t s e t ( s e e F i g . 3 ) .G r o u p I I : a l l 5 4 i m a g e s a r e m i x e d t o g e t h e r a n d r a n d o m l ys e l e c t 2 7 i m a g e s a s t r a i n i n g s e t a n d 2 7 i m a g e s a s t e s t s e t ( s e eF i g . 3 ) .S i m i l a r t o t h e AR d a t a b a s e , t h e g e n u i n e - u s e r a n d i m p o s t e rs c o r e s a r e g e n e r a t e d .

C . P e r f o r m a n c e E v a l u a t i o nF o r a l l t h e f o l l o w i n g e x p e r i m e n t s , we u s e d p = 1 0 0 f e a t u r e sa s t h e o r i g i n a l i n p u t t e m p l a t e . T h e E E R s h a l l b e a d o p t e d a st h e m a i n p e r f o r m a n c e e v a l u a t i o n m e a s u r e i n a l l t h e f o r t hc o m i n g e x p e r i m e n t s . E a c h e x p e r i m e n t a d o p t e d 1 0 r u n s o f2 - f o l d c r o s s - v a l i d a t i o n . T h i s i s t o p r o v i d e s t a t i s t i c a l e v i d e n c e .U s i n g t h e a b o v e d a t a s e t , p e r f o r m a n c e c r i t e r i o n , a n de x p e r i m e n t a l c o n d u c t , we s h a l l e x p l o r e t h e f o l l o w i n g c a s es t u d i e s i n o u r e x p e r i m e n t s :C a s e ( i ) C o m p a r i n g v e r i f i c a t i o n p e r f o r m a n c e among

t o o b s e r v e t h e E E R p e r f o r m a n c e b e t w e e n e x i s t i n g t r a n s f o r mm e t h o d s ( P C A ) a n d t h e p r o p o s e d t r a n s f o r m a t i o n s ( R P ,MRPPCA, a n d M R P ) . T h i s i s t o s e t t l e t h e v a l i d i t y o f t h ep r o p o s e d t r a n s f o r m a t i o n s f o r b i o m e t r i c t e m p l a t e s .C a s e ( i i ) U s e o f u s e r - s p e c i f i c p r o j e c t i o n : S i n c e RP m a t r i xc a n b e g e n e r a t e d r e p e t i t i v e l y , we c a n s p e c i f y t h e RP m a t r i xf o r e a c h i d e n t i t y . We s h a l l p e r f o r m e x p e r i m e n t s t o o b s e r v et h e p er f o r m an ce o f t h i s p r o j e c t i o n a p p r o a c h .C a s e ( i i i ) S t o l e n p r o j e c t i o n m a t r i x s c e n a r i o : Whent o k e n s a r e s t o l e n , we a s s u m e t h a t a common RP m a t r i x w a su s e d . T o f u r t h e r e x p l o r e t h e e f f e c t o f a new RP m a t r i x f o r t h es a m e u s e r , we c o m p a r e t h e s c o r e d i s t r i b u t i o n s r e s u l t e d f r o mu s i n g u s e r - s p e c i f i c RP m a t r i c e s a n d t h a t u s i n g a c o m m o n l ys h a r e d RP m a t r i x .C a s e ( i v ) I m a g e r e c o n s t r u c t i o n : O u r t a s k h e r e i s t oa s c e r t a i n w h e t h e r t h e t r a n s f o r m e d i m a g e c a n p r o t e c t u s e r ' sp r i v a c y a n d t h e a u t h e n t i c a t i o n s y st em c a n k e e p s e c u r i t ya g a i n s t r e c o n s t r u c t i o n a t t a c k . I n t h i s e x p e r i m e n t , we p e r f o r mm a t c h i n g u s i n g t e m p l a t e f e a t u r e s e x t r a c t e d f r o mr e c o n s t r u c t e d q u e r y i m a g e s a n d u s i n g t h o s e o r i g i n a l l y

e n r o l l e d t e m p l a t e s . F o r g o o d p e r f o r m a n c e o f a c a n c e l a b l eb i o m e t r i c s y s t e m , t h e t e m p l a t e f r o m r e c o n s t r u c t e d i m a g es h o u l d n o t m a t c h w e l l w i t h t h o s e e n r o l l e d t e m p l a t e s .I n o u r e x p e r i m e n t s , we s e t y = 9 0 , T X = 0 . 3 5 , l = 0 . 0 5 7 , a n dl i m i t t h e i t e r a t i v e s t e p s t o 5 0 . y w a s s e t a v a l u e w h i c ha p p r o x i m a t e c l o s e l y t o s t e p f u n c t i o n . l w a s s e t a v a l u e w h i c h

u s e s a n a v e r a g i n g t h r e s h o l d v a l u e f r o m b e s t t r a i n i n g E E R o fo r i g i n a l t e m p l a t e s . r j w a s s e t a t a v a l u e f o r g o o d o b s e r v e dc o n v e r g e n c e d u r i n g t r a i n i n g .

D . R e s u l t sC a s e ( i ) C o m p a r i n g v e r i f i c a t i o n p e r f o r m a n c e amongv a ri o u s t r a ns f o r ma t i o ns : T a b l e I s h o w s t h e E E R r e s u l t s o f

e a c h d e s c r i b e d c a s e . F o r AR f a c e d a t a b a s e , G r o u p I s h o w sb e s t p e r f o r m a n c e a m o n g t h e t h r e e g r o u p s . T h i s i s b e c a u s eG r o u p I i m a g e s ha s l e s s o c c l u s i o n v a r i a t i o n s t h a n G r o u p I Ia n d G r o u p I I I i m a g e s . S i m i l a r o b s e r v a t i o n a l s o a p p l i e d t oG r o u p I I w r t G r o u p I I I . F o r BERC v i s u a l f a c e d a t a b a s e , t h ep e r f o r m a n c e o f G r o u p I a n d G r o u p I I a r e s i m i l a r . S i n c e G r o u pI a n d G r o u p I I i n c l u d e m i x t u r e o f i m a g e s f r o m many e x t e r n a lc o n d i t i o n s , w e a r i n g g l a s s e s a n d n o n - w e a r i n g g l a s s e s d o n o td o m i n a t e t h e p e r f o r m a n c e .G e n e r a l l y , RP p e r f o r m a n c e w a s r e p o r t e d t o b e a s g o o d a sPCA p e r f o r m a n c e i n h i g h d i m e n s i o n a l f e a t u r e s [ 1 0 ] .C o n g r u e n c e t o t h i s o b s e r v a t i o n , i n T a b l e I , s i n c e a d i m e n s i o no f p = 1 0 0 w a s a d o p t e d f o r t h e f e a t u r e t e m p l a t e , t h ep e r f o r m a n c e i s s e e n t o b e v e r y c l o s e t o t h a t o f P C A .F o r h i g h v a r i a t i o n o f e x t e r n a l c o n d i t i o n s , M R P i s e f f i c i e n ts i n c e i t u s e s m u l t i p l e l o c a l i n f o r m a t i o n o f i m a g e [ 1 9 ] . B o t hM R P a n d MRPPCA s h o w g o o d p e r f o r m a n c e i n T a b l e I ,e s p e c i a l l y o n BERC d a t a b a s e w h e r e t h e i m a g e s c o n t a i n ah i g h v a r i a t i o n o f e x t e r n a l c o n d i t i o n s .

I n T a b l e I I , we s h o w t h e p e r f o r m a n c e c o m p a r i s o n b e t w e e nt h a t u s i n g n o n - w e i g h t e d f e a t u r e s a n d t h a t u s i n g w e i g h t e df e a t u r e s f r o m a n e a r o p t i m a l m a t r i x o n G r o u p I d a t a o f ARf a c e d a t a b a s e . H e r e , we s e e t h a t t h e w e i g h t e d f e a t u r e s showv a ri o u s t r a ns f o r ma t i o ns : T h e f i r s t t a s k o f o u r e x p e r i m e n t s i s b e t t e r p e r f o r m a n c e t h a n n o n - w e i g h t e d f e a t u r e s .


6/6

TABLE IAR AND BERC DATA S E T S : AVERAGE 1 0 RuNS 2 - F O L D S T E S T E E R ( % / o )AR BERCGROUP I GROUP I I GROUP I I I GROUP I GROUP I IPCA 1 8 . 6 9 3 2 3 . 2 1 1 3 2 . 2 4 8 3 2 . 6 7 6 3 2 . 4 9 1RP 1 9 . 5 9 4 2 4 . 1 3 5 3 2 . 5 2 7 3 2 . 7 9 6 3 2 . 2 1 4

MRPPCA 2 0 . 2 9 9 2 5 . 3 9 9 3 3 . 7 5 5 2 7 . 5 9 8 3 1 . 5 6 7W R P 1 8 . 4 6 9 2 3 . 5 6 8 3 2 . 0 4 9 2 6 . 9 1 8 2 7 . 9 3 5TABLE I IWEIGHTED AND NON-WEIGHTED AVERAGE 1 ORuNs OF 2 - F O L D ST E S T E E R ( % / o )

S H A R E D RP O w N RPN ON-WE I GH TE D WE I GH TE D U S E R - S P E C RPPCA 1 8 . 6 9 3 1 8 . 9 7 5 -RP 1 9 . 5 9 4 1 9 . 4 2 1 3 . 6 4 6MRPPCA 2 0 . 2 9 9 1 8 . 7 8 1 8 . 0 1 8 3N M R P 1 8 . 4 6 9 1 8 . 4 4 7 1 3 . 1 7 2C a s e ( i i ) U s e o f u s e r - s p e c i f i c p r o j e c t i o n : T h ep e r f o r m a n c e o f u s e r - s p e c i f i c o r own RP m a t r i x c a s e s i s a l s oi n c l u d e d i n T a b l e I I . C o m p a r i n g t o t h a t o f s h a r e d R P , t h eu s e r - s p e c i f i c RP ( o w n R P ) s h o w s s i g n i f i c a n t p e r f o r m a n c ee n h a n c e m e n t .C a s e ( i i i ) S t o l e n p r o j e c t i o n m a t r i x s c e n a r i o : T h e r e s u l t so f s t o l e n p r o j e c t i o n m a t r i x o r s h a r e d RP f r o m T a b l e I I s h o wd e g r a d a t i o n o f p e r f o r m a n c e a s c o m p a r e d t o t h o s e f r o m t h eu s e r - s p e c i f i c RP c a s e . H o w e v e r , c o m p a r i n g t o PCA i n T a b l e I ,t h e d e g r a d a t i o n a p p e a r s n o t s e r i o u s .C a s e ( i v ) I m a g e r e c o n s t r u c t i o n : T a b l e I I I s h o w s t h a t t h er e c o n s t r u c t e d i m a g e s f r o m s i n g l e p r o j e c t i o n ( P C A , s h a r e d R P ,a n d own R P ) h a v e e x a c t l y t h e s a m e v e r i f i c a t i o n E E Rp e r f o r m a n c e w i t h t h a t b a s e d o n t h e o r i g i n a l t e m p l a t e .H o w e v e r , t h e r e c o n s t r u c t e d i m a g e s f r o m m u l t i p l e p r o j e c t i o n s( s h a r e d MRPPCA, s h a r e d M R P , own MRPPCA a n d ownMRP) s h o w m u c h d e t e r i o r a t e d v e r i f i c a t i o n p e r f o r m a n c e t h a n

t h a t b a s e d o n t h e o r i g i n a l t e m p l a t e . T h i s m e a n s g o o d c h a n c e sa r e t h a t a r e c o n s t r u c t e d i m a g e c a n n o t b e a c c e p t e d a s ag e n u i n e - u s e r .V . C O N C L U S I O N

We p r o p o s e d a m e t h o d t o e n h a n c e t h e c a n c e l a b l e f a c eb i o m e t r i c t e m p l a t e s i n t h i s p a p e r . T h e m e t h o d i n c l u d e s t w oe x t e n d e d Random P r o j e c t i o n m e a n s a t f e a t u r e l e v e l , a n d af o r m u l a t i o n t o m i n i m i z e t h e t o t a l e r r o r r a t e s ( T E R ) a tv e r i f i c a t i o n l e v e l . B a s e d o n t h e p r o p o s ed m et h o d , t h e f a c eb i o m e t r i c t e m p l a t e c a n b e t r a n s f o r m e d t o c o n c e a l t h e f a c et e m p l a t e a s w e l l a s t o b o o s t t h e v e r i f i c a t i o n p e r f o r m a n c e . O u re m p i r i c a l r e s u l t s s h o w e f f e c t i v e n e s s o f t h e m e t h o d .ACKNOWLEDGMENT

T h i s w o r k w a s s u p p o r t e d b y t h e K o r e a S c i e n c e a n dE n g i n e e r i n g F o u n d a t i o n ( K O S E F ) t h r o u g h t h e B i o m e t r i c sE n g i n e e r i n g R e s e a r c h C e n t e r ( B E R C ) a t Y o n s e i U n i v e r s i t y .

TABLE I I IO R I G I N A L AND RECONSTRUCTED IMAGE T E S T E E R ( % / o )O R I G I N A L IMAGE RECONSTRUCTED IMAGEPCA 1 6 . 4 1 7 1 6 . 4 1 7SHARED RP 1 5 . 7 2 4 1 5 . 7 2 4O w N R P 1 0 . 9 1 5 1 0 . 9 1 5SHARED MRPPCA 1 6 . 1 1 4 5 9 . 6 0 8SHARED MRP 1 5 . 1 7 5 2 3 . 2 9O w N MRPPCA 9 . 4 9 5 4 2 1 . 0 7 4O WN MRP 9 . 9 7 2 7 3 7 . 1 4 6

[ 2 ] N . K . R a t h a , J . H . C o n n e l l , a n d R . M . B o l l e , " E n h a n c i n g s e c u r i t y a n dp r i v a c y i n b i o m e t r i c s - b a s e d a u t h e n t i c a t i o n s y s t e m s " , I BM S y s t e m sJ o u r n a l , v o l . 4 0 , n o . 3 , p p . 6 1 4 - 6 3 4 , 2 0 0 1 .[ 3 ] A . B . J . T e o h , D . C . L . N g o , a n d A . G o h , " B i o H as hi ng : t w o f a c t o ra u t h e n t i c a t i o n f e a t u r i n g f i n g e r p r i n t d a t a a n d t o k e n i s e d r a n d o mn u m b e r " , P a t t e r n R e c o g n i t i o n , v o l . 3 7 , p p . 2 2 4 5 - 2 2 5 5 , N o v e m b e r ,2 0 0 4 .[ 4 ] A . B . J . T e o h , a n d D . C . L . N g o , " C a n c e l l a b l e b i o m e t r i c s f e a t u r i n g w i t ht o k e n i z e d r a n d o m n u m b e r " , P a t t e r n R e c o g n i t i o n L e t t e r , v o l . 2 6 , n o . 1 0 ,p p . 1 4 5 4 - 1 4 6 0 , 2 0 0 5 .[ 5 ] A d a m s . K o n g , K i n g - H o n g C h e u n g , D a v i d Z h a n g , Mohamed K a m e l ,J a n e Y o u , "An a n a l y s i s o f B i o H a s h i n g a n d i t s v a r i a n t s . " , P a t t e r nR e c o g n i t i o n , v o l . 3 9 , n o . 7 , p p . 1 1 3 5 9 - 1 3 6 8 , J u l y 2 0 0 6 .[ 6 ] A . K . J a i n , A . R o s s , a n d S . P r a b h a k a r , "An i n t r o d u c t i o n t o b i o m e t r i cr e c o g n i t i o n " , IEEE T r a n s . C i r c u i t s S y s t . V i d e o T e c h o l . v o l . 1 4 n o . 1 , p p .4 - 2 0 , 2 0 0 4[ 7 ] R . 0 . D u d a , P . E . H a r t , a n d D . G . S t o r k , P a t t e r n C l a s s i f i c a t i o n , 2 n d e d .Ne w Y o r k : J o h n W i l e y & S o n s , I n c , 2 0 0 1 .[ 8 ] M . A . T u r k a n d A . P . P e n t l a n d , " E i g e n f a c e s f o r r e c o g n i t i o n , " J o u r n a l o fc o g n i t i v e N e u r o s c i e n c e , v o l . 3 , n o . 1 , p p . 7 1 - 8 6 , 1 9 9 1 .[ 9 ] W. Z h a o , R . C h e l l a p p a , P . J . P h i l l i p s , a n d R o s e n f e l d . " F a c eR e c o g n i t i o n : A L i t e r a t u r e S u r v e y , " ACM C o m p u t i n g S u r v e y s ( C S U R ) .v o l . 3 5 , n o . 4 , p p . 3 9 9 - 4 5 8 , D ec , 2 0 0 3 .[ 1 0 ] N . G o e l , G . B e b i s a n d A . V . N e f i a n , " F a c e r e c o g n i t i o n e x p e r i m e n t sw i t h r a n d o m p r o j e c t i o n s , " S P I E C o n f e r e n c e o n B i o m e t r i c T e c h n o l o g yf o r Human I d e n t i f i c a t i o n , 2 0 0 5 .[ 1 1 ] W . B . J o hn so n a nd J . L i n d e n s t r a u s s , " E x t e n s i o n o f L i p s h c i t z M a p p i n gi n t o a H i l b e r t S p a c e , " P r o c e e d i n g s o f c o n f e r e n c e o n M o d e r n A n a l y s i sa n d P r o b a b i l i t y , p p . 1 8 9 - 2 0 6 , 1 9 8 4 .[ 1 2 ] D . M a t o n i , D . M a i o , A . K . J a i n , a n d S . P r a b h a k a r , " H a n d b o o k o fF i n g e r p r i n t R e c o g n i t i o n , " Ne w Y o r k : S p r i n g e r , 2 0 0 3 .[ 1 3 ] A . B . J . T e o h , A . G o h , D . C . L . N g o , " R a n d o m M u l t i s p a c e Q u a n t i z a t i o na s a n A n a l y t i c M e c h a n i s m f o r B i o H a s h i n g o f B i o m e t r i c a n d RandomI d e n t i t y I n p u t s , " IEEE T r a n s . P a t t e r n A n a l . M a c h . I n t e l l . v o l . 2 8 , n o . 1 2 ,p p . 1 8 9 2 - 1 9 0 1 , D e c 2 0 0 6 .[ 1 4 ] K . - A . T o h , " L e a r n i n g f r o m T a r g e t K n o w l e d g e A p p r o x i m a t i o n " ,P r o c e e d i n g s o f t h e F i r s t IEEE C o n f e r e n c e o n I n d u s t r i a l E l e c t r o n i c s a n dA p p l i c a t i o n s ( I C I E A ) p p . 8 1 5 - 8 2 2 , 2 0 0 6 .[ 1 5 ] K . - A . T o h , " P e r f o r m a n c e B a s e d R e v o c a b l e B i o m e t r i c s " , P r o c e e d i n g so f t h e S e c o n d IEEE C o n f e r e n c e o n I n d u s t r i a l E l e c t r o n i c s a n dA p p l i c a t i o n s ( I C I E A ) p p . 6 4 7 - 6 5 2 , 2 0 0 7 .[ 1 6 ] K . - A . T o h , " T r a i n i n g a R e c i p r o c a l - S i g m o i d C l a s s i f i e r b y F e a t u r eS c a l i n g - S p a c e " , M a c h i n e L e a r n i n g , v o l . 6 5 , n o . 1 , p p . 2 7 3 - 3 0 8 .O c t o b e r 2 0 0 6 .[ 1 7 ] A . M . M a r t i n e z a n d R . B e n a v e n t e . T h e AR F a c e D a t a b a s e . CVCT e c h n i c a l R e p o r t # 2 4 , J u n e 1 9 9 8 .[ 1 8 ] S . - K . K i m , H . L e e , S . Y u , an d S . L e e , " R o b u s t F a c e R e c o g n i t i o n b yF us io n o f V i s u a l a n d I n f r a r e d C u e s , " T h e F i r s t IEEE C o n f e r e n c e o n

I n d u s t r i a l E l e c t r o n i c s a n d A p p l i c a t i o n s ( I C I E A ) , p p . 8 0 3 - 8 0 8 , 2 0 0 6 .[ 1 9 ] P . P e n e v y a n d J . A t i c k , " L o c a l F e a t u r e A n a l y s i s : A g e n e r a l s t a t i s t i c a lt h e o r y f o r o b j e c t r e p r e s e n t a t i o n , " N e t w o r k : C o m p u t a t i o n I n N e u r a lS y s t e m s , v o l . 7 , N o . 3 , p p . 4 7 7 - 5 0 0 , 1 9 9 6 .

R E F E R E N C E S[ 1 ] A . K . J a i n , A . R o s s , a n d S . P a n k a n t i , " B i o m e t r i c : A t o o l f o r i n f o r m a t i o ns e c u r i t y " , IEEE T r a n s . I n f o r m a t i o n f o r e n s i c s a n d S e c u r i t y . v o l . 1 , n o . 2 ,p p . 1 2 5 - 1 4 3 , J u n e 2 0 0 6 .

a method to enhance face biometric security

Documents