2005 - two-dimensional weighted pca algorithm for face recognition - vo dinh minh nhat - in roi

8/13/2019 2005 - Two-Dimensional Weighted PCA Algorithm for Face Recognition - VO DINH MINH NHAT - In ROI

1/5

P r o c e e d i n g s 2 0 0 5 I E E E I n t e r n a t i o n a l S y m p o s i u m o nC o m p u t a t i o n a l I n t e l l i g e n c e i n R o b o t i c s a n d A u t o m a t i o nJ u n e 2 7 - 3 0 , 2 0 0 5 , E s p o o , F i n l a n d

T w o - d i m e n s i o n a l W e i g h t e d PCA a l g o r i t h m f o r F a c eR e c o g n i t i o nVo D i n h M i n h N h a tD e p t . o f C o m p u t e r E n g i n e e r i n gK y u n g H e e U n i v e r s i t yG i h e u n g - E u p , Y o n g i n - S i , G y e o n g g i - D o , 4 4 9 - 7 0 1 , K o r e av d m n h a t @ o s l a b . k h u . a c . k r

A b s t r a c t - P r i n c i p l e C o m p o n e n t A n a l y s i s ( P C A ) t e c h n i q u ei s a n i m p o r t a n t a n d w e l l - d e v e l o p e d a r e a o f i m a g e r e c o g n i t i o na n d t o d a t e many l i n e a r d i s c r i m i n a t i o n m e t h o d s h a v e b e e n p u tf o r w a r d . B a s i c a l l y , i n PCA t h e i m a g e a l w a y s n e e d s t o b et r a n s f o r m e d i n t o ID v e c t o r , h o w e v e r r e c e n t l y t w o - d i m e n s i o n a lPCA ( 2 D P C A ) t e c h n i q u e h a v e b e e n p r o p o s e d . I n 2 D P C A , PCAt e c h n i q u e i s a p p l i e d d i r e c t l y o n t h e o r i g i n a l i m a g e s w i t h o u tt r a n s f o r m i n g i n t o 1 D v e c t o r . I n t h i s p a p e r , we p r o p o s e a new2 D P C A - b a s e d m e t h o d t h a t c a n i m p r o v e t h e p e r f o r m a n c e o ft h e 2DPCA a p p r o a c h . I n f a c e r e c o g n i t i o n w h e r e t h e t r a i n i n gd a t a a r e l a b e l e d , a p r o j e c t i o n i s o f t e n r e q u i r e d t o e m p h a s i z et h e d i s c r i m i n a t i o n b e t w e e n t h e c l u s t e r s . B o t h PCA a n d 2DPCAmay f a i l t o a c c o m p l i s h t h i s , n o m a t t e r how e a s y t h e t a s k i s , a st h e y a r e u n s u p e r v i s e d t e c h n i q u e s . T h e d i r e c t i o n s t h a tm a x i m i z e t h e s c a t t e r o f t h e d a t a m i g h t n o t b e a s a d e q u a t e t od i s c r i m i n a t e b e t w e e n c l u s t e r s . S o we p r o p o s e d a new 2DPCA-b a s e d s c h e m e w h i c h c a n s t r a i g h t f o r w a r d l y t a k e i n t oc o n s i d e r a t i o n d a t a l a b e l i n g , a n d m a k e s t h e p e r f o r m a n c e o fr e c o g n i t i o n s y s t e m b e t t e r . E x p e r i m e n t r e s u l t s s h o w o u rm e t h o d a c h i e v e s b e t t e r p e r f o r m a n c e i n c o m p a r i s o n w i t h t h e2DPCA a p p r o a c h w i t h t h e c o m p l e x i t y n e a r l y a s s a m e a s t h a t o f2DPCA m e t h o d .

I n d e x T e r m s - P r i n c i p l e c o m p o n e n t a n a l y s i s ( P C A ) , T w o -d i m e n s i o n a l PCA ( 2 D P C A ) , T w o - d i m e n s i o n a l W e i g h t e d P C A ,f a c e r e c o g n i t i o n .I . I N T R O D U C T I O N

P r i n c i p a l c o m p o n e n t a n a l y s i s ( P C A ) , a l s o k n o w n a sK a r h u n e n - L o e v e e x p a n s i o n , i s a c l a s s i c a l f e a t u r e e x t r a c t i o na n d d a t a r e p r e s e n t a t i o n t e c h n i q u e w i d e l y u s e d i n t h e a r e a so f p a t t e r n r e c o g n i t i o n a n d c o m p u t e r v i s i o n . S i r o v i c h a n dK i r b y [ 1 ] , [ 2 ] f i r s t u s e d PCA t o e f f i c i e n t l y r e p r e s e n t p i c t u r e so f h u m a n f a c e s . T h e y a r g u e d t h a t a n y f a c e i m a g e c o u l d b er e c o n s t r u c t e d a p p r o x i m a t e l y a s a w e i g h t e d s u m o f a s m a l lc o l l e c t i o n o f i m a g e s t h a t d e f i n e a f a c i a l b a s i s ( e i g e n i m a g e s ) ,a n d a m e a n i m a g e o f t h e f a c e . W i t h i n t h i s c o n t e x t , T u r k a n dP e n t l a n d [ 3 ] p r e s e n t e d t h e w e l l - k n o w n E i g e n f a c e s m e t h o df o r f a c e r e c o g n i t i o n i n 1 9 9 1 . S i n c e t h e n , PCA h a s b e e nw i d e l y i n v e s t i g a t e d a n d h a s b e c o m e o n e o f t h e m o s ts u c c e s s f u l a p p r o a c h e s i n f a c e r e c o g n i t i o n [ 4 ] , [ 5 ] , [ 6 ] , [ 7 ] .P e n e v a n d S i r o v i c h [ 8 ] d i s c u s s e d t h e p r o b l e m o f t h ed i m e n s i o n a l i t y o f t h e f a c e s p a c e w h e n e i g e n f a c e s a r e u s e df o r r e p r e s e n t a t i o n . Z h a o a n d Y a n g [ 9 ] t r i e d t o a c c o u n t f o rt h e a r b i t r a r y e f f e c t s o f i l l u m i n a t i o n i n P C A - b a s e d v i s i o nT h i s r e s e a r c h wa s s u p p o r t e d b y t h e M I C ( M i n i s t r y o f I n f o r m a t i o n a n dC o m m u n i c a t i o n ) , K o r e a , u n d e r t h e I T R C ( l n f o r m a t i o n T e c h n o l o g y R e s e a r c hC e n t e r ) s u p p o r t p r o g r a m s u p e r v i s e d b y t h e I I T A ( I n s t i t u t e o f I n f o r m a t i o nT e c h n o l o g y A s s e s s m e n t )C o r r e s p o n d i n g A u t h o r s : Vo D i n h M i n h N h a t ( v o . d i n h m i n h n h a t @ y a h o o . c o m ) ,a n d S u n g Y o u n g L e e ( s y l e e W o s I a b . k h u . a c . k r )

S u n g Y o u n g L e eD e p t . o f C o m p u t e r E n g i n e e r i n gK y u n g Hee U n i v e r s i t yG i h e u n g - E u p , Y o n g i n - S i , G y e o n g g i - D o , 4 4 9 - 7 0 1 , K o r e as y l e e @ o s l a b . k h u . a c . k rs y s t e m s b y g e n e r a t i n g a n a n a l y t i c a l l y c l o s e d f o r m f o r m u l a o ft h e c o v a r i a n c e m a t r i x f o r t h e c a s e w i t h a s p e c i a l l i g h t i n gc o n d i t i o n a n d t h e n g e n e r a l i z i n g t o a n a r b i t r a r y i l l u m i n a t i o nv i a a n i l l u m i n a t i o n e q u a t i o n . H o w e v e r , W i s k o t t e t a l . [ 1 0 ]p o i n t e d o u t t h a t PCA c o u l d n o t c a p t u r e e v e n t h e s i m p l e s ti n v a r i a n c e u n l e s s t h i s i n f o r m a t i o n i s e x p l i c i t l y p r o v i d e d i nt h e t r a i n i n g d a t a . T h e y p r o p o s e d a t e c h n i q u e k n o w n a se l a s t i c b u n c h g r a p h m a t c h i n g t o o v e r c o m e t h e w e a k n e s s e so f P C A .R e c e n t l y , t w o P C A - r e l a t e d m e t h o d s , i n d e p e n d e n tc o m p o n e n t a n a l y s i s ( I C A ) a n d k e r n e l p r i n c i p a l c o m p o n e n ta n a l y s i s ( K e r n e l P C A ) h a v e b e e n o f w i d e c o n c e m . B a r t l e t te t a l . [ 1 1 ] a n d D r a p e r e t a l . [ 1 2 ] p r o p o s e d u s i n g I C A f o rf a c e r e p r e s e n t a t i o n a n d f o u n d t h a t i t w a s b e t t e r t h a n PCAw h e n c o s i n e s w e r e u s e d a s t h e s i m i l a r i t y m e a s u r e ( h o w e v e r ,t h e i r p e r f o r m a n c e w a s n o t s i g n i f i c a n t l y d i f f e r e n t i f t h eE u c l i d e a n d i s t a n c e i s u s e d ) . Y a n g [ 1 4 ] u s e d K e r n e l PCA f o rf a c e f e a t u r e e x t r a c t i o n a n d r e c o g n i t i o n a n d s h o w e d t h a t t h eK e r n e l E i g e n f a c e s m e t h o d o u t p e r f o r m s t h e c l a s s i c a lE i g e n f a c e s m e t h o d . H o w e v e r , I C A a n d K e r n e l PCA a r eb o t h c o m p u t a t i o n a l l y m o r e e x p e n s i v e t h a n P C A . T h ee x p e r i m e n t a l r e s u l t s i n [ 1 4 ] s h o w e d t h e r a t i o o f t h ec o m p u t a t i o n t i m e r e q u i r e d b y I C A , K e r n e l P C A , a n d PCAi s , o n a v e r a g e , 8 . 7 : 3 . 2 : 1 . 0 .I n a l l p r e v i o u s P C A - b a s e d f a c e r e c o g n i t i o n t e c h n i q u e ,t h e 2D f a c e i m a g e m a t r i c e s m u s t b e p r e v i o u s l y t r a n s f o r m e di n t o 1 D i m a g e v e c t o r s . T h e r e s u l t i n g i m a g e v e c t o r s o f f a c e su s u a l l y l e a d t o a h i g h d i m e n s i o n a l i m a g e v e c t o r s p a c e ,w h e r e i t i s d i f f i c u l t t o e v a l u a t e t h e c o v a r i a n c e m a t r i xa c c u r a t e l y d u e t o i t s l a r g e s i z e a n d t h e r e l a t i v e l y s m a l ln u m b e r o f t r a i n i n g s a m p l e s . F o r t u n a t e l y , t h e e i g e n v e c t o r sc a n b e c a l c u l a t e d e f f i c i e n t l y u s i n g t h e SVD t e c h n i q u e s a n dt h e p r o c e s s o f g e n e r a t i n g t h e c o v a r i a n c e m a t r i x i s a c t u a l l ya v o i d e d . H o w e v e r , t h i s d o e s n o t i m p l y t h a t t h e e i g e n v e c t o r sc a n b e e v a l u a t e d a c c u r a t e l y i n t h i s w a y s i n c e t h ee i g e n v e c t o r s a r e s t a t i s t i c a l l y d e t e r m i n e d b y t h e c o v a r i a n c em a t r i x , n o m a t t e r w h a t m e t h o d i s a d o p t e d f o r o b t a i n i n gt h e m . S o r e c e n t l y i n [ 1 6 ] , a n e w PCA a p p r o a c h c a l l e d2 D P C A , i s d e v e l o p e d f o r i m a g e f e a t u r e e x t r a c t i o n . A so p p o s e d t o c o n v e n t i o n a l P C A , 2DPCA i s b a s e d o n 2Dm a t r i c e s r a t h e r t h a n 1 D v e c t o r s . T h a t i s , t h e i m a g e m a t r i xd o e s n o t n e e d t o b e t r a n s f o r m e d i n t o v e c t o r . I n s t e a d , a ni m a g e c o v a r i a n c e m a t r i x c a n b e c o n s t r u c t e d d i r e c t l y u s i n go r i g i n a l i m a g e m a t r i c e s . I n c o n t r a s t t o t h e c o v a r i a n c e m a t r i xo f P C A , t h e s i z e o f t h e i m a g e c o v a r i a n c e m a t r i x u s i n g2DPCA i s m u c h s m a l l e r . A s a r e s u l t , 2DPCA h a s t w oi m p o r t a n t a d v a n t a g e s o v e r P C A . F i r s t , i t i s e a s i e r t oe v a l u a t e t h e c o v a r i a n c e m a t r i x a c c u r a t e l y . S e c o n d , l e s s t i m ei s r e q u i r e d t o d e t e r m i n e t h e c o r r e s p o n d i n g e i g e n v e c t o r s .

0 - 7 8 0 3 - 9 3 5 5 - 4 / 0 5 / 2 0 . 0 0 2 0 0 5 I E E E . 2 1 9


2/5

H o w e v e r , i n f a c e r e c o g n i t i o n w h e r e t h e d a t a a r el a b e l e d . a p r o j e c t i o n i s o f t e n r e q u i r e d t o e m p h a s i z e t h ed i s c r i m i n a t i o n b e t w e e n t h e c l u s t e r s . B o t h PCA a n d 2DPCAm a y f a i l t o a c c o m p l i s h t h i s , n o m a t t e r h o w e a s y t h e t a s k i s ,a s t h e y a r e u n s u p e r v i s e d t e c h n i q u e s . T h e d i r e c t i o n s t h a tm a x i m i z e t h e s c a t t e r o f t h e d a t a m i g h t n o t b e a s a d e q u a t e t od i s c r i m i n a t e b e t w e e n c l u s t e r s . I n t h i s p a p e r , o u r p r o p o s e da p p r o a c h c a n s t r a i g h t f o r w a r d l y t a k e i n t o c o n s i d e r a t i o n d a t al a b e l i n g , w h i c h m a k e s t h e p e r f o r m a n c e o f r e c o g n i t i o ns y s t e m b e t t e r . T h e r e m a i n d e r o f t h i s p a p e r i s o r g a n i z e d a sf o l l o w s : I n S e c t i o n 2 , t h e 2DPCA m e t h o d i s r e v i e w e d . T h ei d e a o f t h e p r o p o s e d m e t h o d a n d i t s a l g o r i t h m a r e d e s c r i b e di n S e c t i o n 3 . I n S e c t i o n 4 , e x p e r i m e n t a l r e s u l t s a r e p r e s e n t e do n t h e ORL a nd Y a l e f a c e d a t a b a s e s t o d e m o n s t r a t e t h ee f f e c t i v e n e s s o f o u r m e t h o d . F i n a l l y , c o n c l u s i o n s a r ep r e s e n t e d i n S e c t i o n 5 .

I I . T W O - D I M E N S I O N A L PCAI n t h i s s e c t i o n , we r e v i e w t h e b a s i c n o t i o n s , e s s e n t i a lm a t h e m a t i c a l b a c k g r o u n d a n d a l g o r i t h m o f 2DPCAa p p r o a c h t h a t i s n e e d e d f o r s u b s e q u e n t d e r i v a t i o n s i n n e x t

s e c t i o n s .T h e o r e m 1 . L e t A b e a n n x n s y m m e t r i c m a t r i x .D e n o t e d b y i> - .> i t s s o r t e d e i g e n v a l u e s . a n d b y

w t h e c o r r e s p o n d i n g e i g e n v e c t o r s . T h e nW I . w n ( m < n ) a r e t h e m a x i m i z e r o f t h e c o n s t r a i n e dm a x i m i z a t i o n p r o b l e m m a x t r ( W T A W) s u b j e c t t oW TW = I .F o r t h e p r o o f , we c a n r e f e r e n c e [ 1 8 ] .I n 2DPCA a p p r o a c h , t h e i m a g e m a t r i x d o e s n o t n e e d t ob e p r e v i o u s l y t r a n s f o r m e d i n t o a v e c t o r , s o a s e t o f N s a m p l ei m a g e s i s r e p r e s e n t e d a s { X 1 , X . - . . . , XN} w i t hX i E I R i a T h e t o t a l s c a t t e r m a t r i x i s d e f i n e d a s

NG T =E , ( X i - _ P X ) ( X i -_ P X ) T (Z-1~~~~~~~~~~~11li

w i t h p x XI e = - R k i s t h e m e a n i m a g e o f a l lNs a m p l e s . G T E l t R c k i s a l s o c a l l e d i m a g e c o v a r i a n c e( s c a t t e r ) m a t r i x .A l i n e a r t r a n s f o r m a t i o n m a p p i n g t h e o r i g i n a l k x si m a g e s p a c e i n t o a n mxs f e a t u r e s p a c e , w h e r e m < k . T h en e w f e a t u r e m a t r i c e s YE n R . ' a r e d e f i n e d b y t h ef o l l o w i n g l i n e a r t r a n s f o r m a t i o n :y i = w T ( X l ,- ) E 1 R 1 1 E Y S ( 2 )w h e r e i = 1 2 , . . . NN a n d WE R ' t x 7 i s a m a t r i x w i t ho r t h o n o r m a l c o l u m n s . I n 2DPCA, t h e p r o j e c t i o n W i sc h o s e n t o m a x i m i z e t r ( W T G T W ) . B y T h e o r e m 1 , weh a v e W , P = [ w 1 w 2 . . . w I 1 w i t h { w 1 i = 1 , 2. 2 . , m } i s t h e

s e t o f n - d i m e n s i o n a l e i g e n v e c t o r s o f G . c o r r e s p o n d i n g t ot h e m l a r g e s t e i g e n v a l u e s .A f t e r a t r a n s f o r m a t i o n b y 2 D P C A , a f e a t u r e m a t r i x i so b t a i n e d f o r e a c h i m a g e . T h e n , a n e a r e s t n e i g h b o r c l a s s i f i e ri s u s e d f o r c l a s s i f i c a t i o n . H e r e , t h e d i s t a n c e b e t w e e n t w oa r b i t r a r y f e a t u r e m a t r i c e s } a n d Y , i s d e f i n e d b y u s i n gE u c l i d e a n d i s t a n c e a s f o l l o w s :

d t ,Z ) = >E, ( y i ( u , v ) 1 ( U , V ) ) 2( ~ ~ ~ ,Y1 { =1 = 1 3 )G i v e n a t e s t s a m p l e , i f d ( } Y , Y ) = m i n d ( Y , , } ) , t h e nt h e r e s u l t i n g d e c i s i o n i s Y , b e l o n g s t o t h e s a m e c l a s s a s Y f

I l l . T W O - D I M E N T I O N A L WEIGHTED PCAI n t h e f o l l o w i n g p a r t , w e p r e s e n t o u r p r o p o s e d m e t h o d .F i r s t l y w e w i l l t a k e a l o o k a t s o m e n e c e s s a r y b a c k g r o u n d .L e t A , B E R 7 , t h e n A , 1 a n d A , , a r e i t c o l u m n v e c t o ra n d } t h r o w v e c t o r o f m a t r i x A . T h e E u c l i d e a n d i s t a n c e

b e t w e e n A a n d B i s d e f i n e d a s f o l l o w s :J 7 1 nd ( A , B ) 2 = E ( A i , B) 2i 1 = j = l ( 4 )

T h e L a p l a c i a n i s a k e y e n t i t y f o r d e s c r i b i n g p a i r w i s er e l a t i o n s h i p s b e t w e e n d a t a e l e m e n t s . T h i s i s a s y m m e t r i cp o s i t i v e - s e m i d e f i n i t e m a t r i x , c h a r a c t e r i z e d b y h a v i n g z e r or o w a n d c o l u m n s u m s .L e m m a 1 . L e t L b e a n n x n L a p l a c i a n , a n d l e tB e i m x T h e n we h a v e t h e f o l l o w i n g e q u a t i o n :t r ( B L B - ) = - L u d ( B i , B l f )kj

P r o o f ; L e t z - [ z 1 z 2 . z n J] T E i R t h e n we h a v eL z = E L i , z + 2 Z L i z z j I

- _ ( Z 2 + Z - 2 L + 2 Z L j z ; zi < j i < -=Z-Lz z - Z i ) 2i < i

B y a p p l y i n g ( 5 ) we h a v eI nt r ( B L B T ) = E B I k L B , Tk = l

= 1 : Y - L I ,( B k i - B k j ) 2i < j k = 1= E - L j j d ( B ^ I . , B c . ) i < jP r o o f i s d o n e .

( 5 )

( 6 )

( 7 )

2 2 0


3/5

Lemma 2 . We d e f i n e a NxN u n i t L a p l a c i a n , d e n o t e db y L U , a s L U =N - 1 , w i t h 8 . . i s t h e K r o n e c k e r d e l t a0 Y( d e f i n e d a s 1 f o r i =j a n d a s 0 o t h e r w i s e ) , a n dA E RnN w i t h z e r o m e a n c o l u m n ( i . e . s u m o f a l l c o l u m nv e c t o r s i s a z e r o v e c t o r ) . W e h a v eALA T = A ( N I N - U ) A T = N S T - A U A T = N S T ( 8 )w i t h I N i s i d e n t i t y m a t r i x a n d U i s a m a t r i x o f a l l o n e s .

T h e l a s t e q u a l i t y i s d u e t o t h e f a c t t h a t t h e c o o r d i n a t e s a r ec e n t e r e d . P r o o f i s c l e a r .L e t d e f i n e A i a s f o l l o w s :A , = [ ( ( X ) c , - ( p x ) c t ) . . . ( ( X N ) C -( - u x ) ) ] E R k Na n d B i b e a m a t r i x w h i c h i s f o r m e d b y a l l t h e c o l u m n i t ho f e a c h m a t r i x Y

( 9 )T h e i m a g e s c a t t e r m a t r i x G T c o u l d b e r e - w r i t t e n a sf o l l o w :

NG T = E ( X i _ A X ) ( X i _X) Ti = l 1N S= E [ i )j - X)j ] [ ( X i ) c j - X)j ] T (i = 1 j = is

=N o w , we s h o w t h a t 2DPCA a l s o f i n d s t h e p r o j e c t i o nt h a t m a x i m i z e s t h e s u m o f a l l s q u a r e d p a i r - w i s e d i s t a n c e sb e t w e e n t h e p r o j e c t e d d a t a .T h e o r e m 2 . 2DPCA c o m p u t e s t h e m - d i m e n s i o n a lp r o j e c t t h a t m a x i m i z e s1 : d ( Y , Y j ) 2i < jP r o o f i B y Lemma 1 , we g e tt r ( W T G T W ) = - t r ( Z W T A . L U A W )N i = 1

I s= - t r ( I B 1 L U B T )1 s

= lE Ed ( ( Y ) < l 9 Y i ) c l )

( 1 1 )

( 1 2 )

1 < 2E d ( Y i , ' Y j )P r o o f i s d o n e .F o r m u l a t i n g 2DPCA a s i n ( I l ) i m p l i e s as t r a i g h t f o r w a r d g e n e r a l i z a t i o n - s i m p l y r e p l a c e t h e u n i t

L a p l a c i a n w i t h a g e n e r a l o n e i n t h e t a r g e t f u n c t i o n . I n t h en o t a t i o n o f T h e o r e m 2 , t h i s m e a n s t h a t t h e m - d i m e n s i o n a lp r o j e c t i o n w i l l m a x i m i z e a w e i g h t e d s u m o f s q u a r e dd i s t a n c e s , i n s t e a d o f a n u n w e i g h t e d s u m . H e n c e , i t w o u l d b en a t u r a l t o c a l l s u c h a p r o j e c t i o n m e t h o d b y t h e n a m e 2DW e i g h t e d PCA ( 2 D W P C A ) .L e t u s f o r m a l i z e t h i s i d e a . L e t b e { w t U } I N s y m m e t r i cn o n n e g a t i v e p a i r - w i s e w e i g h t s , w i t h m e a s u r i n g h o wi m p o r t a n t i t i s f o r u s t o p l a c e t h e d a t a e l e m e n t s i a n d jf u r t h e r a p a r t i n t h e l o w d i m e n s i o n a l s p a c e . B y c o n v e n t i o n ,w t i j = 0 f o r i = j . F o r t h i s r e a s o n , t h e s e w e i g h t s w i l l b ec a l l e d d i s s i m i l a r i t i e s i n t h e c o n t e x t o f w e i g h t e d P C A .N o r m a l l y , t h e y a r e e i t h e r s u p p l i e d f r o m a n e x t e r n a l s o u r c e ,o r c a l c u l a t e d f r o m t h e d a t a c o o r d i n a t e s , i n o r d e r t o r e f l e c ta n y d e s i r e d r e l a t i o n s h i p s b e t w e e n t h e d a t a e l e m e n t s .

{ w t J i jL e t d e f i n e NxN L a p l a c i a n L w = i jt - W t i j i W jF O x i , x j E s a m e c l a s sa n d w t . . =


4/5

t a k e n a g a i n s t a d a r k h o m o g e n e o u s b a c k g r o u n d w i t h t h es u b j e c t s i n a n u p r i g h t , f r o n t a l p o s i t i o n ( w i t h t o l e r a n c e f o rs o m e s i d e m o v e m e n t ) . T h e Y a l e f a c e D a t a b a s e c o n t a i n s 1 6 5g r a y s c a l e i m a g e s i n G I F f o r m a t o f 1 5 i n d i v i d u a l s . T h e r e a r e1 1 i m a g e s p e r s u b j e c t , o n e p e r d i f f e r e n t f a c i a l e x p r e s s i o n o rc o n f i g u r a t i o n : c e n t e r - l i g h t , w / g l a s s e s , h a p p y , l e f t - l i g h t ,

TABLE IT h e r e c o g n i t i o n r a t e s w i t h 2DPCA a n d 2 D W P C A o n ORL d a t a b a s ed 2 4 6 8 1 0k 2DPCA 2 D W P C A 2DPCA 2DWPCA 2DPCA 2DWPCA 2DPCA 2DWPCA 2DPCA 2DWPCA2 4 1 . 5 6 4 3 . 9 5 5 9 . 3 3 6 3 . 3 7 6 7 . 4 8 7 0 . 1 8 7 1 . 9 3 7 4 . 4 4 7 7 . 1 1 7 9 . 1 43 4 3 . 5 4 6 . 1 7 7 5 . 1 7 7 8 . 8 9 7 9 . 3 3 8 1 . 6 2 8 2 . 6 7 8 5 . 4 7 8 7 . 6 7 9 1 . 4 94 4 4 . 1 5 4 . 2 7 2 . 6 7 7 4 . 1 1 8 4 . 1 8 8 . 1 3 8 9 . 8 1 9 1 . 7 2 9 1 . 7 1 9 5 . 0 65 5 8 . 2 2 6 0 . 3 7 3 . 7 8 7 6 . 0 1 8 4 . 8 9 8 5 . 5 5 8 8 . 2 2 8 9 . 9 2 8 9 . 3 3 9 2 . 7 7

TABLE I lT h e r e c o g n i t i o n r a t e s w i t h 2DPCA a n d 2DWPCA o n Y a l e d a t a b a s ed 2 4 6 8 1 0k 2DPCA 2 D W P C A 2DPCA 2DWPCA 2DPCA 2DWPCA 2DPCA 2DWPCA 2DPCA 2DWPCA2 4 4 . 6 9 4 9 . 2 4 6 6 . 5 6 6 7 . 1 1 7 4 . 6 9 7 6 . 2 2 8 3 . 1 3 8 6 . 3 5 8 3 . 4 9 8 7 . 0 53 4 5 . 3 6 4 9 . 8 4 7 1 . 7 9 7 3 . 4 9 7 5 7 7 . 7 5 8 3 . 2 1 8 7 . 0 9 8 5 . 3 6 8 7 . 7 24 4 3 . 7 5 4 6 . 6 2 6 8 . 7 5 7 2 . 8 6 8 3 . 3 3 8 7 . 3 5 8 8 . 7 5 9 0 . 7 6 9 1 . 2 5 9 4 . 0 35 4 2 4 6 . 3 3 7 3 7 7 . 5 7 8 4 . 5 8 9 . 5 7 9 0 . 5 9 3 . 9 7 9 4 9 6 . 3 9

- + - 2 D P C A2too t F C1 0 0 19 5 -a I

. . 8 5 v0

- I . 1 0 09 0 7I8 0 7 0 - , , I

/ 4

3 4R e r c o g n i t i o n r a t e v s t r a i n g s a m p l e s

5 0 L0 X 4 05 2 4 6 8R e c o g n i t i o n r a t e v s . d i m e n s i o n s

10 0

3 4Recognition rate vs. traing s a r r p i l e s

9 0 7 -8 07 0 -6 0 -5 0 -4 0 - --2 4 6 ~ ~ ~ 8R e c o g n i t i o n r a t e v s d i m e n s i o n s

F i g . 1 . T h e r e c o g n i t i o n r a t e ( % ) g r a p h s w h i c h compare 2 D P C A 2DWPCA b a s e d on ORL a n d Y a l e d a t a b a s e sw i t h / w i t h o u t g l a s s e s , n o r m a l , r i g h t - l i g h t , s a d , s l e e p y ,s u r p r i s e d , a n d w i n k .I n ou r e x p e r i m e n t s , we t e s t e d t h e r e c o g n i t i o n r a t e s w i t hd i f f e r e n t n u m b e r o f t r a i n i n g s a m p l e s . k ( k = 2 , 3 , 4 , 5 )i m a g e s o f e a c h s u b j e c t ar e r a n d o m l y s e l e c t e d f r o m t h ed a t a b a s e f o r t r a i n i n g a n d t h e r e m a i n i n g i m a g e s o f e a c hs u b j e c t f o r t e s t i n g . F o r e a c h v a l u e o f k 3 0 runs ar ep e r f o r m e d w i t h d i f f e r e n t r a n d o m p a r t i t i o n b e t w e e n t r a i n i n gs e t a n d t e s t i n g s e t . And f o r e a c h k t r a i n i n g s a m p l ee x p e r i m e n t , we t e s t e d t h e r e c o g n i t i o n r a t e s w i t h d i f f e r e n tn u m b e r o f d i m e n s i o n s , d w h i c h ar e f r o m 2 t o 1 0 .T a b l e I & I I s h o w s t h e average r e c o g n i t i o n r a t e s )w i t h ORL a n d Y a l e d a t a b a s e . I n F i g . 1 , we p l o t t h e g r a p h s

t o m a k e us se e t h e r e c o g n i t i o n r e s u l t s o f t h o s e m e t h o d si n t u i t i v e l y . Two upper g r a p h s a r e p e r f o r m e d on ORLd a t a b a s e , w h i l e t h e two l o w e r ones a r e e v a l u a t e d w i t h Y a l ed a t a b a s e . I n r e c o g n i t i o n r a t e v s . t r a i n i n g s a m p l e s t e s t , wec h o o s e t h e d i m e n s i o n d = l 0 , a n d i n r e c o g n i t i o n r a t e v s .d i m e n s i o n t e s t , we c h o o s e t h e t r a i n i n g s a m p l e k=4. We ca nse e t h a t our m e t h o d a c h i e v e s t h e b e t t e r r e c o g n i t i o n r a t ec o m p a r e d t o t h e 2DPCA.

V . C O N C L U S I O N SA new 2 D P C A - b a s e d m e t h o d f o r f a c e r e c o g n i t i o n h a sb e e n p r o p o s e d i n t h i s paper. T h e p r o p o s e d 2 D P C A - b a s e dm e t h o d ca n o u t p e r f o r m t h e 2 D PCA m e t h o d . B o t h PCA a n d

222

7 5 2

1 0 0

9 5179 0 - b . I

8 5 - - - - *8 0 r2

1 0

1 0

4. x4nLD )


5/5

2DPCA m a y f a i l t o e m p h a s i z e t h e d i s c r i m i n a t i o n b e t w e e nt h e c l u s t e r s , n o m a t t e r h o w e a s y t h e t a s k i s , a s t h e y a r eu n s u p e r v i s e d t e c h n i q u e s . T h e d i r e c t i o n s t h a t m a x i m i z e t h es c a t t e r o f t h e d a t a m i g h t n o t b e a s a d e q u a t e t o d i s c r i m i n a t eb e t w e e n c l u s t e r s . S o we p r o p o s e d new 2 D P C A - b a s e ds c h e m e s w h i c h c a n s t r a i g h t f o r w a r d l y t a k e i n t o c o n s i d e r a t i o nd a t a l a b e l i n g , a n d m a k e s t h e p e r f o r m a n c e o f r e c o g n i t i o ns y s t e m b e t t e r . T h e e f f e c t i v e n e s s o f t h e p r o p o s e d a p p r o a c hc a n b e s e e n t h r o u g h o u r e x p e r i m e n t s b a s e d o n ORL a n dY a l e f a c e d a t a b a s e s . T h i s a p p r o a c h c a n i m p r o v e t h ep e r f o r m a n c e o f 2DPCA a p p r o a c h w h o s e c o m p l e x i t y i sm u c h l e s s t h a n P C A , L D A , o r I C A a p p r o a c h e s .R E F E R E N C E S[ 1 ] L . S i r o v i c h a n d M . K i r b y , L o w - D i m e n s i o n a l P r o c e d u r e f o rC h a r a c t e r i z a t i o n o f Human F a c e s , J . O p t i c a l S o c . A m . , v o l . 4 , p p . 5 1 9 -5 2 4 , 1 9 8 7 .[ 2 ] M . K i r b y a n d L . S i r o v i c h , A p p l i c a t i o n o f t h e KL P r o c e d u r e f o r t h eC h a r a c t e r i z a t i o n o f Human F a c e s , I E E E T r a n s . P a t t e r n A n a l y s i s a n dM a c h i n e I n t e l l i g e n c e , v o l . 1 2 , 1 n o . 1 , p p . 1 0 3 - 1 0 8 , J a n . 1 9 9 0 .[ 3 ] M . T u r k a n d A . P e n t l a n d , E i g e n f a c e s f o r R e c o g n i t i o n , J . C o g n i t i v e

N e u r o s c i e n c e , v o l . 3 , n o . 1 , p p . 7 1 - 8 6 , 1 9 9 1 .[ 4 ] A . P e n t l a n d , L o o k i n g a t P e o p l e : S e n s i n g f o r U b i q u i t o u s a n d W e a r a b l eC o m p u t i n g , I E E E T r a n s . P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e ,v o l . 2 2 , n o . 1 , p p . 1 0 7 - 1 1 9 , J a n . 2 0 0 0 .[ 5 ] M . A . G r u d i n , O n I n t e r n a l R e p r e s e n t a t i o n s i n F a c e R e c o g n i t i o nS y s t e m s , P a t t e r n R e c o g n i t i o n , v o l . 3 3 , n o . 7 , p p . 1 1 6 1 - 1 1 7 7 , 2 0 0 0 .[ 6 ] G . W . C o t t r e l l a n d M . K . F l e m i n g , F a c e R e c o g n i t i o n U s i n gU n s u p e r v i s e d F e a t u r e E x t r a c t i o n , P r o c . I n t ' l N e u r a l N e t w o r k C o n f . ,p p . 3 2 2 - 3 2 5 , 1 9 9 0 .[ 7 ] D . V a l e n t i n , H. A b d i , A . J . O ' T o o l e , a n d G . W . C o t t r e l l , C o n n e c t i o n i s tM o d e l s o f F a c e P r o c e s s i n g : a S u r v e y , P a t t e r n R e c o g n i t i o n , v o l . 2 7 , n o .9 , p p . 1 2 0 9 - 1 2 3 0 , 1 9 9 4 .[ 8 ] P . S . P e n e v a n d L . S i r o v i c h , T h e G l o b a l D i m e n s i o n a l i t y o f F a c eS p a c e , P r o c . F o u r t h I E E E I n t ' l C o n f . A u t o m a t i c F a c e a n d G e s t u r eR e c o g n i t i o n , p p . 2 6 4 2 7 0 , 2 0 0 0 .[ 9 ] L . Z h a o a n d Y . Y a n g , T h e o r e t i c a l A n a l y s i s o f I l l u m i n a t i o n i n P C A -B a s e d V i s i o n S y s t e m s , P a t t e r n R e c o g n i t i o n , v o l . 3 2 , n o . 4 , p p . 5 4 7 - 5 6 4 ,1 9 9 9 .[ 1 0 1 L . W i s k o t t , J . M . F e l l o u s , N . K r u g e r , a n d C . v o n d e r M a l s b u r g , F a c eR e c o g n i t i o n b y E l a s t i c B u n c h G r a p h M a t c h i n g , I E E E T r a n s . P a t t e r nA n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , v o l . 1 9 , n o . 7 , p p . 7 7 5 - 7 7 9 , J u l y1 9 9 7 .[ 1 1 ] M . S . B a r t l e t t , J . R . M o v e l l a n , a n d T . J . S e j n o w s k i , F a c e R e c o g n i t i o nb y I n d e p e n d e n t C o m p o n e n t A n a l y s i s , I E E E T r a n s . N e u r a l N e t w o r k s ,v o l . 1 3 , n o . 6 , p p . 1 4 5 0 - 1 4 6 4 , 2 0 0 2 .[ 1 2 ] B . A . D r a p e r , K . B a e k , M . S . B a r t l e t t , J . R . B e v e r i d g e , R e c o g n i z i n gF a c e s w i t h PC A a n d I C A , C o m p u t e r V i s i o n a n d I m a g e U n d e r s t a n d i n g :s p e c i a l i s s u e o n f a c e r e c o g n i t i o n , i n p r e s s .[ 1 3 ] P . C . Y u e n a n d J . H . L a i , F a c e R e p r e s e n t a t i o n U s i n g I n d e p e n d e n tC o m p o n e n t A n a l y s i s , P a t t e r n R e c o g n i t i o n , v o l . 3 5 , n o . 6 , p p . 1 2 4 7 -1 2 5 7 , 2 0 0 2 .[ 1 4 ] M . H . Y a n g , K e r n e l E i g e n f a c e s v s . K e r n e l F i s h e r f a c e s : F a c eR e c o g n i t i o n U s i n g K e r n e l M e t h o d s , P r o c . F i f t h I E E E I n t ' l C o n f .A u t o m a t i c F a c e a n d G e s t u r e R e c o g n i t i o n ( R G R ' 0 2 ) , p p . 2 1 5 - 2 2 0 , May

2 0 0 2 .[ 1 5 ] K o r e n , Y . ; C a r m e l , L . R o b u s t l i n e a r d i m e n s i o n a l i t y r e d u c t i o nV i s u a l i z a t i o n a n d C o m p u t e r G r a p h i c s , I E E E T r a n s a c t i o n s o n , V o l u m e :10 , I s s u e : 4 , J u l y - A u g . 2 0 0 4P a g e s : 4 5 9 - 4 7 0[ 1 6 ] J i a n Y a ng ; Z h an g, D . ; F r a n g i , A . F . ; J i n g - y u Y a n g T w o - d i m e n s i o na lP C A : a n e w a p p r o a c h t o a p p e a r a n c e - b a s e d f a c e r e p r e s e n t a t i o n a n dr e c o g n i t i o n P a t t e r n A n a l y s i s a n d M a c h i n e I n t e l l i g e n c e , I E E ET r a n s a c t i o n s o n , V o l u m e : 2 6 , I s s u e : 1 , J a n 2 0 0 4 P a g e s : 1 3 1 - 13 7[ 1 7 ] T h e ORL f a c e d a t a b a s eh t t p : / / w w w . u k . r e s e a r c h . a t t . c o m J f a c e d a t a b a s e . h t m l . Y a l e f a c e d a t a b a s eh t t p : / / c v c . y a l e . e d u p r o j e c t s / v a l e f a c e s / y a l e f a c e s . h t m l .1 8 ] K . F u k u n a g a , I n t r o d u c t i o n t o s t a t i s t i c a l p a t t e r n r e c o g n i t i o n ,A c a d e m i c P r e s s , new Y o r k , 2 e d i t i o n , 1 9 9 0 .

2 2 3

2005 - two-dimensional weighted pca algorithm for face recognition - vo dinh minh nhat - in roi

Documents