a hybrid fuzzy-neural expert system for diagnosis

8/14/2019 A Hybrid Fuzzy-neural Expert System for Diagnosis

1/7

A H y b r i d F u z z y - N e u r a l E x p e r t S y s t e m f o r D i a g n o s i s

C h r i s t o p h S . H e r r m a n n

I n t e l l e k t i k , I n f o r m a t i k , T H D a r m s t a d t

A l e x a n d e r s t r a e 1 0 , D { 6 4 2 8 3 D a r m s t a d t , G e r m a n y

h e r r m a n n @ i n t e l l e k t i k . i n f o r m a t i k . t h - d a r m s t a d t . d e

A b s t r a c t

F u z z y L o g i c , a n e u r a l n e t w o r k a n d a n e x p e r t

s y s t e m a r e c o m b i n e d t o b u i l d a h y b r i d d i a g -

n o s i s s y s t e m . W i t h t h i s s y s t e m w e i n t r o d u c e

a n e w a p p r o a c h t o t h e a c q u i s i t i o n o f k n o w l -

e d g e b a s e s . O u r s y s t e m c o n s i s t s o f a f u z z y e x -

p e r t s y s t e m w i t h a d u a l s o u r c e k n o w l e d g e b a s e .

T w o s e t s o f r u l e s a r e a c q u i r e d , i n d u c t i v e l y f r o m

g i v e n e x a m p l e s a n d d e d u c t i v e l y f o r m u l a t e d b y

a p h y s i c i a n . A f u z z y n e u r a l n e t w o r k s e r v e s t o

l e a r n f r o m s a m p l e d a t a a n d a l l o w s t o e x t r a c t

f u z z y r u l e s f o r t h e k n o w l e d g e b a s e . T h e d i a g -

n o s i s o f e l e c t r o e n c e p h a l o g r a m s b y i n t e r p r e t a -

t i o n o f g r a p h o e l e m e n t s s e r v e s a s v i s u a l i z a t i o n

f o r o u r a p p r o a c h . P r e l i m i n a r y r e s u l t s d e m o n -

s t r a t e t h e p r o m i s i n g p o s s i b i l i t i e s o e r e d b y o u r

m e t h o d .

1 I n t r o d u c t i o n

R e p e t i t i v e l y a p p l i e d c o g n i t i v e t a s k s o f r e c o g n i z i n g a n d

e v a l u a t i n g c e r t a i n p h e n o m e n a , c a l l e d d i a g n o s t i c t a s k s ,

a r e a m o n g t h e m a i n a p p l i c a t i o n s f o r A r t i c i a l I n t e l l i -

g e n c e ( A I ) . A s t h e r e e x i s t s a v a s t v a r i e t y o f s u c h d i a g -

n o s t i c t a s k s i n m e d i c i n e , i t h a s a l w a y s b e l o n g e d t o t h e

s p e c t r u m o f p o t e n t i a l u s e r s o f A r t i c i a l I n t e l l i g e n c e .

M o s t p o p u l a r a m o n g A I m e t h o d s i n m e d i c i n e a r e

k n o w l e d g e b a s e d s y s t e m s

B u c h a n a n a n d S h o r t l i e ,

1 9 8 5 , m o d e l i n g t h e d i a g n o s t i c b e h a v i o u r o f e x p e r t s . A

v a r i e t y o f s u c h e x p e r t s y s t e m s i s b e i n g u s e d i n e v e r y d a y

p r a c t i c e o f p h y s i c i a n s s i n c e S h o r t l i e i n t r o d u c e d M Y C I N

S h o r t l i e , 1 9 7 6 , a n e x p e r t s y s t e m d e s i g n e d t o d i a g n o s e

i n f e c t i o n s o f t h e h u m a n b l o o d . O n e o f t h e g r e a t e s t d i -

c u l t i e s i n d e s i g n i n g a c o n v e n i e n t e x p e r t s y s t e m i s a c q u i r -

i n g t h e k n o w l e d g e b a s e . W e i n t r o d u c e a n e w a p p r o a c h

w h e r e a d u a l s o u r c e k n o w l e d g e b a s e i s g e n e r a t e d b y d e -

d u c t i v e a n d i n d u c t i v e l e a r n i n g .

N e u r a l n e t w o r k s h a v e a l s o m a d e t h e i r w a y i n t o d i -

a g n o s i s . T h e y a r e a b l e t o l e a r n r e l a t i o n s h i p s b e t w e e n

d a t a s e t s b y s i m p l y h a v i n g s a m p l e d a t a r e p r e s e n t e d t o

t h e i r i n p u t a n d o u t p u t l a y e r s . I n t h e e l d o f p a t t e r n

p u b l i s h e d i n C . S . M e l l i s h : I n t e r n a t i o n a l J o i n t C o n f e r -

e n c e o n A r t i c i a l I n t e l l i g e n c e ( I J C A I ) , p p . 4 9 4 { 5 0 0 , M o r g a n

K a u f m a n n , 1 9 9 5

r e c o g n i t i o n i n m e d i c a l d a t a , n e u r a l n e t w o r k b a s e d a p -

p r o a c h e s h a v e l e d t o q u i t e r e m a r k a b l e r e s u l t s , f o r e x a m -

p l e i n p r o c e s s i n g M R I p i c t u r e s

H a l l e t a l . , 1 9 9 2 o r E E G

t r a c e s

M a m e l a k e t a l . , 1 9 9 1 ; J a n d o e t a l . , 1 9 9 3 . F o r t h e

t a s k o f a c q u i r i n g k n o w l e d g e b a s e s , w h i c h i s a p a r t o f o u r

h y b r i d a p p r o a c h , n e u r a l n e t w o r k s h a v e b e e n p r o p o s e d

r e c e n t l y

T h r u n a n d M i t c h e l l , 1 9 9 3

F u z z y l o g i c

Z a d e h , 1 9 6 5 a l s o m a k e s i t s a p p e a r a n c e i n

m e d i c i n e , d e a l i n g w i t h t h e u n c e r t a i n t y o f v e r b a l e x p r e s -

s i o n s

K u n c h e v a , 1 9 9 1 ; N i s h i m u r a e t a l . , 1 9 9 1 . T e r m s

l i k e m a n y f e w o r p r o b a b l y a r e h a r d t o m o d e l w i t h c o n -

v e n t i o n a l l o g i c . T h e l i n g u i s t i c v a r i a b l e s o e r e d b y f u z z y

r e p r e s e n t a t i o n s a l l o w p s e u d o - v e r b a l d e s c r i p t i o n s c l o s e t o

n a t u r a l h u m a n e x p r e s s i o n s .

A l l o f t h e a b o v e m e t h o d s b e a r a d v a n t a g e s a s w e l l

a s d i s a d v a n t a g e s a s w i l l b e s e e n i n S e c t i o n 2 . C o m -

b i n i n g t h e s e m e t h o d s n o t o n l y s u m s u p t h e a d v a n -

t a g e s b u t a l s o a v o i d s s o m e o f t h e d i s a d v a n t a g e s . U p

t o n o w , o n l y f e w a p p r o a c h e s i n m e d i c a l d i a g n o s i s c o m -

b i n e m u l t i p l e m e t h o d s o f A r t i c i a l I n t e l l i g e n c e , a l t h o u g h

g o o d r e s u l t s h a v e b e e n m a d e b y t h e s e m e a n s , m o d e l -

i n g a p h y s i c i a n ' s d e c i s i o n p r o c e s s

K u n c h e v a e t a l . , 1 9 9 3 ;

O r s i e r e t a l . , 1 9 9 4

H e r e , w e w i l l d e s c r i b e a h y b r i d s y s t e m c o n s i s t i n g o f

a f u z z y e x p e r t s y s t e m f o r r u l e - b a s e d r e a s o n i n g w i t h a

f u z z y n e u r a l n e t w o r k f o r a c q u i r i n g c a s e - b a s e d k n o w l e d g e

i n a d d i t i o n t o t h e e x p l a n a t i o n - b a s e d k n o w l e d g e f r o m a n

e x p e r t ( S e c t i o n 3 ) . T h e a u t o m a t i c a c q u i s i t i o n o f r u l e s b y

t h e n e t w o r k i s i m p l e m e n t e d i n p a r a l l e l t o t h e c l a s s i c a l

f o r m u l a t i o n o f e x p e r t r u l e s . T w o m o d e s o f p r o c e s s i n g

r e s u l t f o r t h e h y b r i d s y s t e m : A l e a r n i n g m o d e t o f e e d

t h e k n o w l e d g e b a s e a n d a n e x e c u t i o n m o d e d i a g n o s i n g

p a t i e n t d a t a . A l l c o m p o n e n t s o f t h e s y s t e m a r e b a s e d o n

a f u z z y r e p r e s e n t a t i o n , s e r v i n g a s a n i n t e r f a c e n o t a t i o n

b e t w e e n t h e c o m p o n e n t s a n d m a k i n g a f u z z i c a t i o n o f

i n p u t d a t a n e c e s s a r y .

I n S u b s e c t i o n 3 . 2 , a v e r y e e c t i v e m a p p i n g t e c h n i q u e

w i l l b e i n t r o d u c e d , t r a n s f o r m i n g f u z z y v a r i a b l e s i n t o a

n e u r a l r e p r e s e n t a t i o n .

T o v i s u a l i z e t h e p r o c e s s i n g o f r e a l m e d i c a l d a t a i n s u c h

a s y s t e m , w e c h o s e t h e d i a g n o s i s o f e l e c t r o e n c e p h a l o -

g r a m s ( E E G s ) f o r d e m o n s t r a t i o n . T h i s t y p e o f m e d i c a l

d a t a , m e a s u r e d a n d s t o r e d e l e c t r o n i c a l l y , i s v e r y w e l l

s u i t e d f o r a u t o m a t i c p r o c e s s i n g s i n c e i t n e e d n o t b e c o n -

v e r t e d t o a n e l e c t r o n i c r e p r e s e n t a t i o n a n y m o r e . O t h e r

t y p e s o f d a t a w i l l a l s o b e a p p r o p r i a t e f o r d i a g n o s i s i n


2/7

o u r s y s t e m . W e w i l l d e s c r i b e o u r s y t e m a p a r t f r o m t h e

a p p l i c a t i o n a s f a r a s p o s s i b l e a n d p r o p o s e r e l a t e d t o p i c s

t h a t o e r s i m i l a r p r o c e s s i n g .

W i t h o u r p r e l i m i n a r y r e s u l t s ( S e c t i o n 4 ) w e d e m o n -

s t r a t e h o w t h e a u t o m a t i c s y s t e m o u t p e r f o r m s t h e a c c u -

r a c y o f a h u m a n i n o n e t o p i c o f E E G d i a g n o s i s . I n a d d i -

t i o n , w e f o u n d o u t t h a t t h e i n d u c t i v e a c q u i s i t i o n o f r u l e s

b y l e a r n i n g f r o m e x a m p l e s g e n e r a t e s n o t o n l y q u a n t i t a -

t i v e l y m o r e r u l e s b u t a l s o r u l e s w i t h q u a l i t a t i v e l y h i g h e r

p r e c i s i o n t h a n t h e d e d u c t i v e m e t h o d o f f o r m u l a t i n g e x -

p e r t r u l e s .

2 C o m p a r i n g a n d C o m b i n i n g

I n t h i s s e c t i o n w e w i l l c o m p a r e t h e m e n t i o n e d m e t h o d s ,

e x p e r t s y s t e m s , n e u r a l n e t w o r k s a n d f u z z y l o g i c , w i t h

r e s p e c t t o m e d i c a l d i a g n o s i s a n d s h o w t h e p r o s p e c t s o f

a c o m b i n a t i o n t h a t o v e r c o m e s s o m e o f t h e m a j o r d i s a d -

v a n t a g e s o f i t s c o m p o n e n t s .

2 . 1 E x p e r t S y s t e m s

T w o o f t h e a d v a n t a g e s o f u s i n g e x p e r t s y s t e m s i n t h e

c o n t e x t o f m e d i c a l d i a g n o s i s a r e :

T h e k n o w l e d g e c a n b e r e p r e s e n t e d i n s i m p l e ' I F

p r e m i s e T H E N c o n c l u s i o n ' t y p e r u l e s

B i b e l , 1 9 9 3

S i n c e p h y s i c i a n s u s e s i m i l a r d e s c r i p t i o n s f o r t h e i r

m e d i c a l d e c i s i o n p r o c e s s , t h i s m a k e s t h e f o r m u l a -

t i o n o f t h e r u l e b a s e s i m p l e .

I n c a s e o f m a l f u n c t i o n , f a u l t y r u l e s c a n e a s i l y b e

c h a n g e d b y a h u m a n k n o w l e d g e e n g i n e e r , d u e t o

t h e a d e q u a t e r e p r e s e n t a t i o n .

T h e f o l l o w i n g d i s a d v a n t a g e s m a y a r i s e f r o m e x p e r t

s y s t e m u s a g e :

U s u a l l y t h e i n i t i a l l y a c q u i r e d s e t o f r u l e s d o e s n o t

f u l l y s a t i s f y t h e p r o c e s s i n g o f e m p i r i c d a t a a n d n e e d s

r e n e m e n t

O u r s t o n a n d M o o n e y , 1 9 9 4 . T h i s i s

a v o i d e d i n o u r h y b r i d s y s t e m b y s p l i t t i n g t h e r u l e

b a s e i n t o t w o p a r t s , o n e f o r m u l a t e d b y a h u m a n e x -

p e r t , a n d a n o t h e r o n e g e n e r a t e d b y m a c h i n e l e a r n -

i n g . A f u z z y n e u r a l n e t w o r k w i t h t h e p o s s i b i l i t y o f

e x t r a c t i n g k n o w l e d g e i n t h e f o r m o f r u l e s a c h i e v e s

t h e a u t o m a t i c a c q u i s i t i o n .

C l a s s i c a l e x p e r t s y s t e m s a p p r o a c h t h e i m p r e c i s i o n

o f h u m a n e x p r e s s i o n s s o l e l y b y m e a n s o f a s s i g n i n g

p r o b a b i l i t i e s t o r u l e s , s o - c a l l e d c e r t a i n t y f a c t o r s

1

B u c h a n a n a n d S h o r t l i e , 1 9 8 5 . I f t h e v e r b a l e x -

p r e s s i o n o f a r u l e - p r e m i s e a l r e a d y c o n t a i n s v a g u e -

n e s s , t h e s e s y s t e m s f a i l t o m o d e l t h e g i v e n p r o b l e m .

T h e f u z z y e x p e r t s y s t e m w e u s e c a n h a n d l e t h o s e

p r o b l e m s b y a p p l y i n g l i n g u i s t i c f u z z y v a r i a b l e s .

A m o n g t h e s e d i s a d v a n t a g e s , t h e r s t o n e i s o f g r e a t

i m p o r t a n c e f o r r u l e - b a s e d s y s t e m s , w h i l e t h e s e c o n d o n e

t o u c h e s u n c e r t a i n t y o f h u m a n r e a s o n i n g , b o t h o f t h e m

b e i n g o f p a r t i c u l a r i n t e r e s t f o r d i a g n o s i s .

1

E v e n t h o u g h M Y C I N ' s c e r t a i n t y f a c t o r m o d e l h a s p r o v e n

i n c o n s i s t e n t , t h e s y s t e m o u t p e r f o r m s a h u m a n e x p e r t a n d

p e r f o r m s n e a r l y u n a e c t e d b y m i n o r c h a n g e s t o t h e c e r t a i n t y

f a c t o r s

H e c k e r m a n , 1 9 8 6

2 . 2 N e u r a l N e t w o r k s

N e u r a l n e t w o r k s h a v e b e e n a p p l i e d s u c c e s s f u l l y t o p a t -

t e r n r e c o g n i t i o n i n m e d i c a l d a t a

H a l l e t a l . , 1 9 9 2 ;

J a n d o e t a l . , 1 9 9 3 ; M a m e l a k e t a l . , 1 9 9 1 , b e i n g a s u b t a s k

o f o u r d i a g n o s i s , a n d o e r t h e f o l l o w i n g a d v a n t a g e s :

T h e n e t w o r k l e a r n s t o s o l v e a g i v e n c l a s s i c a t i o n

t a s k a u t o n o m o u s l y . I f t h e p h y s i c i a n k n o w s h o w t o

l a b e l a g i v e n d a t a s a m p l e b u t c a n n o t d e s c r i b e h i s

r e a s o n s f o r d o i n g s o , a n e u r a l n e t c a n l e a r n t o a s s i g n

t h e s a m e l a b e l s w i t h o u t e x p l i c i t r u l e s .

N e u r a l n e t w o r k s a r e v e r y f a u l t t o l e r a n t w i t h r e s p e c t

t o n o i s y d a t a . L i t t l e c h a n g e o f i n p u t c a u s e s o n l y l i t -

t l e c h a n g e o f o u t p u t , s i n c e t h e d a t a h a s t o p o g r a p h i c

c h a r a c t e r i s t i c s . T h i s i s i m p o r t a n t f o r m e d i c a l p a t -

t e r n r e c o g n i t i o n , s i n c e t h e n e t i s t r a i n e d w i t h a -

n i t e n u m b e r o f p a t i e n t s a m p l e s . N e w p a t i e n t s m a y

h a v e s l i g h t l y d i e r i n g p h e n o m e n a b u t a n i d e n t i c a l

d i a g n o s e .

W h e n n e u r a l n e t w o r k s a r e a p p l i e d w i t h o u t t h e h y -

b r i d c o m b i n a t i o n s h o w n h e r e , t h e f o l l o w i n g d i s a d v a n -

t a g e s a r i s e :

A f t e r c o m p l e t e d t r a i n i n g , t h e n e t w o r k s e r v e s i t s p u r -

p o s e b u t i t r e m a i n s h i d d e n h o w i t d o e s s o ( b l a c k b o x

p h e n o m e n o n ) . O u r f u z z y n e u r a l n e t i s e a s i l y i n t e r -

p r e t a b l e d u e t o a l i m i t e d b u t l o g i c a l l y d e n e d a r -

c h i t e c t u r e . O f c o u r s e t h i s i s b o u g h t w i t h a d e c r e a s e

o f g e n e r a l i z a t i o n a b i l i t y .

I t i s u s u a l l y i m p o s s i b l e t o i n t e r a c t w i t h t h e l e a r n i n g

p r o c e s s o f t h e n e t w o r k . T h e r e i s n o p o s s i b i l i t y o f

i n t e r f e r i n g w i t h i t s a c t i v i t y e x c e p t f o r n e w t r a i n i n g .

S i n c e e v e r y n e u r o n i n o u r n e t w o r k r e p r e s e n t s t h e

p r e m i s e o f a r u l e , i t i s p o s s i b l e t o w e a k e n , s t r e n g t h e n

o r f r e e z e a p r e m i s e o r a w h o l e r u l e .

F o r t h e p u r p o s e o f s u p e r v i s e d l e a r n i n g , w h i c h i s r e -

q u i r e d f o r o u r a p p l i c a t i o n , a t e a c h e r i s n e e d e d t o l a -

b e l t h e d a t a . A p p l i c a t i o n s p e c i c , t h i s i m p l i e s h i g h

e o r t i n l a b e l i n g E E G t r a c e s .

2 . 3 F u z z y L o g i c

F u z z y l o g i c i s a n e x c e l l e n t m e a n s t o c o m b i n e A r t i c i a l

I n t e l l i g e n c e m e t h o d s

Z a d e h , 1 9 9 3 . T h e a d v a n t a g e s o f

f u z z i n e s s d e a l i n g w i t h i m p r e c i s i o n t i d e a l l y i n t o m e d i c a l

d i a g n o s i s :

T h e v a g u e n e s s a n d u n c e r t a i n t y o f h u m a n e x p r e s -

s i o n s i s w e l l m o d e l e d i n t h e f u z z y s e t s , a n d a p s e u d o -

v e r b a l r e p r e s e n t a t i o n , s i m i l a r t o a n e x p e r t ' s f o r m u -

l a t i o n , c a n b e a c h i e v e d .

F u z z y l o g i c a v o i d s t h e a b r u p t c h a n g e f r o m o n e

d i s c r e t e o u t p u t s t a t e t o a n o t h e r w h e n t h e i n p u t

i s c h a n g e d o n l y m a r g i n a l l y . T h i s i s a c h i e v e d b y

a q u a n t i z a t i o n o f v a r i a b l e s i n t o m e m b e r s h i p f u n c -

t i o n s .

F u z z y l o g i c a l s o h a s s o m e d i s a d v a n t a g e s t h a t h a v e t o

b e t a k e n c a r e o f :

H i g h a c c u r a c y i s n e e d e d i n t u n i n g t h e m e m b e r s h i p

v a l u e s i n o r d e r t o g e t p l a u s i b l e r e s u l t s . F o r t h i s

r e a s o n w e o r i e n t e d o u r m e m b e r s h i p d e s i g n o n a c t u a l

m e d i c a l p a r a m e t e r s r a t h e r t h a n c r e a t i n g o w n o n e s .


3/7

C o m p a r e d t o c l a s s i c a l e x p e r t s y s t e m s , f u z z y o n e s

r e q u i r e h i g h e r c o m p u t a t i o n a l e o r t , d u e t o t h e c o m -

p l e x i n f e r e n c e m e c h a n i s m s n e e d e d . W e ` s o l v e d ' t h i s

p r o b l e m b y t a k i n g a S U N w o r k s t a t i o n t o c r a c k t h e

d i a g n o s i s n u t , r e s u l t i n g i n r e a s o n a b l e r u n t i m e s .

3 H y b r i d C o m b i n a t i o n

I n o r d e r t o c o m b i n e t h e a d v a n t a g e s a n d o v e r c o m e s o m e

o f t h e d i s a d v a n t a g e s , a s s k e t c h e d a b o v e , w e d e s i g n e d a

h y b r i d s y s t e m o f a l l t h r e e a p p r o a c h e s . I n F i g u r e 1 t h e

o r d e r o f p r o c e s s i n g i s v i s u a l i z e d .

Fuzzy

representation

EEG spectrum

Digital EEG

Deductivelearning

Inductivelearning

Fuzzy

neural

network

Physicians

rules

2-D

mapping

User

knowledge

base

base

knowledge

engine

InferenceDiagnose

source

Dual

Fuzzy

expert

system

F i g u r e 1 : S c h e m a t i c d r a w i n g o f t h e h y b r i d s y s t e m

T h e r s t t w o p r e p r o c e s s i n g s t e p s a r e a p p l i c a t i o n s p e -

c i c ( l i g h t a r r o w s ) a n d s e r v e a s a b a s i s f o r t h e e x t r a c t i o n

o f f u z z y f e a t u r e s . T h e h y b r i d s y s t e m i t s e l f i s t h e s e r -

i a l / p a r a l l e l c o m b i n a t i o n o f t h e l o w e r c o m p o n e n t s w h e r e

g r e y a r r o w s i n d i c a t e a l e a r n i n g o r k n o w l e d g e a c q u i s i t i o n

p h a s e a n d t h e b l a c k a r r o w i n d i c a t e s t h e e x e c u t i o n p h a s e .

D u r i n g t h e l e a r n i n g p h a s e t w o s e t s o f r u l e s a r e m e r g e d t o

f o r m t h e d u a l s o u r c e k n o w l e d g e b a s e o f t h e f u z z y e x p e r t

s y s t e m . O n t h e o n e h a n d r u l e s a r e g a t h e r e d f r o m p h y s i -

c i a n s a n d o n t h e o t h e r h a n d r u l e s a r e e x t r a c t e d f r o m t h e

f u z z y n e u r a l n e t w o r k . F o r t h e l a t t e r p u r p o s e t h e n e t i s a t

r s t t r a i n e d t o p e r f o r m t h e p h y s i c i a n ' s d i a g n o s i s t a s k o n

s a m p l e d a t a

H e r r m a n n , 1 9 9 5 b . A f t e r c o m p l e t e d t r a i n -

i n g , r u l e s d e s c r i b i n g t h e d i a g n o s i s p r o c e s s a r e e x t r a c t e d

f r o m t h e n e t . W h e n t h e a c q u i s i t i o n o f k n o w l e d g e i s n -

i s h e d , t h e e x e c u t i n g p h a s e c a n b e r u n , a c t u a l l y d i a g n o s -

i n g m e d i c a l d a t a . T o a c h i e v e t h i s , t h e e x e c u t i o n p a t h

i s s w i t c h e d f r o m t h e g r e y t o t h e s o l i d a r r o w s . N o w t h e

f u z z y f e a t u r e s o f a s a m p l e ( e . g . E E G t r a c e ) a r e c o m -

p a r e d t o t h e f o r m e r l y a c q u i r e d k n o w l e d g e b a s e v i a t h e

i n f e r e n c e e n g i n e . T h e f u z z y e x p e r t s y s t e m t h e n c o m e s

u p w i t h a d i a g n o s e .

T h e f o l l o w i n g t h r e e s e c t i o n s d e s c r i b e t h e i m p l e m e n -

t a t i o n o f t h e c o m p o n e n t s o f t h e h y b r i d s y s t e m i n m o r e

d e t a i l a n d s h o w t h e a d v a n t a g e s a n d a v o i d a n c e o f d i s a d -

v a n t a g e s .

3 . 1 F u z z y R e p r e s e n t a t i o n

I t i s i m p o r t a n t f o r o u r h y b r i d a p p r o a c h t h a t a l l c o m p o -

n e n t s a r e a b l e t o d e a l w i t h f u z z y r e p r e s e n t a t i o n s , s i n c e

t h a t i s t h e i n t e r f a c e b e t w e e n t h e c o m p o n e n t s . F o r t h i s

r e a s o n , d a t a h a s t o b e t r a n s f o r m e d i n t o a f u z z y r e p r e -

s e n t a t i o n b e f o r e i t c a n b e d i a g n o s e d b y o u r s y s t e m . T h i s

p r o c e s s d e p e n d s o n t h e t y p e o f d a t a a n d s h a l l b e d e m o n -

s t r a t e d v i a o u r E E G e x a m p l e .

I n o r d e r t o o b t a i n a f u z z y d e s c r i p t i o n o f E E G p a t t e r n s ,

s o m e p r e p r o c e s s i n g h a s t o b e c a r r i e d o u t w i t h t h e E E G

t r a c e s . F i r s t , t h e b r a i n c u r r e n t s a r e d i g i t i z e d t o a l l o w

c o m p u t e r i z e d m a n i p u l a t i o n ( s e e g u r e 1 , ` D i g i t a l E E G ' ) .

I n t h e n e x t s t e p t h e d i s c r e t e s i g n a l i s t r a n s f o r m e d f r o m

t h e t i m e d o m a i n i n t o t h e f r e q u e n c y d o m a i n ( s e e F i g u r e

1 , ` E E G s p e c t r u m ' ) . I n i t s f r e q u e n c y d o m a i n r e p r e s e n -

t a t i o n e a c h p o i n t o f a n E E G s p e c t r u m c o n s i s t s o f t w o

d i m e n s i o n s , n a m e l y f r e q u e n c y a n d a m p l i t u d e .

T h e f r e q u e n c y a x i s i s d i v i d e d i n t o f o u r t e r m s o f t h e

f u z z y v a r i a b l e f r e q u e n c y . T h o s e f o u r t e r m s d e l t a t h e t a

a l p h a a n d b e t a c o r r e s p o n d t o t h e m e d i c a l s t a n d a r d o f

c l a s s i f y i n g E E G f r e q u e n c i e s

N i e d e r m e y e r a n d L o p e s d a

S i l v a , 1 9 9 3 . I n t h e s a m e m a n n e r t h e a m p l i t u d e i s f u z z i -

e d i n t o t h e t e r m s z e r o l o w m i d , a n d h i g h o f t h e f u z z y

v a r i a b l e a m p l i t u d e . I t i s n o w p o s s i b l e t o f o r m u l a t e d e -

s c r i p t i o n s l i k e a w a v e w i t h b e t a f r e q u e n c y a n d l o w a m p l i -

t u d e . T h i s p s e u d o - l i n g u i s t i c d e s c r i p t i o n i s v e r y c l o s e t o

h o w s i g n a l e x p e r t s o r p h y s i c i a n s w o u l d c l a s s i f y c e r t a i n

g r a p h o e l e m e n t s i n E E G s .

3 . 2 M a p p i n g F u z z y V a r i a b l e s t o N e u r a l

N e t w o r k s

I n o r d e r t o l e a r n t h e d i a g n o s i s p r o c e s s i n a n e u r a l n e t -

w o r k , t h e f u z z y f e a t u r e s h a v e t o b e m a p p e d i n t o t h e i n -

p u t l a y e r o f t h e n e t . H e r e , w e d e m o n s t r a t e a n e w m e t h o d

o f t w o - d i m e n s i o n a l m a p p i n g , m i n i m i z i n g t h e a m o u n t o f

n e u r o n s i n t h e n e t w o r k a n d k e e p i n g t h e i r n u m b e r c o n -

s t a n t .

A l l t e r m s o f t h e t w o f u z z y v a r i a b l e s f r e q u e n c y a n d

a m p l i t u d e m u s t b e m a p p e d i n t o t h e i n p u t l a y e r n e u -

r o n s o f o u r n e u r a l n e t . I n a s t r a i g h t - f o r w a r d m a n n e r

e a c h o u t o f e i g h t n e u r o n s w o u l d b e a s s i g n e d t h e m e m -

b e r s h i p v a l u e o f o n e o f t h e e i g h t f u z z y t e r m s . T h i s

w o u l d a l l o w t h e r e p r e s e n t a t i o n o f e x a c t l y o n e s p e c t r a l

p h e n o m e n o n . B u t , i n e v e r y E E G t i m e - s l i c e t h e r e e x -

i s t v a r i o u s d i e r e n t p h e n o m e n a . F o r e x a m p l e , t h e m a i n

r h y t h m s h o u l d b e p r e s e n t i n a n y h e a l t h y s u b j e c t , d e -

s c r i b e d a s a w a v e w i t h a n a l p h a f r e q u e n c y a n d a m i d

a m p l i t u d e . A l s o , t h e r e m i g h t e x i s t a r t i f a c t s a t t h e s a m e

t i m e | m o s t l y b u l b u s a r t i f a c t s r e s u l t i n g f r o m e y e m o v e -

m e n t s , b e i n g w a v e s w i t h d e l t a f r e q u e n c y a n d h i g h a m -

p l i t u d e . I f m o r e t h a n o n e f e a t u r e w e r e e n c o d e d i n e i g h t

n e u r o n s o n e c o u l d n o l o n g e r d e c i d e w h i c h a m p l i t u d e b e -

l o n g s t o w h i c h f r e q u e n c y ( b i n d i n g p r o b l e m

R u m e l h a r t


4/7

a n d M c C l e l l a n d , 1 9 8 6 ) . T h e r e f o r e , t o r e p r e s e n t m u l t i -

p l e p h e n o m e n a e i g h t n e u r o n s w o u l d b e r e q u i r e d f o r e a c h

p h e n o m e n o n . S i n c e t h e n u m b e r o f f e a t u r e s c o n t a i n e d

i n e v e r y t i m e - s l i c e v a r i e s t h r o u g h t h e E E G ( n o t e v e r y

s a m p l e i s d e r a n g e d b y a n a r t i f a c t ) a r e p r e s e n t a t i o n i s

n e e d e d w h i c h i s c a p a b l e o f c o d i n g m u l t i p l e p h e n o m e n a

i n a c o n s t a n t n u m b e r o f n e u r o n s .

W e h a v e d e v e l o p e d a m a p p i n g s c h e m e t h a t b r i n g s t w o

f u z z y v a r i a b l e s i n t o a n e t w o r k s u i t e d r e p r e s e n t a t i o n b y

c a l c u l a t i n g t h e c r o s s p r o d u c t , w h i c h i s d e s c r i b e d i n d e -

t a i l i n

H e r r m a n n , 1 9 9 5 a . T h e t w o f o u r - t e r m f u z z y v a r i -

a b l e s r e s u l t i n 1 6 n e u r o n s N

f r e q u e n c y a m p l i t u d e

( s e e g -

u r e 2 ) . E a c h n e u r o n r e p r e s e n t s t h e c o n j u n c t i o n o f t w o

f u z z y t e r m s o f e a c h v a r i a b l e , t h u s o v e r c o m i n g t h e b i n d -

i n g p r o b l e m . T h e a c t i v a t i o n v a l u e o f a n e u r o n i s c a l c u -

l a t e d v i a t h e a l g e b r a i c p r o d u c t o f t h e t w o r e p r e s e n t e d

m e m b e r s h i p f u n c t i o n s :

N

d e l t a z e r o

=

d e l t a

z e r o

= 0 6 0 6 = 0 3 6

T h e s u m o f a c t i v a t i o n , r e s u l t i n g f r o m o n e s p e c t r a l p h e -

n o m e n o n a l w a y s s u m s u p t o 1 f o r s a k e o f r e i n t e r p r e t a b i l -

i t y o f t h e r u l e s l e a r n e d b y t h e n e t w o r k .

3 . 3 F u z z y N e u r a l N e t w o r k

T h e f u z z y f e a t u r e s , p r e s e n t e d t o t h e n e u r a l n e t w o r k b y

t h e t w o - d i m e n s i o n a l m a p p i n g m e t h o d , a r e t h e n t r a i n e d

t o b e d e t e c t e d b y t h e n e t . I n o r d e r t o e x t r a c t t h e a c -

q u i r e d k n o w l e d g e , a f u z z y - n e u r a l n e t w o r k , c a l l e d F u N e

H a l g a m u g e a n d G l e s n e r , 1 9 9 3 ; H a l g a m u g e e t a l . , 1 9 9 3

i s u s e d i n o u r t h r e e l a y e r n e t w o r k . T h e s p e c i a l m u l t i -

l a y e r p e r c e p t r o n a r c h i t e c t u r e i s t r a i n e d w i t h a g r a d i e n t

d e s c e n t a l g o r i t h m . T h e r e e x i s t t h r e e t y p e s o f n e u r o n s

i n t h e m i d d l e l a y e r g r o u p e d t o g e t h e r t o p o g r a p h i c a l l y .

O n e g r o u p o f n e u r o n s c a n p e r f o r m o n l y t h e o r f u n c t i o n

o f m u l t i p l e i n p u t s w h i l e a n o t h e r g r o u p o n l y p e r f o r m s

t h e a n d f u n c t i o n . A s t h e r e m a y a s w e l l b e u n a r y r u l e s ,

c o m p o s e d o f s i m p l e o n e - t e r m - p r e m i s e s , t h e r e i s a t h i r d

g r o u p o f n e u r o n s h a v i n g s i n g l e i n p u t s a n d s i n g l e o u t p u t s .

T h e o u t p u t n e u r o n s i m p l y a c t s a s a n o r f u n c t i o n o f a l l

m i d d l e n e u r o n s . I n t h e i n i t i a l s t a t e t h e f u l l y i n t e r c o n -

n e c t e d n e t w o r k r e p r e s e n t s a l l p o s s i b l e l o g i c a l f u n c t i o n s

o f o r p r e m i s e s , a n d p r e m i s e s , a n d t h e 1 6 u n a r y p r e m i s e s .

D u r i n g t h e l e a r n i n g p r o c e s s a l l c o n n e c t i o n s b e l o w a c e r -

t a i n t h r e s h o l d a r e e l i m i n a t e d . T h i s p r u n i n g m e t h o d h a s

b e e n p r o p o s e d b y L e C u n i n 1 9 9 0

L e C u n e t a l . , 1 9 9 0 i n

o r d e r t o i n c r e a s e l e a r n i n g s p e e d | b u t , i t i s a l s o u s e f u l f o r

l i m i t i n g t h e n u m b e r o f r e s u l t i n g r u l e s . T h i s i s o f s p e c i a l

i n t e r e s t t o u s , b e c a u s e w e w i l l e x t r a c t e x a c t l y t h e s e r u l e s

a f t e r t h e t r a i n i n g a n d w a n t t o a v o i d r u l e s w i t h n e g l i g i b l e

r u l e s t r e n g t h .

A n e t t r a i n e d t o d e t e c t b u l b u s a r t i f a c t s i s s h o w n i n

i t s n a l s t a t e i n F i g u r e 2 . A s a n e x a m p l e , t h e p a t t e r n

a t t h e i n p u t n e u r o n s r e p r e s e n t s a b u l b u s a r t i f a c t ( b a ) i n

a s i m p l i e d m a n n e r

2

. T h e d e l t a f r e q u e n c y c o m p o n e n t

i s h i g h w h i l e a l l o t h e r f r e q u e n c y c o m p o n e n t s a r e l o w .

T h e a r t i f a c t i s d e t e c t e d i n t h e o u t p u t n e u r o n , s h o w n

b y i t s a c t i v a t i o n o f 1 . S o m e o f t h e i n p u t s n o l o n g e r

c o n t r i b u t e t o t h e d e t e c t i o n t a s k a t a l l , s i n c e t h e i r l o w -

w e i g h t c o n n e c t i o n s h a v e b e e n p r u n e d .

2

F o r t h e s a k e o f s i m p l i c i t y w e u s e d o n l y v a l u e s 0 a n d 1 ,

a l t h o u g h t h e y w i l l n o t o c c u r i n r e a l i t y .

theta zero

theta low

theta mid

theta high

alpha zero

alpha low

alpha mid

alpha high

beta zero

beta low

beta mid

beta high

delta low

delta mid

delta high 1

1

1

1

0

0

0

0

0

0

0

0

0

0

0

1

termsAND-

termsunary

Or-terms

bulbus artifact

(ba)

F i g u r e 2 : N e u r a l n e t w o r k a f t e r c o m p l e t e d t r a i n i n g

R u l e s ( 1 ) t o ( 3 ) a r e e x t r a c t e d f r o m t h e t h r e e s h a d e d

n e u r o n s o f t h e n e t w o r k a n d b u i l d u p p a r t o f t h e k n o w l -

e d g e b a s e f o r t h e f u z z y e x p e r t s y s t e m .

( 1 ) I F d e l t a m i d O R d e l t a h i g h T H E N b a

( 2 ) I F d e l t a z e r o T H E N N O T b a

( 3 ) I F d e l t a h i g h T H E N b a

T h e s e r u l e s d o n o t a l l c o n t r i b u t e t o t h e r e s u l t i n t h e

s a m e w a y , w h i c h i s e x p r e s s e d b y d i e r e n t r u l e s t r e n g t h s .

T h e s t r e n g t h o f a r u l e i s c o m p u t e d f r o m t h e w e i g h t o f

t h e c o n n e c t i o n b e t w e e n t h e n e u r o n r e p r e s e n t i n g t h e r u l e

a n d t h e o u t p u t n e u r o n . R u l e ( 2 ) h a s a n e g a t i v e s t r e n g t h

i n d i c a t i n g a n e g a t i o n o f t h e c o n c l u s i o n ( d a s h e d l i n e i n

F i g u r e 2 ) .

3 . 4 F u z z y E x p e r t S y s t e m

T h e h e a r t o f o u r h y b r i d s y s t e m i s a f u z z y e x p e r t s y s -

t e m , c a l l e d F u z z y C L I P S

K n o w l e d g e S y s t e m s L a b o r a -

t o r y , 1 9 9 4 , d e r i v e d f r o m C L I P S

A r t i c i a l I n t e l l i g e n c e

S e c t i o n , 1 9 9 3 . T h i s e x p e r t s y s t e m c o n s i s t s m a i n l y o f

t h r e e c o m p o n e n t s ( s e e F i g u r e 1 , ' F u z z y e x p e r t s y s t e m ' ) ,

t h e d u a l s o u r c e k n o w l e d g e b a s e c o n t a i n i n g t h e c o m b i n e d

r u l e s e t s f r o m i n d u c t i v e a n d d e d u c t i v e l e a r n i n g , t h e u s e r

k n o w l e d g e b a s e w h e r e t h e a c t u a l p h e n o m e n a o f a p a t i e n t

a r e e n t e r e d , a n d t h e i n f e r e n c e m e c h a n i s m c o n c l u d i n g a

d i a g n o s i s f r o m t h e c o m p a r i s o n o f t h e k n o w l e d g e b a s e .

W h e n a c q u i r i n g r u l e s f o r t h e k n o w l e d g e b a s e o f a n e x -

p e r t s y s t e m t w o m a j o r l e a r n i n g p a r a d i g m s a p p l y : d e d u c -

t i v e l e a r n i n g a n d i n d u c t i v e l e a r n i n g . D e d u c t i v e l e a r n -

i n g m o s t l y i s c a r r i e d o u t b y e x p l a n a t i o n - b a s e d l e a r n -

i n g

M i n t o n e t a l . , 1 9 9 0 , m e a n i n g t h a t t h e s y s t e m i s

t o u g h t w h i c h r u l e s l e a d t o t h e d e s i r e d d e c i s i o n c a p a -

b i l i t y . I n d u c t i v e l e a r n i n g i s a p p l i e d w h e n t h i s k n o w l -

e d g e i s i n c o m p l e t e b u t e x a m p l e s m a y s e r v e a s a t e a c h e r

f o r m a c h i n e l e a r n i n g t e c h n i q u e s

M i c h a l s k i , 1 9 8 3 . O u r

k n o w l e d g e b a s e c o n s i s t s o f t w o s e p e r a t e l y a c q u i r e d s e t s

o f r u l e s . T h e r s t o n e i s a c q u i r e d d e d u c t i v e l y f r o m a n


5/7

e x p e r t b y e x p l a n a t i o n - b a s e d l e a r n i n g . T h e s e c o n d o n e

i s a c q u i r e d i n d u c t i v e l y b y m a c h i n e l e a r n i n g i n a n e u r a l

n e t w o r k . T h e r e s u l t i n g d u a l s o u r c e k n o w l e d g e b a s e i n -

t e g r a t e s t w o a u t o n o m o u s r u l e s e t s . T h e y m i g h t c o n t a i n

r u l e s t h a t a r e e q u a l i n p r e m i s e s a n d c o n c l u s i o n b u t d i f -

f e r e n t i n t h e d e g r e e o f c e r t a i n t y , w h i c h r e s u l t s i n c o n t r a -

d i c t i o n i n t h e w o r s t c a s e . L i k e H o l l a n d p r o p o s e d i n 1 9 8 6

H o l l a n d , 1 9 8 6 , w e d o a l l o w t h e s e c o n t r a d i c t o r y r u l e s ,

p o s t u l a t i n g i t a s a n a t u r a l f e a t u r e o f d e c i s i o n p r o c e s s e s

a n d t h u s b e i n g w e l l s u i t e d t o m o d e l t h o s e . T h e f o l l o w i n g

e x a m p l e m i g h t s h e d s o m e l i g h t u p o n t h i s m a t t e r :

W i f e r u l e : I F e v e n i n g T H E N g o h o m e

B o s s r u l e : I F e v e n i n g T H E N s t a y i n o c e

I f o n e e q u a l l y o b e y s t o w i f e a n d b o s s ( e q u a l r u l e

s t r e n g t h s ) o n e c e r t a i n l y n e e d s a t h i r d r u l e t o m a k e a

d e c i s i o n , l i k e

I J C A I r u l e : I F d e a d l i n e c l o s e T H E N s t a y i n o c e

w h i c h c o n t r i b u t e s t o o n e o f t h e f o r m e r c o n c l u s i o n s . T h e

s a m e i s s u p p o s e d f o r o u r d u a l s o u r c e k n o w l e d g e b a s e .

T h e r e m a y v e r y w e l l b e p h e n o m e n a t h a t e x i s t i n s a m p l e

d a t a b u t a r e d e s c r i b e d d i e r e n t l y i n t h e e x p e r t r u l e s . I n

t h i s c a s e t h e r e s u l t i n g u n c e r t a i n t y h a s t o b e s o l v e d b y

d i e r e n t r u l e s t r e n g t h s o r a f u r t h e r r u l e , m a n i f e s t i n g o n e

o f t h e p o s s i b l e c o n c l u s i o n s .

B e s i d e s a n e x p l a n a t i o n c o m p o n e n t i t i s a l s o i m p o r t a n t

f o r t h i s m e d i c a l a p p l i c a t i o n t h a t a d o n ' t k n o w c o n c l u s i o n

e x i s t s , t e l l i n g t h e u s e r i f a b n o r m a l p h e n o m e n a w e r e d e -

t e c t e d b u t c o u l d n o t b e i n t e r p r e t e d .

4 P r e l i m i n a r y R e s u l t s

W h e n t a l k i n g a b o u t r e s u l t s i n m e d i c a l d i a g n o s i s , w e

w o u l d r s t l i k e t o m e n t i o n o n e m a j o r p o i n t i n w h e r e

t o p u t t h e m a i n f o c u s . O t h e r t h a n i n c o m m o n d e t e c -

t i o n t a s k s i t i s n o t s u c i e n t t o s i m p l y w a t c h t h e o v e r a l l

p e r f o r m a n c e o f t h e s y s t e m i n m e a n s o f a v e r a g e e r r o r ,

l i k e i t w o u l d b e a p p r o p r i a t e f o r c h a r a c t e r r e c o g n i t i o n ,

f o r i n s t a n c e . T h e d i a g n o s i s p e r f o r m a n c e m u s t b e s p l i t

i n t o t h e m i s s i n g o f p h e n o m e n a , c a l l e d f a l s e n e g a t i v e s ,

a n d t h e a c c i d e n t a l n d i n g o f p h e n o m e n a w h i c h a r e n o t

a c t u a l l y p r e s e n t , c a l l e d f a l s e p o s i t i v e s . W i t h t h e s e t w o

m e a s u r e s i t i s p o s s i b l e t o d e c i d e w h e t h e r t h e t w o c a n b e

k e p t a p a r t o r w i l l b e o v e r l a p p i n g . F o r c e r t a i n d i a g n o s i s

t y p e s , i t i s v e r y i m p o r t a n t t o h a v e a b s o l u t e l y n o f a l s e

p o s i t i v e s w h e r e a s a f e w f a l s e n e g a t i v e s w e r e s t i l l a c c e p t -

a b l e , l i k e i n d i a g n o s i n g c e r e b r a l d e a t h . V i c e v e r s a , i n

o t h e r c a s e s i t i s i m p o r t a n t t o h a v e n o f a l s e n e g a t i v e s ,

l i k e i n d i a g n o s i n g e p i l e p t i c s e i z u r e s f o r e m e r g e n c y p u r -

p o s e s . ( B o t h e x a m p l e s w e r e c h o s e n f r o m t h e c l a s s o f

E E G d i a g n o s i s t a s k s . )

F i g u r e 3 s h o w s a t y p i c a l d i a g r a m i l l u s t r a t i n g f a l s e p o s -

i t i v e s ( d a s h e d l i n e ) v e r s u s f a l s e n e g a t i v e s ( s o l i d l i n e ) a s

a f u n c t i o n o f t h e t h r e s h o l d ( F P / F N - d i a g r a m ) f o r t h e

d e t e c t i o n o f b u l b u s a r t i f a c t s ( B A s ) . S i n c e w e a p p l y f u z z y

l o g i c , w e g e t f u z z y r e s u l t s r a t h e r t h a n d i s c r e t e o n e s . ( W e

d o n o t u s e s t a n d a r d d e f u z z i c a t i o n . ) T h e e x a m p l e s h o w s

t h e d i a g n o s i s o f b u l b u s a r t i f a c t s i n E E G s . T h e d e c i s i o n

o f t h e s y s t e m , w h e t h e r i t i s a b u l b u s a r t i f a c t o r n o t , i s

r e p r e s e n t e d b y a n a n a l o g v a l u e i n t h e r a n g e f r o m 0 t o 1 .

F o r a b i n a r y d e c i s i o n a t h r e s h o l d i s n e e d e d , a b o v e w h i c h

a B A i s a s s u m e d . I n F i g u r e 3 t h e r e i s a w i d e g a p b e t w e e n

0

20

40

60

80

100

0 0.2 0.4 0.6 0.8 1

Percent

Threshold

F i g u r e 3 : F a l s e p o s i t i v e B A s ( d a s h e d ) a n d f a l s e n e g a -

t i v e B A s ( s o l i d ) o f a p a t i e n t r e c o r d c o n t a i n i n g n o o t h e r

a r t i f a c t s t h a n b u l b u s a r t i f a c t s

f a l s e p o s i t i v e s a n d f a l s e n e g a t i v e s ( 0 . 3 - 0 . 6 ) . A t h r e s h -

o l d c e n t e r e d i n t h i s g a p w i l l a s s u r e a h i g h p r o b a b i l i t y f o r

n e i t h e r d i a g n o s i n g f a l s e p o s i t i v e s n o r f a l s e n e g a t i v e s .

0

20

40

60

80

100

0 0.2 0.4 0.6 0.8 1

Percent

Threshold

F i g u r e 4 : F a l s e p o s i t i v e B A s ( d a s h e d ) a n d f a l s e n e g a t i v e

B A s ( s o l i d ) i n a p a t i e n t r e c o r d w i t h a d d i t i o n a l e l e c t r o d e

a r t i f a c t s

T h e e x a m p l e o f F i g u r e 4 n i c e l y d e m o n s t r a t e s t h e d e -

g r e e o f a c c u r a c y o f t h e s y s t e m . T h e d i a g r a m s h o w s o n l y

a n a r r o w g a p f o r t h e t h r e s h o l d , p r o p o s i n g p o s s i b l e m i s s e s

i n f u t u r e d a t a . T h e s y s t e m c a n c o r r e c t l y d i a g n o s e a l l

e x i s t i n g b u l b u s a r t i f a c t s i n t h e p a t i e n t r e c o r d w i t h e a s e ,

s h o w n i n t h e n a r r o w b a n d o f f a l s e n e g a t i v e s ( r i g h t m o s t

p e a k i n F i g u r e 4 ) . N e v e r t h e l e s s , t h e w i d e s c o p e o f f a l s e

p o s i t i v e s g i v e s r i s e t o t h e a s s u m p t i o n t h a t t h e d i a g n o s i s

p e r f o r m a n c e i s o f m i n o r q u a l i t y , s i n c e w i t h a t h r e s h o l d

o f = 0 5 , 1 0 % d i a g n o s e d B A s w o u l d n o t a c t u a l l y b e

s u c h . R e t r o s p e c t i v e l y e x a m i n e d , i t s h o w e d t h a t t h o s e

f a l s e p o s i t i v e s w e r e i n d e e d B A s , b u t o f m i n i m a l a m p l i -

t u d e a n d t h u s o v e r l o o k e d i n t h e v i s u a l d i a g n o s i s . O n l y

t h e 1 . 8 % f a l s e p o s i t i v e s t h a t r e m a i n e d u p t o a t h r e s h o l d

o f = 0 9 4 w e r e n o t B A s b u t e l e c t r o d e a r t i f a c t s , b e -

i n g g r a p h o e l e m e n t s t h a t a r e s o m e w h a t r e l a t e d t o B A s i n

t e r m s o f f r e q u e n c y a n d a m p l i t u d e a n d c a n o n l y b e k e p t

a p a r t d u e t o t h e i r s h a p e . T h u s , w i t h o u t e x p l i c i t e l y c o m -


6/7

p a r i n g t h e s y s t e m a n d a h u m a n e x p e r t y e t , w e s h o w e d

w i t h t h e s e p r e l i m i n a r y r e s u l t s t h a t t h e s y s t e m ' s p r e c i s i o n

i s o f c o m p e t i n g a c c u r a c y .

T h e c o m p a r i s o n o f t h e t w o r u l e s e t s , s e r v i n g a s b a -

s i s f o r t h e d u a l s o u r c e k n o w l e d g e b a s e , b r o u g h t u p t w o

i n t e r e s t i n g r e s u l t s .

T h e i n d u c t i v e l y g e n e r a t e d r u l e s e t , e x t r a c t e d f r o m

t h e n e t w o r k , c o n t a i n e d m o r e r u l e s t h a n t h e o n e d e -

d u c t i v e l y a c q u i r e d f r o m t h e e x p e r t . T h e s e e x t r a

r u l e s s e e m r e d u n d a n t a t r s t g l a n c e , b e c a u s e t h e

e x p e r t c a n e a s i l y d i s t i n g u i s h b e t w e e n d i e r e n t p h e -

n o m e n a o n t h e b a s i s o f m o r e o b v i o u s c r i t e r i a . B u t

f o r t h e e l e c t r o n i c s y s t e m , d e s i g n e d t o d i a g n o s e a

v a s t v a r i e t y o f p h e n o m e n a , i t m a y v e r y w e l l b e o f

g r e a t i m p o r t a n c e t o ' k n o w ' e v e r y e x t r a d e s c r i p t i o n

n e g l e c t e d b y t h e e x p e r t .

T h e e x t r a c t e d r u l e s w e r e m o r e p r e c i s e i n t h e i r d e -

g r e e o f f u z z y m e m b e r s h i p , s i n c e t h e y w e r e a c t u a l l y

c a l c u l a t e d f r o m e x a m p l e s .

F o r o u r e x a m p l e o f t h e b u l b u s a r t i f a c t , t h e p h y s i c i a n

f o r m u l a t e d t h e r u l e :

( 4 ) I F f r e q u e n c y = d e l t a a n d a m p l i t u d e = h i g h T H E N b a

T h e a u t o m a t i c a l l y g e n e r a t e d r u l e b a s e c o n t a i n e d a

w h o l e g r o u p o f r u l e s w i t h d i e r e n t r u l e s t r e n g t h s . T h e

p r e m i s e s , c o n c l u s i o n s a n d r u l e s t r e n g t h s a r e s h o w n i n t h e

f o l l o w i n g t a b l e ( c o m p a r e t o t h e n e t w o r k c o n n e c t i o n s i n

g u r e 2 ) . O n l y t h e r u l e s w i t h r u l e s t r e n g h t s ( R S ) a b o v e

1 . 0 a r e l i s t e d , w h i l e r u l e s w i t h l o w e r r u l e s t r e n g t h s w e r e

p r u n e d .

P R E M I S E C O N C L U S I O N R S

d e l t a m i d O R d e l t a h i g h b a 1 . 7 5

d e l t a z e r o N O T b a 1 . 5 1

d e l t a h i g h b a 2 . 7 3

T h i s d e t a i l e d r u l e b a s e i s t h e r e a s o n , w h y t h e s y s t e m w a s

a b l e t o d e t e c t 1 0 % l o w - a m p l i t u d e a r t i f a c t s ( s e e g u r e 4 ) .

T h i s w o u l d n o t h a v e b e e n p o s s i b l e w i t h t h e m e r e e x p e r t

r u l e ( 4 ) .

5 D i s c u s s i o n

B y c o m b i n i n g t h r e e m a j o r m e t h o d s o f A r t i c i a l I n t e l l i -

g e n c e i n t o a s i n g l e h y b r i d s y s t e m w e m a n a g e d t o c o m b i n e

m o s t o f t h e i r a d v a n t a g e s , a v o i d i n g s o m e o f t h e i r d i s a d -

v a n t a g e s a t t h e s a m e t i m e .

T h e h y b r i d s y s t e m , d e s c r i b e d i n t h i s a r t i c l e , i n t r o -

d u c e s t h e f o l l o w i n g n e w p a r a d i g m s o f m o d e l i n g t h e c o g -

n i t i v e t a s k o f d i a g n o s i s :

I n s t e a d o f e i t h e r a c q u i r i n g t h e w h o l e k n o w l e d g e

b a s e a u t o m a t i c a l l y f r o m e x a m p l e s , b e i n g a n i n d u c -

t i v e l e a r n i n g m e t h o d

M i c h a l s k i , 1 9 8 3 , o r r e n -

i n g a r o u g h k n o w l e d g e b a s e

O u r s t o n a n d M o o n e y ,

1 9 9 4 , b e i n g a n e n h a n c e d e x p l a n a t i o n - b a s e d l e a r n -

i n g m e t h o d

M i n t o n e t a l . , 1 9 9 0 , w e a r e u s i n g a

d u a l s o u r c e k n o w l e d g e b a s e . T h i s k n o w l e d g e b a s e

c o n s i s t s o f t w o s e t s o f r u l e s , c o e x i s t i n g w i t h e q u a l

i m p o r t a n c e , o n e g e n e r a t e d d e d u c t i v e l y f r o m r u l e s

f o r m u l a t e d b y a n e x p e r t a n d a n o t h e r o n e g e n e r a t e d

i n d u c t i v e l y b y m a c h i n e l e a r n i n g i n a n e u r a l n e t w o r k .

T h i s o e r s t h e f u l l r a n g e o f b e n e t s f r o m n e u r a l n e t -

w o r k l e a r n i n g . A d d i t i o n a l l y , t h e a u t o m a t i c a l l y a c -

q u i r e d r u l e s c a n b e s u p e r v i s e d a n d a d a p t e d i n t h e

e x p e r t s y s t e m , e l i m i n a t i n g t h e b l a c k b o x p r o b l e m

( s e e S u b s e c t i o n 2 . 2 ) .

T h e c o e x i s t e n c e o f t h e t w o r e s u l t i n g r u l e b a s e s , w i t h

t h e p o s s i b i l i t y o f c o m p e t i n g k n o w l e d g e , i s n o t o n l y

p e r m i t t e d b u t d e s i r e d . T h e c o m p e t i t i o n o f r u l e s a n d

t h e m e c h a n i s m o f t a k i n g f u r t h e r r u l e s i n t o a c c o u n t

i s p a r t o f t h e c o g n i t i v e d e c i s i o n t a s k .

B e s i d e s t h e i n t e g r a t i o n o f t h e e x i s t i n g f u z z y n e u r a l

n e t w o r k a n d f u z z y e x p e r t s y s t e m , s o m e i n t e l l i g e n t i n t e r -

f a c i n g t e c h n i q u e s a r e i n t r o d u c e d , t h a t m i g h t a s w e l l b e

u s e d f o r d i e r e n t a p p l i c a t i o n s :

A t w o - d i m e n s i o n a l m a p p i n g t e c h n i q u e , u s e d t o a s -

s i g n t h e m e m b e r s h i p v a l u e s o f l i n g u i s t i c v a r i a b l e

t e r m s t o i n p u t l a y e r n e u r o n s o f a n e t w o r k . B y

t h i s m e a n s , i t i s p o s s i b l e t o i n p u t e x i s t i n g f u z z y

r e p r e s e n t a t i o n s i n t o n e u r a l n e t w o r k s i n o r d e r t o

a u t o n o m o u s l y a c q u i r e c a s e - b a s e d k n o w l e d g e f r o m

s a m p l e d a t a ( s e e S u b s e c t i o n 3 . 2 ) .

A n a p p l i c a t i o n - s p e c i c f u z z i c a t i o n o f s p e c t r a l E E G

d a t a t h a t w i l l w o r k f o r m o s t o t h e r m u l t i d i m e n s i o n a l

d a t a , e s p e c i a l l y o t h e r f r e q u e n c y d o m a i n d a t a , l i k e

v o i c e s p e c t r a i n s p e e c h r e c o g n i t i o n , a s w e l l a s a l l

k i n d s o f m e d i c a l i m a g e s ( s e e S u b s e c t i o n 3 . 1 ) .

O u r p r e l i m i n a r y r e s u l t s ( s e e S e c t i o n 4 ) p o i n t o u t s o m e

p r o m i s i n g f e a t u r e s :

W e p r o v e d t h e p o s s i b l e p r e c i s i o n o f o u r s y s t e m , b e -

i n g m o r e a c c u r a t e t h a n t h e h u m a n e x p e r t , w h e n

a p p l i e d t o t h e t a s k o f d i a g n o s i n g b u l b u s a r t i f a c t s i n

E E G s .

C o m p a r i n g t h e t w o r u l e s e t s o f o u r d u a l s o u r c e

k n o w l e d g e b a s e i t s h o w e d t h a t t h e i n d u c t i v e l y a c -

q u i r e d s e t w a s m o r e e x t e n s i v e a n d o f h i g h e r p r e c i -

s i o n t h a n t h e o n e d e d u c t i v e l y a c q u i r e d .

I n f u t u r e w e p l a n t o i n v e s t i g a t e t h e i n t e r f e r e n c e e f -

f e c t s o f a d u a l s o u r c e k n o w l e d g e b a s e . T h e y o c c u r w h e n

t h e t w o b a s e s c o n t a i n c o n t r a d i c t o r y o r s i m i l a r r u l e s w i t h

d i e r e n t r u l e s t r e n g t h s . F o r t h e c a s e o f p e r f e c t c o n t r a -

d i c t i o n o f t w o r u l e s , p o s s i b l y r e s u l t i n g i n n o c o n c l u s i o n ,

a t h i r d r u l e c o u l d b e g e n e r a t e d b y a s u p e r v i s i n g m e c h -

a n i s m t o i n d i c a t e t o t h e u s e r t h a t s u c h a c o n t r a d i c t i o n

o c c u r r e d .

6 A c k n o w l e d g e m e n t s

T h e a u t h o r w i s h e s t o t h a n k A n d r e d e W a a l f o r h i s l a s t

p o l i s h o f t h e E n g l i s h , a s w e l l a s F r a n k R e i n e a n d M i c h a e l

T h i e l s c h e r f o r t h e i r v a l u a b l e c o m m e n t s o n a n e a r l i e r v e r -

s i o n o f t h e p a p e r .

R e f e r e n c e s

A r t i c i a l I n t e l l i g e n c e S e c t i o n , 1 9 9 3 A r t i c i a l I n -

t e l l i g e n c e S e c t i o n . C L I P S R e f e r e n c e G u i d e . N A S A ,

1 9 9 3 .

B i b e l , 1 9 9 3 W . B i b e l . W i s s e n s r e p r a s e n t a t i o n u n d I n -

f e r e n z . V i e w e g , 1 9 9 3 .


7/7

B u c h a n a n a n d S h o r t l i e , 1 9 8 5 B . G . B u c h a n a n a n d

E . H . S h o r t l i e . R u l e - b a s e d e x p e r t s y s t e m s . A d d i s o n

W e s l e y , 1 9 8 5 .

H a l g a m u g e a n d G l e s n e r , 1 9 9 3 S . K . H a l g a m u g e a n d

M . G l e s n e r . T h e f u z z y n e u r a l c o n t r o l l e r F u N e I I w i t h a

n e w a d a p t i v e d e f u z z i c a t i o n s t r a t e g y b a s e d o n C B A D

d i s t r i b u t i o n s . I n E u r o p e a n C o n g r e s s o n F u z z y a n d

I n t e l l i g e n t T e c h n o l o g i e s , p a g e s 8 5 2 { 8 5 5 . V e r l a g d e r

A u g u s t i n u s - B u c h h a n d l u n g , 1 9 9 3 .

H a l g a m u g e e t a l . , 1 9 9 3

S . K . H a l g a m u g e , W . P o c h m u l l e r , S . T i n g , M . H o h n ,

a n d M . G l e s n e r . I d e n t i c a t i o n o f u n d e r w a t e r s o n a r

i m a g e s u s i n g f u z z y - n e u r a l a r c h i t e c t u r e F u N e I . I n I n -

t e r n a t i o n a l C o n f e r e n c e o n A r t i c i a l N e u r a l N e t w o r k s

p a g e s 9 2 2 { 9 2 5 . S p r i n g e r , 1 9 9 3 .

H a l l e t a l . , 1 9 9 2 L . O . H a l l , A . M . B e n s a i d , L . P . C l a r k e ,

R . P . V e l t h u i z e n , M . S . S i l b i g e r , a n d J . C . B e z d e k . A

c o m p a r i s o n o f n e u r a l n e t w o r k a n d f u z z y c l u s t e r i n g

t e c h n i q u e s i n s e g m e n t i n g m a g n e t i c i m a g e s o f t h e

b r a i n . I E E E t r a n s a c t i o n s o n n e u r a l n e t w o r k s , 3 ( 5 ) ,

1 9 9 2 .

H e c k e r m a n , 1 9 8 6 D . H e c k e r m a n . P r o b a b i l i s t i c i n t e r -

p r e t a t i o i n f o r m y c i n ` s c e r t a i n t y f a c t o r s . I n

K a n a l a n d

L e m m e r , 1 9 8 6

]

. 1 9 8 6 .

H e r r m a n n , 1 9 9 5 a C . S . H e r r m a n n . F u z z y l o g i c a s i n t e r -

f a c i n g t e c h n i q u e i n h y b r i d a i - s y s t e m s . I n A . L . R a l e s c u ,

e d i t o r , F u z z y L o g i c i n A r t i c i a l I n t e l l i g e n c e . I J C A I

W o r k s h o p , 1 9 9 5 . t o a p p e a r .

H e r r m a n n , 1 9 9 5 b C . S . H e r r m a n n . A f u z z y n e u r a l n e t -

w o r k f o r d e t e c t i n g g r a p h o e l e m e n t s i n E E G s . I n S u p e r -

c o m p u t e r s i n B r a i n R e s e a r c h . W o r l d S c i e n t i c P u b -

l i s h i n g C o m p a n y , 1 9 9 5 .

H o l l a n d , 1 9 8 6 J . H . H o l l a n d . E s c a p i n g b r i t t l e n e s s : T h e

p o s s i b i l i t i e s o f g e n e r a l - p u r p o s e l e a r n i n g a l g o r i t h m s

t o p a r a l l e l r u l e - b a s e d s y s t e m s . I n R . S . M i c h a l s k i ,

J . G . C a r b o n e l l , a n d T . M . M i t c h e l l , e d i t o r s , M a c h i n e

L e a r n i n g , v o l u m e 2 , c h a p t e r 2 0 , p a g e s 5 9 3 { 6 2 3 . M o r -

g a n K a u f m a n n , 1 9 8 6 .

J a n d o e t a l . , 1 9 9 3 G . J a n d o , R . M . S i e g e l , Z . H o r v a t h ,

a n d G . B u z s a k i . P a t t e r n r e c o g n i t i o n o f t h e e l e c t r o e n -

c e p h a l o g r a m b y a r t i c i a l n e u r a l n e t w o r k s . E l e c t r o e n -

c e p h a l o g r a p h y a n d C l i n i c a l N e u r o p h y s i o l o g y , 8 6 : 1 0 0 {

1 0 9 , 1 9 9 3 .

K a n a l a n d L e m m e r , 1 9 8 6 L . N . K a n a l a n d J . F . L e m -

m e r , e d i t o r s . U n c e r t a i n t y i n A t r t i c i a l I n t e l l i g e n c e

N o r t h - H o l l a n d , 1 9 8 6 .

K l e m e n t a n d S l a n y , 1 9 9 3 E . P . K l e m e n t a n d W . S l a n y ,

e d i t o r s . F u z z y l o g i c i n a r t i c i a l i n t e l l i g e n c e . 8 t h A u s -

t r i a n A r t i c i a l I n t e l l i g e n c e C o n f e r e n c e , L N A I 6 9 5 ,

S p r i n g e r , 1 9 9 3 .

K n o w l e d g e S y s t e m s L a b o r a t o r y , 1 9 9 4 K n o w l e d g e S y s -

t e m s L a b o r a t o r y . F u z z y C L I P S U s e r ` s G u i d e V e r s i o n

6 . 0 2 A . N a t i o n a l R e s e a r c h C o u n c i l C a n a d a , 1 9 9 4 .

K u n c h e v a e t a l . , 1 9 9 3 L . I . K u n c h e v a , R . Z . Z l a t e v , S . N .

N e s h k o v a , a n d H . G a m p e r . A c o m b i n a t i o n s c h e m e

o f a r t i c i a l i n t e l l i g e n c e a n d f u z z y p a t t e r n r e c o g n i t i o n

i n m e d i c a l d i a g n o s i s . I n

K l e m e n t a n d S l a n y , 1 9 9 3

]

p a g e s 1 5 7 { 1 6 4 , 1 9 9 3 .

K u n c h e v a , 1 9 9 1 L . I . K u n c h e v a . E v a l u a t i o n o f c o m p u t -

e r i z e d m e d i c a l d i a g n o s t i c d e c i s i o n s v i a f u z z y s e t s . I n -

t e r n a t i o n a l J o u r n a l o n B i o m e d i c a l C o m p u t i n g , 2 8 : 9 1 {

1 0 0 , 1 9 9 1 .

L e C u n e t a l . , 1 9 9 0 Y . L e C u n , J . S . D e n k e r , a n d S . A .

S o l l a . O p t i m a l b r a i n d a m a g e . I n D . S . T o u r e t z k y ,

e d i t o r , N I P S , v o l u m e 2 , p a g e s 5 9 8 { 6 0 5 , 1 9 9 0 .

M a m e l a k e t a l . , 1 9 9 1 A . N . M a m e l a k , J . J . Q u a t t r o c h i ,

a n d J . A . H o b s o n . A u t o m a t e d s t a g i n g o f s l e e p i n c a t s

u s i n g n e u r a l n e t w o r k s . E l e c t r o e n c e p h a l o g r a p h y a n d

C l i n i c a l N e u r o p h y s i o l o g y , 7 9 : 5 2 { 6 1 , 1 9 9 1 .

M i c h a l s k i , 1 9 8 3 R . S . M i c h a l s k i . A t h e o r y a n d m e t h o d -

o l o g y o f i n d u c t i v e l e a r n i n g . I n R . S . M i c h a l s k i ,

J . G . C a r b o n e l l , a n d T . M . M i t c h e l l , e d i t o r s , M a c h i n e

L e a r n i n g , c h a p t e r 4 , p a g e s 8 3 { 1 3 4 . T i o g a , 1 9 8 3 .

M i n t o n e t a l . , 1 9 9 0 S . M i n t o n , J . G . C a r b o n e l l , C . A .

K n o b l o c k , D . R . K u o k k a , O . E t z i o n i , a n d Y . G i l .

E x p l a n a t i o n - b a s e d l e a r n i n g : A p r o b l e m s o l v i n g p e r -

s p e c t i v e . I n J . G . C a r b o n e l l , e d i t o r , M a c h i n e L e a r n i n g :

P a r a d i g m s a n d M e t h o d s , p a g e s 6 3 { 1 1 8 . M I T / E l s e v i e r ,

1 9 9 0 .

N i e d e r m e y e r a n d L o p e s d a S i l v a , 1 9 9 3

E . N i e d e r m e y e r a n d F . L o p e s d a S i l v a . E l e c t r o e n -

c e p h a l o g r a p h y , B a s i c P r i n c i p l e s , C l i n i c a l A p p l i c a t i o n s

a n d R e l a t e d F i e l d s . W i l l i a m & W i l k i n s , 1 9 9 3 .

N i s h i m u r a e t a l . , 1 9 9 1 H . N i s h i m u r a , M . K a m b e , F u -

t a g a m i , K . K . M o r i s h i t a , a n d T s u b o k u r a T . F u z z y

r e a l i z a t i o n i n c l i n i c a l t e s t d a t a b a s e s y s t e m . I n t e r n a -

t i o n a l J o u r n a l o n B i o m e d i c a l C o m p u t i n g , 2 8 : 2 8 9 { 2 9 6 ,

1 9 9 1 .

O r s i e r e t a l . , 1 9 9 4 B . O r s i e r , I . I o r d a n o v a , V . R i a l l e ,

A . G i a c o m e t t i , a n d A . V i l l a . H y b r i d s y s t e m s f o r e x -

p e r t i s e m o d e l i n g : F r o m c o n c e p t s t o a m e d i c a l a p p l i -

c a t i o n i n e l e c t r o m y o g r a p h y . C o m p u t e r s a n d A r t i c i a l

I n t e l l i g e n c e , 1 3 ( 5 ) : 4 2 3 { 4 4 0 , 1 9 9 4 .

O u r s t o n a n d M o o n e y , 1 9 9 4

D . O u r s t o n a n d R . J . M o o n e y . T h e o r y r e n e m e n t

c o m b i n i n g a n a l y t i c a l a n d e m p i r i c a l m e t h o d s . A r t i -

c i a l I n t e l l i g e n c e J o u r n a l , 6 6 : 2 7 3 { 3 0 9 , 1 9 9 4 .

R u m e l h a r t a n d M c C l e l l a n d , 1 9 8 6 D . E . R u m e l h a r t

a n d J . L . M c C l e l l a n d . P a r a l l e l D i s t r i b u t e d P r o c e s s -

i n g : E x p l o r a t i o n s i n t h e M i c r o s t r u c t u r e o f C o g n i t i o n

M I T P r e s s , 1 9 8 6 .

S h o r t l i e , 1 9 7 6 E . H . S h o r t l i e . C o m p u t e r - b a s e d m e d -

i c a l c o n s u l t a t i o n : M Y C I N . A m e r i c a n E l s e v i e r , 1 9 7 6 .

T h r u n a n d M i t c h e l l , 1 9 9 3

S . T h r u n a n d T . M . M i t c h e l l . I n t e g r a t i n g i n d u c t i v e

n e u r a l n e t w o r k l e a r n i n g a n d e x p l a n a t i o n - b a s e d l e a r n -

i n g . I n P r o c e e d i n g s I J C A I - 9 3 , p a g e s 9 3 0 { 9 3 6 . M o r g a n

K a u f m a n n , 1 9 9 3 .

Z a d e h , 1 9 6 5 L . A . Z a d e h . F u z z y s e t s . I n f o r m a t i o n a n d

C o n t r o l , 8 : 3 3 8 { 3 5 3 , 1 9 6 5 .

Z a d e h , 1 9 9 3 L . A . Z a d e h . T h e r o l e o f f u z z y l o g i c a n d

s o f t c o m p u t i n g i n t h e c o n c e p t i o n a n d d e s i g n o f i n t e l -

l i g e n t s y s t e m s . I n

K l e m e n t a n d S l a n y , 1 9 9 3

]

, p a g e 1 ,

1 9 9 3 .

a hybrid fuzzy-neural expert system for diagnosis

Documents