1 introduction 2 information mapping and word space nent analysis - re- - 1998

8/12/2019 1 Introduction 2 Information Mapping and Word Space Nent Analysis - Re- - 1998

1/8

I n f o r m a t i o n M a p p i n g

{ C o n c e p t - b a s e d I n f o r m a t i o n R e t r i e v a l b a s e d o n W o r d A s s o c i a t i o n s

Y a s u h i r o T a k a y a m a

, R a y m o n d S . F l o u r n o y

y

, S t e f a n K a u f m a n n

z

C e n t e r f o r t h e S t u d y o f L a n g u a g e a n d I n f o r m a t i o n

S t a n f o r d U n i v e r s i t y

A u g u s t 2 7 , 1 9 9 8

1 I n t r o d u c t i o n

T h i n k i n g a n d c o m m u n i c a t i n g a r e s i t u a t e d a c -

t i v i t i e s t h a t a l w a y s o c c u r w i t h i n s o m e p a r t i c -

u l a r c o n t e x t 3 ] . I n t h e C o m p u t a t i o n a l S e -

m a n t i c s L a b o r a t o r y a t C e n t e r f o r t h e S t u d y

o f L a n g u a g e a n d I n f o r m a t i o n ( C S L I ) , d i r e c t e d

b y S t a n l e y P e t e r s , w e a r e d e v e l o p i n g m o d e l s

o f l a n g u a g e , c o m p u t a t i o n a n d i n f e r e n c e w h i c h

t a k e i n t o a c c o u n t t h e c o n t e x t i n w h i c h t h e s e

a c t i v i t i e s o c c u r . W e t h e n a p p l y t h e s e t e c h -

n i q u e s t o p r o b l e m s i n i n f o r m a t i o n r e t r i e v a l ,

n a t u r a l l a n g u a g e p r o c e s s i n g ( N L P ) , a n d c o m -

m u n i c a t i o n a m o n g s o f t w a r e a g e n t s .

O u r v a r i o u s p r o j e c t s s e e k a n s w e r s t o a n u m -

b e r o f p r a c t i c a l q u e s t i o n s : H o w c a n I r e t r i e v e

t h e d o c u m e n t s I w a n t f r o m t h e I n t e r n e t ? H o w

c a n I g e t a r o b o t t o u n d e r s t a n d m y r e q u e s t

b a s e d o n t h e c u r r e n t c o n t e x t ? H o w c a n s o f t -

w a r e a g e n t s b e s t c o m m u n i c a t e i n o r d e r t o

s o l v e c o m p l e x p r o b l e m s c o o p e r a t i v e l y ?

T h i s d o c u m e n t d e s c r i b e s o n e o f o u r s u b p r o -

j e c t s : \ I n f o r m a t i o n m a p p i n g " ( I n f o M a p , f o r

s h o r t ) .

C S L I v i s i t i n g s c h o l a r , M i t s u b i s h i E l e c t r i c C o r p .

y

C o m p u t e r S c i e n c e D e p a r t m e n t a n d C S L I

z

L i n g u i s t i c s D e p a r t m e n t a n d C S L I

2 I n f o r m a t i o n M a p p i n g

a n d W o r d S p a c e

2 . 1 A s s o c i a t i v e I n f o r m a t i o n R e -

t r i e v a l

T h e g o a l o f t h e I n f o M a p p r o j e c t i s i n t e l l i g e n t ,

c o n c e p t - b a s e d i n f o r m a t i o n r e t r i e v a l . C u r -

r e n t l y , d o c u m e n t r e t r i e v a l f r o m l a r g e t e x t

d a t a b a s e s | s u c h a s l i b r a r y c a r d c a t a l o g s o r

n e w s p a p e r a r c h i v e s | i s b a s e d o n k e y w o r d

s e a r c h . A q u e r y i s p o s e d a s a l i s t o f w o r d s ,

a n d a n y e n t r i e s i n t h e d a t a b a s e w h i c h c o n t a i n

a n y o r a l l o f t h o s e s p e c i c w o r d s a r e r e t u r n e d .

H o w e v e r , i f w e t r e a t t h o s e q u e r y w o r d s n o t

a s l i t e r a l s t r i n g s o f l e t t e r s , b u t a s r e p r e s e n t i n g

c o n c e p t s , t h e n w e c a n r e t r i e v e r e l e v a n t d o c u -

m e n t s e v e n i f t h e y d o n o t c o n t a i n t h e s p e c i c

w o r d s u s e d i n t h e q u e r y .

O u r b a s i c a p p r o a c h , d e v e l o p e d b y H i n r i c h

S c h u t z e 1 3 ] , b e g i n s b y r e c o r d i n g t h e f r e -

q u e n c y o f c o - o c c u r r e n c e b e t w e e n w o r d s i n t h e

t e x t t h a t i s , t h e n u m b e r o f t i m e s t w o w o r d s

a p p e a r \ n e a r " e a c h o t h e r , e . g . , i n t h e s a m e

d o c u m e n t . T h e d i s t r i b u t i o n o f c o - o c c u r r e n c e s

b e t w e e n a w o r d a n d s o m e s e t o f c o n t e n t -

b e a r i n g w o r d s t h e n s e r v e s a s a p r o l e o f t h e

w o r d ' s u s a g e , a n d t h u s o f i t s m e a n i n g a s w e l l .

B y c o m p a r i n g t h e p r o l e s o f d i e r e n t w o r d s ,

1


2/8

T a b l e 1 : A n e x a m p l e o f c o - o c c u r r e n c e m a t r i x

c o n t e n t - b e a r i n g w o r d s

w o r d s m a r k e t l a s t

s u n d a y 9 7 2 1 5

w e e k e n d 2 0 1 4 0 8

w e c a n c o n s t r u c t a m e a s u r e o f h o w r e l a t e d

t h o s e w o r d s a r e . G e n e r a l i z i n g t h i s w o r d s i m -

i l a r i t y d e r i v e d f r o m l e x i c a l c o - o c c u r r e n c e , b y

c o m p a r i n g t h e q u e r y w o r d s ' p r o l e s t o p r o l e s

g e n e r a t e d f o r e a c h d o c u m e n t , w e c a n r e t u r n

d o c u m e n t s w h i c h w e j u d g e t o b e c o n c e p t u a l l y

r e l a t e d t o t h e q u e r y w o r d s , e v e n i f t h e w o r d s

t h e m s e l v e s d o n o t a p p e a r i n t h e t e x t | t h i s i s

w h a t w e c a l l a s s o c i a t i v e i n f o r m a t i o n r e t r i e v a l .

2 . 2 W o r d S p a c e a n d S V D

T h e l e x i c a l c o - o c c u r r e n c e s b e t w e e n a w o r d

a n d c o n t e n t - b e a r i n g w o r d s a r e r e c o r d e d i n t h e

c o - o c c u r r e n c e m a t r i x w h i c h c r e a t e s a h i g h -

d i m e n s i o n a l s p a c e . T h i s a b s t r a c t s p a c e f o r m s

a c o n c e p t s p a c e i n w h i c h s i m i l a r w o r d s ( o r

m o r e s p e c i c a l l y , w o r d s w i t h s i m i l a r d i s t r i b u -

t i o n a l b e h a v i o r ) h a v e s i m i l a r v e c t o r s ( S e e T a -

b l e 1 ) .

T h e c o - o c c u r r e n c e m a t r i x s u e r s f r o m t w o

p r o b l e m s : t o o m a n y w o r d f e a t u r e s a n d d a t a

s p a r s e n e s s . T o s o l v e t h e s e p r o b l e m s , w e a p p l y

S V D ( S i n g u l a r V a l u e D e c o m p o s i t i o n ) 6 ] t o

t h e c o - o c c u r r e n c e m a t r i x a s a t o o l f o r d i m e n -

s i o n a l i t y r e d u c t i o n a n d g e n e r a l i z a t i o n . S V D

f a c t o r s e v e r y m b y n m a t r i x A i n t o

A

m n

=

U

m m

m n

V

T

n n

( 1 )

w h e r e t h e l e f t m a t r i x U a n d t h e r i g h t m a t r i x V

a r e o r t h o g o n a l m a t r i c e s a n d t h e s i n g u l a r m a -

t r i x i s d i a g o n a l .

E q u a t i o n ( 1 ) s h o w s t h e f u l l S V D i n l i n e a r a l -

g e b r a . W e u s e t h e l e f t o r t h o g o n a l m a t r i x U a s

t h e r e d u c e d m a t r i x , t h e o u t p u t f r o m t h e p a r -

t i a l S V D ( F i g u r e 1 ) . T h e r o w s o f t h e r e d u c e d

m a t r i x { w o r d v e c t o r s { a p p r o x i m a t e a s s o c i -

a t i o n s a m o n g t h e w o r d s e n s e s . T h i s r e d u c e d

s p a c e f r o m t h e p r e v i o u s c o n c e p t s p a c e i s c a l l e d

W o r d S p a c e . I t p o t e n t i a l l y r e e c t s a s s o c i a t i v e

b e h a v i o r o f w o r d s c a p t u r e d t h r o u g h s e c o n d -

o r d e r c o - o c c u r r e n c e i n f o r m a t i o n .

p: # of content-bearing wordsn: # of words concerned

p n

Cn p

lexical co-occurrence ma trix

normalized

row vectors of U

Word Space

C U V (k rank(C) p ) n p n k k k k p

(par t ia l) SVD

F i g u r e 1 : P a r t i a l S V D f o r W o r d S p a c e

A n o t h e r u s e o f S V D i n i n f o r m a t i o n r e t r i e v a l

i s w o r d b y d o c u m e n t m a t r i x r e d u c t i o n f o r L S I

( L a t e n t S e m a n t i c I n d e x i n g ) 2 ] . T h e d i e r e n c e

b e t w e e n W o r d S p a c e a n d L S I i s d i s c u s s e d i n

1 4 ] .

B y c l u s t e r i n g t h e w o r d v e c t o r s b a s e d o n

t h e i r p r o x i m i t y , t h e W o r d S p a c e c a n b e u s e d

f o r t h e w o r d s e n s e d i s a m b i g u a t i o n a n d t h e -

s a u r u s c o n s t r u c t i o n 1 3 ] 1 5 ] .

2 . 3 S V D a n d P r i n c i p a l C o m p o -

n e n t A n a l y s i s

S V D i s n o t a d i r e c t s t a t i s t i c a l t e c h n i q u e b u t

r a t h e r a m a t r i x f a c t o r i z a t i o n i n l i n e a r a l g e b r a

2


3/8

1 6 ] . W h e n a m a t r i x t o b e p r o c e s s e d c o n s i s t s

o f s o m e s t a t i s t i c a l o b s e r v a t i o n s , S V D b e c o m e s

a p o w e r f u l t o o l f o r s t a t i s t i c a l a n a l y s i s .

S V D h a s a c l o s e r e l a t i o n s h i p w i t h p r i n c i -

p a l c o m p o n e n t a n a l y s i s ( P C A ) , a f e a t u r e r e -

d u c t i o n t e c h n i q u e u s e d i n m u l t i v a r i a t e a n a l -

y s i s . 9 ] 1 3 ] . M u l t i v a r i a t e a n a l y s i s c o n c e r n s

a s s o c i a t i o n s a m o n g m u l t i p l e v a r i a b l e s ( f e a -

t u r e s ) w i t h t h e g o a l o f d i s c o v e r i n g r e l a t i o n -

s h i p s a m o n g t h e m u l t i v a r i a t e p r o l e s o f t h e

d a t a .

S u p p o s e t h a t m a t r i x X i s a p n m a t r i x

o f o b s e r v a t i o n s ( o r a d a t a m a t r i x ) . I f m a t r i x

B i s a m a t r i x i n m e a n - d e v i a t i o n f o r m o f t h e

d a t a m a t r i x X , a n d i f A = ( 1 =

p

n ; 1 ) B

T

,

t h e n A

T

A b e c o m e s t h e u n b i a s e d c o v a r i a n c e

m a t r i x S . ( T h e s u p e r s c r i p t T d e n o t e s t r a n s p o -

s i t i o n ) . W e c a n c a l c u l a t e t h e e i g e n v a l u e s a n d

t h e e i g e n v e c t o r s b y t h e e i g e n v a l u e d e c o m p o s i -

t i o n f r o m t h e p p c o v a r i a n c e m a t r i x S .

E i g e n v a l u e d e c o m p o s i t i o n c a n b e a p p l i e d t o

t h e s q u a r e m a t r i c e s o n l y , b u t S V D c a n b e a p -

p l i e d t o a n y r e c t a n g u l a r m a t r i c e s . T h u s t h e

c a l c u l a t i o n o f S V D i s m o r e c o n v e n i e n t t h a n

e i g e n v a l u e d e c o m p o s i t i o n .

S V D c a n b e u s e d a s a t o o l f o r p e r f o r m i n g

P C A . W h e n w e a p p l y S V D t o t h e m a t r i x A ,

t h e s q u a r e o f t h e s i n g u l a r v a l u e s o f A a r e t h e

p e i g e n v a l u e s o f t h e c o v a r i a n c e m a t r i x S , a n d

t h e r i g h t s i n g u l a r v e c t o r s v

1

v

p

] o f A a r e

t h e c o e c i e n t s o f t h e p r i n c i p a l c o m p o n e n t s o f

t h e d a t a i n t h e m a t r i x X . T h e n v

T

i

X i s t h e

i - t h p r i n c i p a l c o m p o n e n t ( S e e F i g u r e 2 ) .

I n W o r d S p a c e , w e d i r e c t l y a p p l y S V D

t o t h e o r i g i n a l d a t a m a t r i x ( i . e . l e x i c a l c o -

o c c u r r e n c e m a t r i x C i n o u r c a s e ) i n s t e a d o f

t h e m a t r i x A , t h e m e a n - d e v i a t i o n f o r m w i t h a

c o e c i e n t 1 =

p

n ; 1 ( S e e F i g u r e 1 ) .

3 S y s t e m O r g a n i z a t i o n

T h e r e t r i e v a l m o d e l o f t h e I n f o M a p s e a r c h e n -

g i n e i s b a s e d o n a v e c t o r s p a c e m o d e l 1 2 ] ,

S = Q QT

A = U VT

: matrix of

statistical observations

p n B = [(X1 - ) (Xn - )]X X : mean-deviation

form

= Xn

X1

j = 1

n

j

1 .

.

.

p

=1 .

.

.

p

=

VT= [v1 vp] Q= [q1 qp]

X = [ X1 Xn]p n

: sample mean

A= BT

S = BBT

pp

1

n - 1

2

i ( = i) : eigenvalue

vi ( = qi) : eigenvector , i.e., coefficient of i-th

principal component

: unbiased

covariance matri

Eigenvalue DecompositionSVD

p: # of features (variables)

n: # of observations

n p

1

n - 1

F i g u r e 2 : R e l a t i o n b e t w e e n S V D a n d P C A

t h a t i s , t h e d o c u m e n t s a n d t h e q u e r i e s a r e

r e p r e s e n t e d a s v e c t o r s i n t h e h i g h - d i m e n s i o n a l

s p a c e , j u s t a s t h e w o r d s a r e .

T h e s e a r c h e n g i n e o f I n f o M a p c o n s i s t s o f t h e

d o c u m e n t r e g i s t r a t i o n p h a s e t h a t c r e a t e s t h e

W o r d S p a c e ( c o n c e p t b a s e ) a n d t h e d o c u m e n t

r e t r i e v a l p h a s e , s i m i l a r t o o t h e r i n f o r m a t i o n

r e t r i e v a l s y s t e m s . T h i s s e c t i o n i l l u s t r a t e s t h e

f u n c t i o n s o f t h e s e p h a s e s .

3 . 1 W o r d S p a c e b a s e d o n l e x i c a l

c o - o c c u r r e n c e

T h e d o c u m e n t r e g i s t r a t i o n p h a s e o f I n f o M a p

i s t h e W o r d S p a c e ( c o n c e p t b a s e ) c o n s t r u c t i o n

3


4/8

f u n c t i o n s b a s e d o n l e x i c a l c o - o c c u r r e n c e i n t h e

t e x t c o r p u s ( F i g u r e 3 ) .

ordered w ord-count

dictionary

tokenized text corpus

list of

content-bearing

words

tokenization

dictionary creation

co-occurrence freq uency calcura tion

raw t ext corpus

co-occurrence mat rix

(column file) (index file)

SVD(Singular Value Decomposition)

list of stop words

document vector calcuration

word vectors

reduced m atr ix

docum ent vectors

WordSpace

stemming

F i g u r e 3 : W o r d S p a c e C o n s t r u c t i o n

1 . T o k e n i z a t i o n o f t e x t c o r p u s

T h e r s t s t a g e o f p r o c e s s i n g p r o d u c e s a

t o k e n i z e d c o r p u s . T h e c o r p u s ( c o l l e c t i o n

o f d o c u m e n t s ) c a n b e t o k e n i z e d b y p a s s -

i n g i t t h r o u g h a t o k e n i z e r o r a m o r p h o -

l o g i c a l a n a l y z e r . T h e s t e m m i n g 1 0 ] , 5 ]

i n t h e t o k e n i z e r i s o p t i o n a l .

2 . C a l c u l a t i o n o f w o r d f r e q u e n c i e s

T h e s e c o n d s t a g e o f p r o c e s s i n g p r o d u c e s

a w o r d c o u n t d i c t i o n a r y . T h e c o u n t d i c -

t i o n a r y i s a w o r d l i s t o f t o k e n s a n d t h e i r

f r e q u e n c i e s i n t h e c o r p u s , o r d e r e d b y f r e -

q u e n c y o f a p p e a r a n c e o f t h e t o k e n s .

3 . C a l c u l a t i o n o f c o - o c c u r r e n c e f r e q u e n c i e s

F o r e a c h o f t h e 2 0 , 0 0 0

1

m o s t f r e q u e n t l y

o c c u r r i n g w o r d s i n t h e c o r p u s , a v e c -

t o r o f 1 , 0 0 0 c o - o c c u r r e n c e c o u n t s i s c r e -

a t e d , a n d t h e s e v e c t o r s s e r v e a s p r o l e s

o f e a c h w o r d ' s d i s t r i b u t i o n . T h e 1 , 0 0 0 e n -

t r i e s i n t h e v e c t o r r e p r e s e n t a s e t o f 1 , 0 0 0

w o r d s w h i c h h a v e b e e n d e t e r m i n e d t o b e

c o n t e n t - b e a r i n g i n t h e f o l l o w i n g s e n s e .

T h e c o n t e n t - b e a r i n g w o r d s a r e c h o s e n b y

c o n s i d e r i n g e i t h e r t h e w o r d ' s t o t a l f r e -

q u e n c y o f a p p e a r a n c e i n t h e c o r p u s , t h e

w o r d ' s p a r t - o f - s p e e c h i n f o r m a t i o n , o r a

c a l c u l a t i o n o f t h e r e l a t i v e c o n c e n t r a t i o n

o f t h e w o r d w i t h i n t h e d o c u m e n t s i n t h e

c o r p u s . T h i s c a l c u l a t i o n { c a l l e d t h e \ d i s -

p e r s i o n " o f a w o r d { e x p l o i t s t h e i d e a t h a t

w o r d s w h i c h a r e n o t d i s t r i b u t e d e v e n l y

t h r o u g h o u t t h e d o c u m e n t s i n a c o r p u s a r e

m o r e l i k e l y t o b e c o n t e n t - b e a r i n g .

W e c h o o s e t h e 5 1 t o 1 , 0 5 0 m o s t f r e q u e n t l y

o c c u r r i n g w o r d s i n t h e c o r p u s a s a b a s i c

s e t o f t h e c o n t e n t - b e a r i n g w o r d s .

E a c h t i m e o n e o f t h e 2 0 , 0 0 0 c o u n t w o r d s

a p p e a r s w i t h i n a w i n d o w { a s p e c i c r a n g e

a r o u n d o n e o f t h e c o n t e n t - b e a r i n g w o r d s

{ t h e a p p r o p r i a t e c o u n t i n i t s v e c t o r i s

i n c r e m e n t e d . A w o r d f a l l s w i t h i n r a n g e

i f i t i s w i t h i n a c e r t a i n d i s t a n c e f r o m t h e

c o n t e n t - b e a r i n g w o r d , o r i f i t i s w i t h i n t h e

s a m e s e n t e n c e , p a r a g r a p h , o r d o c u m e n t

a s t h e c o n t e n t - b e a r i n g w o r d .

A f t e r a l l d o c u m e n t s i n t h e c o r p u s h a v e

b e e n p r o c e s s e d , t h e s q u a r e r o o t o f e a c h

c o u n t i s t a k e n t o s m o o t h o u t t h e e e c t s

o f e x t r e m e n u m b e r s , a n d t h e v e c t o r s a r e

w r i t t e n o u t t o d i s k . S o t h e a c t u a l ( i j ) -

t h e l e m e n t o f t h e c o - o c c u r r e n c e m a t r i x i s

1

T h e n u m b e r s o f t h e d i m e n s i o n s i n t h i s d o c u m e n t

a r e e x a m p l e o n e s w e u s e d i n o u r e x p e r i m e n t . T h e y c a n

b e c h a n g e d b y s e t t i n g t h e p a r a m e t e r s i n t h e s y s t e m

c o n g u r a t i o n .

4


5/8

r e p r e s e n t e d b y a r e a l v a l u e :

c

i j

= ( c o o c

i j

) ( 2 )

w h e r e c o o c

i j

i s t h e c o - o c c u r r e n c e c o u n t o f

w o r d i w i t h i n a w i n d o w f r o m a c o n t e n t -

b e a r i n g w o r d j t h r o u g h o u t t h e c o r p u s ,

a n d i s t h e t r a n s f o r m a t i o n o f t h e c o u n t

d a t a . W e u s e t h e s q u a r e r o o t a s t h e b a s i c

t r a n s f o r m a t i o n b u t o t h e r t r a n s f o r m a t i o n s

m i g h t b e u s e f u l . T h e s t a n d a r d s e t t i n g o f

t h e w i n d o w s i z e i s 5 1 ( 2 5 w o r d s t o t h e l e f t

a n d t o t h e r i g h t o f t h e c u r r e n t w o r d ) .

4 . A n a l y s i s o f t h e s e c o n d - o r d e r

c o - o c c u r r e n c e

T h e 2 0 , 0 0 0 v e c t o r s ( t h e r o w s o f t h e c o -

o c c u r r e n c e m a t r i x ) r e p r e s e n t p o i n t s i n a

1 , 0 0 0 - d i m e n s i o n a l s p a c e . T o m a k e c o m -

p u t a t i o n s u s i n g t h e c o n c e p t s p a c e m o r e

t r a c t a b l e , i t i s n e c e s s a r y t o l o w e r t h e d i -

m e n s i o n a l i t y o f t h e s p a c e . T h e t o o l w e

u s e f o r r e d u c i n g t h e d i m e n s i o n a l i t y o f t h e

c o - o c c u r r e n c e c o u n t m a t r i x i s S V D 6 ] .

T h i s c a l c u l a t i o n i s d o n e b y f e e d i n g t h e

m a t r i x t h r o u g h t h e S V D P a c k s o f t w a r e

p a c k a g e

2

1 ] , a p r o c e s s w h i c h i t e r a -

t i v e l y e x t r a c t s t h e m o s t i m p o r t a n t d i m e n -

s i o n a l f e a t u r e s t o a p p r o x i m a t e t h e h i g h -

d i m e n s i o n a l s p a c e w i t h o n e o f a m u c h

l o w e r d i m e n s i o n a l i t y .

T h e l e f t o r t h o g o n a l m a t r i x U , t h e o u t -

p u t o f t h e p a r t i a l S V D i n F i g u r e ( 1 ) i s

n o w r e d u c e d t o 1 0 0 d i m e n s i o n s . T o c a l -

c u l a t e t h e n o r m a l i z e d v e c t o r s , t h e r o w s

o f t h e r e d u c e d l e f t m a t r i x a r e d i v i d e d

b y t h e i r l e n g t h s , c o n v e r t i n g t h e m t o u n i t

v e c t o r s . T h e s e n o r m a l i z e d l e f t s i n g u -

l a r v e c t o r s s e r v e a s t h e w o r d v e c t o r s u

i

( i = 1 : : : 2 0 0 0 0 ) i n W o r d S p a c e d e r i v e d

f r o m t h e l e x i c a l c o - o c c u r r e n c e .

2

C o p y r i g h t 1 9 9 3 , U n i v e r s i t y o f T e n n e s s e e , d i s -

t r i b u t e d t h r o u g h h t t p : / / w w w . n e t l i b . o r g .

5 . C r e a t i o n o f d o c u m e n t v e c t o r s o n W o r d

S p a c e

( a ) E a c h d o c u m e n t i s p r o c e s s e d i n t o a

d o c u m e n t v e c t o r o f l e n g t h 1 0 0 . T h i s

i s d o n e b y r e a d i n g i n t h e i n d i v i d -

u a l w o r d v e c t o r s p r e v i o u s l y c a l c u -

l a t e d f o r t h e 2 0 , 0 0 0 m o s t f r e q u e n t l y

o c c u r r i n g w o r d s i n t h e c o r p u s , a n d

s u m m i n g t h e n o r m a l i z e d v e c t o r s c o r -

r e s p o n d i n g t o e a c h o f t h e w o r d s i n

t h e d o c u m e n t :

d

j

=

X

i

w

i j

u

i

( 3 )

w h e r e d

j

i s t h e d o c u m e n t v e c t o r f o r

d o c u m e n t j , w

i j

i s t h e w e i g h t f o r

w o r d i i n d o c u m e n t j , a n d u

i

i s t h e

w o r d v e c t o r f o r w o r d i o c c u r r e d i n

d o c u m e n t j . T h e d e f a u l t w e i g h t w

i j

i s 1 . T h e t f i d f ( t e r m f r e q u e n c y

i n v e r s e d o c u m e n t f r e q u e n c y ) w e i g h t

i s u s e d i n 1 4 ] .

O p t i o n a l l y , o n e m a y c h o o s e t o d i s r e -

g a r d t h e v e c t o r s o f s t o p w o r d s , c e r -

t a i n w o r d s t h a t a r e e x p e c t e d t o b e s o

g e n e r a l o r s o c o m m o n t h a t t h e y w i l l

n o t c o n t r i b u t e i n f o r m a t i v e l y t o t h e

v e c t o r . W e u s e t h e 1 t o 5 0 m o s t f r e -

q u e n t l y o c c u r r i n g w o r d s i n t h e c o r -

p u s a s a b a s i c s e t o f t h e s t o p w o r d s .

A f t e r d o c u m e n t v e c t o r s a r e c a l c u -

l a t e d f o r e a c h o f t h e d o c u m e n t s i n

t h e c o r p u s , t h e y a r e w r i t t e n t o d i s k

w i t h t h e b y t e l o c a t i o n o f t h e d o c u -

m e n t .

( b ) T h e 1 0 0 - d i m e n s i o n a l s p a c e w h i c h

t h e s e v e c t o r s o c c u p y e m b o d i e s t h e

d o c u m e n t c o n c e p t b a s e d e r i v e d f r o m

t h e c o r p u s , a n d e a c h o f t h e s e v e c -

t o r s r e p r e s e n t s a s p e c i c l o c a t i o n

w i t h i n t h i s s p a c e c o r r e s p o n d i n g t o

t h e m e a n i n g o r s u b j e c t m a t t e r o f

5


6/8

t h e d o c u m e n t . F u r t h e r m o r e , t h e f o r -

m a l i s m p r e d i c t s t h a t v e c t o r s w h i c h

l i e c l o s e t o e a c h o t h e r i n t h e c o n -

c e p t s p a c e c o r r e s p o n d t o d o c u m e n t s

w h i c h a r e s o m e h o w r e l a t e d i n s u b -

j e c t m a t t e r .

F o r s i m p l i c i t y , o u r e x p l a n a t i o n h a s i n c l u d e d

i n d i v i d u a l w o r d s a s t h e d i m e n s i o n s o f t h e c o -

o c c u r r e n c e m a t r i x . O p t i o n a l l y , w e a l s o c h o o s e

t h e s t a t i s t i c a l l y s i g n i c a n t p h r a s e s b a s e d o n a

2

- t e s t 1 1 ] t h a t i s a p p l i e d t o a c o n t i n g e n c y

t a b l e o f t h e n e i g h b o r i n g w o r d c o u n t s 1 5 ] .

T o n d t h e p a i r s t h a t m o s t f r e q u e n t l y

\ s t i c k " t o g e t h e r , w e c o u n t a l l n e i g h b o r w o r d s ,

a n d s o r t t h e m b y f r e q u e n c y , t h e n c a l c u l a t e

t h e i r

2

- v a l u e . A c e r t a i n n u m b e r ( e . g . 5 , 0 0 0 )

o f t h e t o p

2

- v a l u e d w o r d s a r e c o n s i d e r e d

s t i c k y p a i r s . W e a l s o a l l o w t h e s e s t i c k y p a i r s

t o b e e l e m e n t s o f t h e r o w d i m e n s i o n o f t h e c o -

o c c u r r e n c e m a t r i x .

3 . 2 D o c u m e n t r e t r i e v a l o n W o r d

S p a c e

T h e m a i n s t a g e s o f t h e d o c u m e n t r e t r i e v a l

p h a s e o f I n f o M a p a r e t h e q u e r y v e c t o r c a l c u l a -

t i o n , t h e c l o s e n e s s c a l c u l a t i o n a n d t h e a c t u a l

r e t r i e v a l ( F i g u r e 4 ) .

ordered word-

count dictionary

linked list of

document records

(score, location)

raw text corpus

user query

list of stop wordsquery vector

calculation

word vectors

retrieved

documents

document vectors

(doc. location)

query vector

retrieval

routine

closeness

calculation

WordSpace

stemming

F i g u r e 4 : D o c u m e n t r e t r i e v a l o n W o r d S p a c e

1 . Q u e r y v e c t o r c a l c u l a t i o n

T o r e t r i e v e t h e d o c u m e n t s f r o m t h e c o r -

p u s u s i n g t h e a s s o c i a t i o n s i n W o r d S p a c e

, a q u e r y i n t h e f o r m o f a l i s t o f w o r d s ( e i -

t h e r e n t e r e d i n t e r a c t i v e l y o r s t o r e d i n a

l e ) i s t r a n s l a t e d i n t o t h e c o r r e s p o n d i n g

s e t o f t h e n o r m a l i z e d w o r d v e c t o r s , a n d

t h e s e a r e s u m m e d t o f o r m a q u e r y v e c t o r :

q =

X

i

w

i

u

i

( 4 )

6


7/8

w h e r e q i s t h e q u e r y v e c t o r , w

i

i s t h e

w e i g h t f o r w o r d i i n t h e q u e r y ( d e f a u l t

w e i g h t i s 1 ) , a n d u

i

i s t h e w o r d v e c t o r f o r

w o r d i o c c u r r e d i n t h e q u e r y .

2 . C l o s e n e s s c a l c u l a t i o n

T h e q u e r y v e c t o r i s t h e n c o m p a r e d w i t h

e a c h o f t h e d o c u m e n t v e c t o r s a n d t h e d o c -

u m e n t s w h o s e v e c t o r s l i e c l o s e s t t o t h e

q u e r y v e c t o r a r e r e t u r n e d .

T h e c l o s e n e s s o f t w o v e c t o r s ( t h e q u e r y

v e c t o r q a n d a n d o c u m e n t v e c t o r d

j

) i s

d e t e r m i n e d b y c a l c u l a t i n g t h e c o s i n e o f

t h e a n g l e b e t w e e n t h e v e c t o r s

3

c l o s e n e s s ( q d

j

) =

q

d

j

kq

k kd

k

k

( 5 )

T h i s r o u t i n e r e q u i r e s t h e d o c u m e n t v e c -

t o r s ( d

j

' s ) a s i t s i n p u t a n d r e t u r n s a

l i n k e d - l i s t o f d o c u m e n t r e c o r d s , o r d e r e d

b y c l o s e n e s s w i t h t h e q u e r y v e c t o r ( q ) .

E a c h d o c u m e n t r e c o r d c o n t a i n s t h e c o s i n e

s c o r e f o r t h e d o c u m e n t a n d t h e b y t e l o c a -

t i o n o f t h e d o c u m e n t i n t h e c o r p u s .

3 . R e t r i e v a l a n d d i s p l a y o f d o c u m e n t s

T h e r e t r i e v a l r o u t i n e s i m p l y g o e s t o t h e

a p p r o p r i a t e l o c a t i o n i n t h e d o c u m e n t

r e c o r d s a n d d i s p l a y s t h e d o c u m e n t s a s r e -

q u e s t e d b y t h e u s e r .

Q u e r y v e c t o r s a n d d o c u m e n t v e c t o r s a r e

r e p r e s e n t e d a s n o r m a l i z e d w o r d v e c t o r s u m s

( c e n t r o i d s ) . T h e s e v e c t o r s a r e c a l l e d c o n t e x t

v e c t o r s i n g e n e r a l .

3

I n o r d e r t o n d s i m i l a r w o r d s , t h e c l o s e n e s s ( p r o x -

i m i t y ) o f w o r d v e c t o r s a r e a l s o c a l c u l a t e d b y t h e c o s i n e

m e a s u r e .

4 C u r r e n t a n d F u t u r e

W o r k

A s s o c i a t i o n s i n W o r d S p a c e a r e c o m p u t e d

f r o m u n a n n o t a t e d t e x t c o r p o r a i n a n u n s u p e r -

v i s e d w a y a s d e s c r i b e d i n t h e p r e v i o u s s e c t i o n s .

W e w o u l d l i k e t o d e m o n s t r a t e t h a t t h e s e w o r d

a s s o c i a t i o n s a r e u s e f u l f o r a s s o c i a t i v e i n f o r m a -

t i o n r e t r i e v a l .

O u r e x p e r i m e n t s w i t h I n f o M a p t h u s f a r

m a i n l y h a v e u s e d c o l l e c t i o n s o f n e w s w i r e a r -

t i c l e s a s a s o u r c e o f g e n e r a l a s s o c i a t i o n s . W e

a r e c u r r e n t l y i n v e s t i g a t i n g h o w d i e r e n t t r a i n -

i n g c o r p o r a a e c t t h e r e s u l t i n g s e a r c h e n g i n e s ,

i n p a r t i c u l a r w h e t h e r t h e u s e o f p e r s o n a l e m a i l

t o t r a i n a s e a r c h e n g i n e p r o d u c e s o n e w h i c h

i s t u n e d t o r e e c t t h a t u s e r ' s i n t e r e s t s { p e r -

s o n a l a s s o c i a t i o n s . A p r e l i m i n a r y s t u d y w i t h

a p p r o x i m a t e l y a d o z e n h u m a n s u b j e c t s i s d i s -

c u s s e d i n 4 ] . T h e d o m a i n - s p e c i c a s s o c i a t i o n s

f r o m t o p i c a l c o r p o r a s u c h a s m e d i c a l t e x t s 7 ]

i s a n o t h e r i n t e r e s t i n g e x p e r i m e n t .

I n a d d i t i o n , w e h a v e a p p l i e d t h e i n f o r m a -

t i o n m a p p i n g t e c h n i q u e t o t e r m - l i s t t r a n s l a -

t i o n b e t w e e n E n g l i s h a n d J a p a n e s e 8 ] . A s a

f u t u r e r e s e a r c h t o p i c , w e a r e h o p i n g t o i n v e s -

t i g a t e h o w t h e c o n c e p t s p a c e c r e a t e d b y o u r

t e c h n i q u e c a n b e u s e d t o d o c r o s s - l i n g u a l i n -

f o r m a t i o n r e t r i e v a l .

R e f e r e n c e s

1 ] M i c h a e l W . B e r r y : L a r g e S c a l e S i n g u l a r

V a l u e C o m p u t a t i o n s , I n t e r n a t i o n a l J o u r -

n a l o f S u p e r c o m p u t e r A p p l i c a t i o n s , 6 : 1 ,

p p . 1 3 - 4 9 , 1 9 9 2 .

2 ] S c o t t D e e r w e s t e r , S u s a n T . D u m a i s ,

G e o r g e W . F u r n a s , T h o m a s K . L a n d a u e r ,

a n d R i c h a r d H a r s h m a n : I n d e x i n g b y l a -

t e n t s e m a n t i c a n a l y s i s . J o u r n a l o f t h e

A m e r i c a n S o c i e t y f o r I n f o r m a t i o n S c i e n c e ,

4 1 ( 6 ) : 3 9 1 - 4 0 7 , 1 9 9 0 .

7


8/8

3 ] K e i t h D e v l i n : L o g i c a n d I n f o r m a t i o n .

C a m b r i d g e U n i v e r s i t y P r e s s , 1 9 9 1 .

4 ] R a y m o n d S . F l o u r n o y , R y a n G i n s t r o m ,

K e n i c h i I m a i , S t e f a n K a u f m a n n , G e n i c h i r o

K i k u i , S t a n l e y P e t e r s , H i n r i c h S c h u t z e ,

Y a s u h i r o T a k a y a m a : P e r s o n a l i z a t i o n

a n d U s e r s ' S e m a n t i c E x p e c t a t i o n s . A C M

S I G I R ' 9 8 P o s t - C o n f e r e n c e W o r k s h o p o n

Q u e r y I n p u t a n d U s e r E x p e c t a t i o n s , M e l -

b o u r n e , A u s t r a l i a , A u g u s t 2 8 , 1 9 9 8 .

5 ] W i l l i a m B . F r a k e s : S t e m m i n g a l g o r i t h m s .

I n W . B . F r a k e s a n d R . B a e z a - Y a t e s

( E d s . ) , I n f o r m a t i o n R e t r i e v a l , D a t a S t r u c -

t u r e s a n d A l g o r i t h m s , p p . 1 3 1 - 1 6 0 , E n g l e -

w o o d C l i s , N J , P r i n t i c e H a l l , 1 9 9 2 .

6 ] G e n e H . G o l u b , C h a r l e s F . V a n L o a n : M a -

t r i x C o m p u t a t i o n . 3 r d e d . , T h e J o h n s H o p -

k i n s U n i v e r s i t y P r e s s , 1 9 9 6 .

7 ] W . R . H e r s h , C . B u c k l e y , T . J . L e o n e , D .

H . H i c k a m : O H S U M E D : A n i n t e r a c t i v e

r e t r i e v a l e v a l u a t i o n a n d n e w l a r g e t e s t c o l -

l e c t i o n f o r r e s e a r c h . P r o c e e d i n g s o f t h e

1 7 t h A n n u a l A C M S I G I R C o n f e r e n c e ' 9 4 ,

p p . 1 9 2 - 2 0 1 , 1 9 9 4 .

8 ] G e n i c h i r o K i k u i : T e r m - l i s t T r a n s l a t i o n

u s i n g M o n o - l i n g u a l W o r d C o - o c c u r r e n c e

V e c t o r s . P r o j e c t N o t e , C O L I N G - A C L ' 9 8 ,

A u g u s t 1 0 - 1 4 , 1 9 9 8 .

9 ] D a v i d C . L a y : L i n e a r A l g e b r a a n d i t s a p -

p l i c a t i o n s . r e v i s e d e d . , 1 9 9 7 .

1 0 ] M . F . P o r t e r : A n a l g o r i t h m f o r s u x

s t r i p p i n g . P r o g r a m , 1 4 , p p . 1 3 0 - 1 3 7 , 1 9 8 0 .

1 1 ] F r e d L . R a m s e y , D a n i e l W . S c h a f e r : T h e

S t a t i s t i c a l S l e u t h { A C o u r s e i n M e t h o d s

o f D a t a A n a l y s i s . D u x b u r y P r e s s , 1 9 9 7 .

1 2 ] G e r a r d S a l t o n , A . W a n g , C . S . Y a n g : A

v e c t o r s p a c e m o d e l f o r a u t o m a t i c i n d e x i n g .

C o m m u n i c a t i o n s o f t h e A C M , 1 8 , p p . 6 1 3 -

6 2 0 , 1 9 7 5 .

1 3 ] H i n r i c h S c h u t z e : A m b i g u i t y i n L a n -

g u a g e L e a r n i n g : C o m p u t a t i o n a l a n d C o g -

n i t i v e M o d e l s . P h D t h e s i s , S t a n f o r d U n i -

v e r s i t y , D e p a r t m e n t o f L i n g u i s t i c s , J u l y

1 9 9 5 . ( R e v i s e d t h e s i s , A m b i g u i t y R e s o l u -

t i o n i n L a n g u a g e L e a r n i n g : C o m p u t a t i o n a l

a n d C o g n i t i v e M o d e l s , C S L I L e c t u r e N o t e s

7 1 , C S L I P u b l i c a t i o n s , 1 9 9 7 ) .

1 4 ] H i n r i c h S c h u t z e , J a n O . P e d e r s e n : A

c o o c u r r e n c e - b a s e d t h e s a u r u s a n d t w o a p -

p l i c a t i o n s t o i n f o r m a t i o n r e t r i e v a l . I n f o r -

m a t i o n P r o c e s s i n g & m a n a g e m e n t , V o l . 3 3 ,

N o . 3 , p p . 3 0 7 - 3 1 8 , 1 9 9 7 .

1 5 ] H i n r i c h S c h u t z e : A u t o m a t i c W o r d S e n s e

D i s c r i m i n a t i o n . C o m p u t a t i o n a l L i n g u i s -

t i c s , V o l u m e 2 4 , I s s u e 1 , p p . 9 7 - 1 2 3 , M a r c h

1 9 9 8 .

1 6 ] G i l b e r t S t r a n g : I n t r o d u c t i o n t o L i n e a r

A l g e b r a . W e l l e s l e y - C a m b r i d g e P r e s s , 1 9 9 3 .

8

1 introduction 2 information mapping and word space nent analysis - re- - 1998

Documents