ire valuation methods 2000

8/9/2019 Ire Valuation Methods 2000

1/9

IR evaluation methods for retrieving highly relevant

documents

Kalervo Jrvelin & Jaana Keklinen

University of TampereDepartment of Information Studies

Finland

Published in: Belkin, N.J., Ingwersen, P. and Leong, M.-K. (eds.) Proceedings of the

23rd

Annual International ACM SIGIR Conference on Research and Development inInformation Retrieval. New York, NY: ACM, pp. 4148.


2/9

I R e v a l u a t i o n m e t h o d s f o r r e tr i ev i n g h i g h l y r e l e v a n t d o c u m e n t sK a l e r v o J ~ i rv e l in & J a a n a K e k i i l ~ ii n e n

U n i v e r s it y o f T a m p e r eD e p a r t m e n t o f I n f o r m a t i o n S t u d i e sF I N - 3 3 0 1 4 U n i v e r s it y o f T a m p e r e

F I N L A N DE m a i h { k a l e r v o .j a r v e li n , ja a n a . k e k a l a i n e n } @ u t a .f i

A b s t r a c tT h i s p a p e r p r o p o s e s e v a l u a t i o n m e t h o d s b a s e d o n t h e u s e o fn o n - d i c h o t o m o u s r e l e v a n c e j u d g e m e n t s i n I R e x p e r i m e n t s . I t i sa r g u e d t h a t e v a l u a t i o n m e t h o d s s h o u l d c r e d i t I R m e t h o d s f o rt h e i r a b i l i t y t o r e t r i e v e h i g h l y r e l e v a n t d o c u m e n t s . T h i s i s d e -s i r a b le f r o m t h e u s e r p o i n t o f v i e w i n m o d e m l a r g e I R e n v i -r o n m e n t s . T h e p r o p o s e d m e t h o d s a r e ( 1 ) a n o v e l a p p l i c a t i o n o fP - R c u r v e s a n d a v e r a g e p r e c i s i o n c o m p u t a t i o n s b a s e d o n s e p a -r a t e r e c a ll b a s e s f o r d o c u m e n t s o f d i f f e r e n t d e g r e e s o f r e l e -v a n c e , a n d ( 2 ) t w o n o v e l m e a s u r e s c o m p u t i n g t h e c u m u l a t i v eg a i n t h e u s e r o b t a i n s b y e x a m i n i n g t h e r e t r i e v a l r e s u l t u p t o ag i v e n r a n k e d p o s i t io n . W e t h e n d e m o n s t r a t e t h e u s e o f t h e s ee v a l u a t i o n m e t h o d s i n a c a s e s t u d y o n t h e e f f e c t i v e n e s s o fq u e r y t y p e s , b a s e d o n c o m b i n a t i o n s o f q u e r y s t r u c t u r es a n de x p a n s i o n , i n r e t r i e v i n g d o c u m e n t s o f v a r i o u s d e g r e e s o f r e l e -v an ce . Th e t e s t w as ru n w i t h a b e s t ma t ch re t r i ev a l sy s t em ( In -Q u e r y I) i n a t e x t d a t a b a s e c o n s i s t i n g o f n e w s p a p e r a r t ic l e s . T h ere su l t s i n d i ca t e t h a t t h e t e s t ed s t ro n g q u e ry s t ru c t u re s a re mo s te f f e c t i v e in r e t r i e v i n g h i g h l y r e l e v a n t d o c u m e n t s . T h e d i f f e r-e n c e s b e t w e e n t h e q u e r y t y p e s a r e p r a c t i c a l l y e s s e n t i a l a n ds t a t i s t i c a l l y s i g n i f i can t . Mo re g en e ra l l y , t h e n o v e l ev a l u a t i o nm e t h o d s a n d t h e c a s e d e m o n s t r a t e t h a t n o n - d i c h o t o m o u s r e l e -v a n c e a s s e s s m e n t s a r e a p p l i c a b l e in I R e x p e r i m e n t s , m a y r e v e a li n t e r e s ti n g p h e n o m e n a , a n d a l l o w h a r d e r t e s t i n g o f I R m e t h o d s .

1 . I n t r o d u c t i o nF u n d a m e n t a l p r o b l e m s o f I R e x p e r i m e n t s a r e l i n k e d t o th e a s-s e s s m e n t o f r e l e v a n c e . I n m o s t l a b o r a t o r y t e s ts d o c u m e n t s a r ej u d g e d r e l e v a n t o r ir r e l e v a n t w i th r e g a r d t o t h e r e q u e s t . H o w -e v e r , b i n a r y r e l e v a n c e c a n n o t r e f e c t t h e p o s s i b i h t y t h at d o c u -m e n t s m a y b e r e l e v a n t t o a d i f f e r e n t d e g r e e ; s o m e d o c u m e n t sc o n t r i b u t e m o r e i n f o r m a t i o n t o t h e r e q u e s t , s o m e l e s s w ~ t h o u tb e i n g t o t a l l y i r re l e v a n t. I n s o m e s t u d ie s r e l e v a n c e j u d g e m e n t sa r e a l l o w e d t o f a l l i n t o m o r e t h a n t w o c a t e g o n e s , b u t o n l y a

P e r m i s s i o n t o m a k e d i g i t a l o r h a r d c o p i e s o f a l l o r p a r t o f t h i n w o r k f o rp e r s o n a l o r c la s s r o o m u s e i s g r a n t e d w i t h o u t f e e p r o v i d e d t h a tc o p i e s a r e n o t m a d e o r d i s tr i b u te d f o r p r o fi t o r c o m m e r c i a l a d v a n -t a g e a n d t h a t c o p i e s b e a r t h i s n o t i c e a n d t h e f u l l c i t a t i o n o n t h e f i r s t p a g e .T o c o p y o t h e r w i s e , t o r e p u b l i s h, t o p o s t o n s e r v e r s o r t or e d m t n b u t e t o l i s t s , r e q u i r e s p r i o r s p e c i f i c p e r m i s s i o n a n d / o r a f e e .S I G I R 2 0 0 0 7 0 0 A t h e n s , G r e e c e@ 2 0 0 0 A C M 1 o 5 8 1 1 3 - 2 2 6 - 3 / 0 0 1 0 0 0 7 . . . $ 5 . 0 0

f e w t e s t s a c t u a l l y t a k e a d v a n t a g e o f d i f f e r e n t r e l e v a n c e l e v e l s( e .g . , [ 6 ] ). M o r e o f t e n r e l e v a n c e i s c o n f l a t e d i n t o t w o c a t e g o r i e sa t t h e a n a l y si s p h a s e b e c a u s e o f t h e c a l c u l a ti o n o f p r e c i s i o n a n drecal l (e .g . , [2 , 15]) .

I n m o d e m l a r g e d a t a b a s e e n v i r o n m e n t s , t h e n u m b e r o f t o p i-c a l l y r e l e v a n t d o c u m e n t s t o a r e q u e s t m a y e a s i l y e x c e e d t h en u m b e r o f d o c u m e n t s a u s e r i s w i l l in g to e x a m i n e . I t w o u l dt h e r e f o r e b e d e s i r a b l e f r o m t h e u s e r v i e w p o i n t t o r a n k h i g h l yr e l e v a n t d o c u m e n t s h i g h e s t i n t h e r e t r i e v a l r e s u l t s a n d t o d e -v e l o p a n d e v a l u a t e I R m e t h o d s a c c o r d i n g l y . H o w e v e r , t h e c u r-r e n t p r a c t i c e o f l i b e r a l b i n a r y a s s e s s m e n t o f t o p ic a l r e l e v a n c eg i v e s e q u a l c r e d i t f o r a r e t r ie v a l m e t h o d f o r r e t r i e v i n g h i g h l ya n d f a i r l y r e l e v a n t d o c u m e n t s . T h e r e f o r e d i f f e r e n c e s b e t w e e ns l o p p y a n d e x c e l l e n t r e t r i e v a l m e t h o d s m a y n o t b e c o m e a p p a r -e n t i n e v a l u a ti o n . I n t h i s p a p e r , w e w a n t t o e x a m i n e t h e e f f e c t so f u s i n g m u l t i p l e d e g r e e r e l e v a n c e a s s e s s m e n t s i n r e t r i e v a lm e t h o d e v a l u a t i o n a n d t o d e m o n s t r a t e , b y v i r t u e o f a c a s e , th a ts u c h a s s e s s m e n t s i n d e e d m a y r e v e a l i m p o r t a n t d i f f e r e n c e s b e -t w e e n r e t r i e v a l m e t h o d s .

T h e e f f e c t s o f u s i n g m u l t i p l e d e g r e e r e l e v a n c e a s s e s s m e n t sm a y b e e v a l u a t e d t h r o u g h t r a d i t i o n a l I R e v a l u a t i o n m e t h o d ss u c h a s P - R c u r v e s . I n t h i s p a p e r w e a p p l y P - R c u r v e s i n a n e ww a y , f o c u s i n g o n r e t r i e v a l a t e a c h r e l e v a n c e l e v e l s e p a r a t e l y .M o r e o v e r , t o e m p h a s i z e t h e u s e r v i e w p o i n t , w e d e v e l o p n e we v a l u a t i o n m e a s u r e s , w h i c h s e e k t o e s t i m a t e t h e c u m u l a t i v er e l e v a n c e g a i n t h e u s e r r e c e i v e s b y e x a m i n i n g t h e r e t r ie v a lr e s u lt u p t o a g i v e n r a n k . T h e s e m e a s u r e s f a c i l it a t e e v a l u a t i o nw h e r e I R m e t h o d s a r e c r e d i te d m o r e / o n l y f o r h i g h l y r e l e v a n td o c u m e n t s . T h e s e n o v e l m e a s u r e s a r e a k i n t o t h e a v e r a g es e a r c h l e n g t h ( b r i e f l y A S L ; [ 1 2 ] ) , r a n k e d h a l f l i f e a n d r e l a t i v er e l e v a n c e ( b r i e f ly R H L a n d R R ; [ 3 ] ) m e a s u r e s b u t o f f e r s e v e r a la d v a n t a g e s b y t a k i n g b o t h t h e d e g r e e o f r e l e v a n c e a n d t h e r a n kp o s i t io n ( d e t e r m i n e d b y t h e p r o b a b i l i t y o f r e l e v a n c e ) o f ad o c u m e n t i n t o a c c o u n t . ( F o r a d i s c u s s i o n o f t h e d e g r e e o f r e l e -v a n c e a n d t h e p r o b a b i l i t y o f r e l e v a n c e , s e e [ 1 4 ]. )

T h e c a s e d e m o n s t r a t i n g t h e e f f e c t s o f m u l t i p l e d e g r e e r e l e -v a n c e a s s e s s m e n t s , a n d t h e a p p l i c a t i o n o f t r a d i ti o n a l / n o v e le v a l u a t i o n m e a s u r e s e x p l o r e s q u e r y e x p a n s i o n a n d q u e r y s t r u c -t u re s i n p ro b ab i l i s t i c IR . K ek a l ~ i i n en [9 ] , an d K ek ~ i l a i n en an dJa rv e l i n [1 1 ] h av e ea r l i e r o b se rv ed t h a t t h e s t ru c t u re o f q u e r i e si n f l u e n c e s r e t r i ev a l p e r f o r m a n c e w h e n t h e n u m b e r o f s e a r c h

IThe InQuery software was provided by the Center for inte lhgent Informa-t ion Remeval , Umv ersl ty of Massa chuset ts Computer Science Department , A m-herst , MA, USA

4 1


3/9

k e y s i n q u e r i e s i s h i gh , i . e ., w h e n q u e r i e s a r e e x p a n d e d . Q u e r ys t ru c t u re re fe rs t o t h e sy n t ac t i c s t ru c t u re o f a q u e ry ex p re s s i o n ,mark ed w i t h q u e ry o p e ra t o rs an d p a ren t h ese s . K ek ~ i l a in en an dJ~ i rve l i n c l a s s i fy t h e s t ru c t u re s o f b e s t ma t ch q u e r i e s i n t o s t ro n ga n d w e a k . I n t h e f o r m e r , s e a r c h k e y s a r e g r o u p e d a c c o r d i n g t oco n cep t s t h ey rep re sen t ; i n t h e l a t t e r , q u e r i e s a re mere se t s o fs e a r c h k e y s . T h e y r e p o r t e d s i g n i f i c a n t r e t r i e v a l i m p r o v e m e n t sw i t h e x p a n d e d s t r o n g l y s tr u c t u re d q u e r i e s . H o w e v e r , i n t h e i rs t u d y t h e r e l e v a n c e a s s e s s m e n t s w e r e d i c h o t o m o u s . W e t h e r e -f o r e d o n o t k n o w h o w d i f f e r e n t b e s t m a t c h q u e r y t y p e s ( b a s e do n e x p a n s i o n a n d s t r u c t u re ) a r e a b l e to r a n k d o c u m e n t s o f v a r y -i n g r e l e v a n c e l e v e l s . I n t h e c a s e s t u d y w e i n v e s t i g a t e t h e i r a b i l -i t y t o d o t h i s .S e c t i o n 2 e x p l a i n s o u r e v a l u a t i o n m e t h o d o l o g y : t h e n o v e la p p l i c a t io n o f t h e P - R c u r v e s a n d t h e c u m u l a t e d g a i n - b a s e de v a l u a t i o n m e a s u r e s . S e c t i o n 3 p r e s e n t s t h e c a s e s tu d y . T h e t e ste n v i r o n m e n t , r e l e v a n c e a s s e s s m e n t s , q u e r y s t r u c tu r e s a n d e x -p an s i o n , an d t h e re t r i ev a l re su l t s a re rep o r t ed . Sec t i o n 4 co n -t a i ns d i s c u s s i o n a n d c o n c l u s i o n s .2 E v a l u a t i o n m e t h o d s e m p l o y i n g m u l t i p le d e g r e er e l e v a n c e a s s e s s m e n t s2 .1 P r e c i s i o n a s a fu n c t i o n o f r e c a l lA v e r a g e p r e c i s i o n o v e r r e c a l l l e v e l s a n d P - R c u r v e s a r e t h et y p i ca l w a y s o f e v a l u a t i n g I R m e t h o d p e r f o r m a n c e . T h e y a r en o r m a l l y c o m p u t e d b y u s i n g d i c h o t o m i c a l r e l e v a n c e a s s e ss -m e n t s . E v e n i f t h e o r i g in a l a s s e s s m e n t s m a y h a v e h a d m u l t i p l ed e g r e e s , t h e s e a r e g e n e r a l l y c o l l a p s e d i n t o t w o f o r e v a l u a t i o n .I n o r d e r t o s e e t h e d i f f e r e n c e i n p e r f o r m a n c e b e t w e e n r e t r i e v a lm e t h o d s , t h e i r p e r f o r m a n c e s h o u l d b e e v a l u a t e d s e p a r a t e l y a te a c h r e l e v a n c e l e v e l . F o r e x a m p l e , i n c a s e o f a f o u r p o i n t a s -se ssmen t ( say , 0 t o 3 p o i n t s ) , s ep a ra t e reca l l b a se s a re n eed edf o r h i g h l y r e l e v a n t d o c u m e n t s ( r e l e v a n c e l e v e l 3 ), f a i r l y re l e -v a n t d o c u m e n t s ( r e l e v a n c e l e v e l 2 ) , a n d m a r g i n a l l y r e l e v a n td o c u m e n t s ( r e l e v a n c e l e v e l I ) . T h e r e s t o f t h e d a ta b a s e i s c o n -s l d e r e d i r r e l e v a n t ( r e l e v a n c e l e v e l 0 ) . I n t h i s s t u d y , w e c o m -p l i e d t h e r e ca l l b a s e s f o r P - R c u r v e c o m p u t a t i o n i n t h is w a y .2 . 2 C u m u l a t e d g a i n - b a s e d m e a s u r e m e n t sW h e n e x a m i n i n g t h e r a n k e d r e s u l t l i s t o f a q u e r y , i t i s o b v i o u sthat :

1 . h i g h l y r e le v a n t d o c u m e n t s a r e m o r e v a l u a b l e th a n m a r -g i n a l l y r e l ev a n t d o c u m e n t s , a n d2 . t h e g r e a te r t h e ra n k e d p o s i t i o n o f a r e l e v a n t d o c u m e n t( o f a n y r e l e v a n c e l e v e l ) t h e l e s s v a l u a b l e i t i s f o r t h e u s e r ,b ecau se t h e l e s s l i k e l y i t i s t h a t t h e u se r w i l l ex ami n e t h ed o c u m e n t .P o i n t o n e l e a d s t o c o m p a r i s o n o f I R m e t h o d s t h r o u g h t e s t

q u e r i e s b y t h e i r c u m u l a t e d g a i n b y d o c u m e n t r a n k . i n t h i se v a l u a t i o n , t h e r e l e v a n c e l e v e l o f e a c h d o c u m e n t i s s o m e h o wu s e d a s a g a m e d v a l u e m e a s u r e f o r it s r a n k ed p o s i t i o n m t h er e s u l t a n d t h e g a i n i s s u m m e d p r o g r e s s i v e l y f r o m p o s i t i o n 1 t on . T h u s t h e r a n k e d d o c u m e n t l i s ts ( o f s o m e d e t e r m i n e d l e n g t h )a r e t u r n e d t o g a m e d v a l u e l i s t s b y r e p l a c i n g d o c u m e n t I D s b yt h e i r r e l e v a n c e v a l u e s . A s s u m e t h a t t h e r e l e v a n c e v a l u e s 0 - 3a r e u s e d ( 3 d e n o t i n g h i g h v a l u e , 0 n o v a l u e ) . T u r m n g d o c u m e n tl i st s u p t o r a n k 2 0 0 t o c o r r e s p o n d i n g v a l u e l i s ts g i v e s v e c t o r s o f2 0 0 c o m p o n e n t s e a c h h a v i n g t h e v a l u e 0 , 1 , 2 o r 3 . F o r e x a m -p l e :

G ' = < 3 , 2 , 3 , 0 , 0 , 1 , 2 , 2 , 3 , 0 . . . . >T h e c u m u l a t e d g a i n a t r a n k e d p o s i t i o n i i s c o m p u t e d b y

s u m m i n g f r o m p o s i t i o n 1 t o i w h e n i r a n g e s f r o m 1 t o 2 0 0 .F o r m a l l y , l e t u s d e n o t e p o s i t i o n i in t h e g a i n v e c t o r G b y G [ i ] .N o w t h e c u m u l a t e d g a i n v e c t o r C G i s d e f in e d r e c u r s i v e l y a s t h ev e c t o r C G w h e r e :

G i l l , if i = 1C G [ i ] = I C G [ i - 1 1 + G [ i ] , o t h e r w i s e

(1 )F o r e x a m p l e , f r o m G ' w e o b t a i n C G ' = < 3 , 5 , 8 , 8 , 8, 9 , I 1 ,

1 3, 1 6 , 1 6 . . . > . T h e c u m u l a t e d g a i n a t a n y r a n k m a y b e r e a dd i rec t l y , e .g . , a t ran k 7 i t i s 1 1 .

P o i n t t w o l e a d s to c o m p a r i s o n o f I R m e t h o d s t h r o u g h t e s tq u e r i e s b y t h e i r c u m u l a t e d g a i n b a s e d o n d o c u m e n t r a n k w i t h ar a n k - b a s e d d i s c o u n t f a c t o r : t h e g r e a t e r t h e r a n k , t h e s m a l l e rs h a r e o f th e d o c u m e n t v a l u e i s a d d e d t o t h e c u m u l a t e d g a i n .T h e g r e a t e r t h e r a n k e d p o s i t i o n o f a r e l e v a n t d o c u m e n t - o f a n yr e l e v a n c e l e v e l - t h e l e s s v a l u a b l e i t i s f o r t h e u s e r, b e c a u s e t h el e s s l i k e l y i t i s t h a t t h e u s e r w i l l e x a m i n e t h e d o c u m e n t d u e t ot i m e , e f f o r t, a n d c u m u l a t e d i n f o r m a t i o n f r o m d o c u m e n t s a l -r e a d y s e e n . A d i s c o u n t i n g f u n c t i o n i s n e e d e d w h i c h p r o g r e s -s i v e l y r e d u c e s t h e d o c u m e n t v a l u e a s i t s r a n k i n c r e a s e s b u t n o tt o o s t eep l y (e .g . , a s d i v i s i o n b y ran k ) t o a l l o w fo r u se r p e rs i s -t e n c e i n e x a m i n i n g f u r t h e r d o c u m e n t s . A s i m p l e w a y o f d is -c o u n t i n g w i t h t h i s r e q u i r e m e n t i s t o d i v i d e t h e d o c u m e n t v a l u eb y t h e l o g o f i t s ran k . Fo r ex am p l e 2 l o g 2 = 1 an d 2 1 og 1 02 4 =1 0 , t h u s a d o cu men t a t t h e p o s i t i o n 1 0 2 4 w o u l d s t i l l g e t o n et e n th o f i t f ac e v a l u e . B y s e l e c t i n g t h e b a s e o f t h e l o g a r i t h m ,s h a r p e r o r s m o o t h e r d i s c o u n t s c a n b e c o m p u t e d t o m o d e l v a r y -i n g u s e r b e h a v i o u r . F o r m a l l y , i f b d e n o t e s t h e b a s e o f t h e l o g a -r i t h m , t h e c u m u l a t e d g a i n v e c t o r w i t h d i s c o u n t D C G i s d e f i n e dr e c u r s i v e l y a s t h e v e c t o r D C G w h e r e :

I ' G [ l ] , i f i = 1D C G l i l. . = / D C G [ i - l ] + G [ i ] / bl og i , o t h e r w i s e(2 )

N o t e t h a t w e m u s t n o t a p p l y t h e l o g a r i t h m - b a s e d d i s c o u n tat rank l because b log l = 0 .

F o r e x a m p l e , l e t b = 2 . F r o m ( 3 ' w e o b t a i n D C G ' = < 3 , 5 ,6 .8 9 , 6 .8 9 , 6 .8 9 , 7 .2 8 , 7 .9 9 , 8 .6 6 , 9 .6 1 , 9 .6 1 . . . . > .

T h e ( l a c k o f ) a b i li t y o f a q u e r y t o r a n k h i g h l y r e l e v a n td o c u m e n t s t o w a r d t h e t o p o f t h e r e s u lt l i s t s h o u l d s h o w o n b o t ht h e c u m u l a t e d g a i n b y d o c u m e n t r a n k ( C G ) a n d t h e c u m u l a t e dg a i n w i t h d i s c o u n t b y d o c u m e n t r a n k ( D C G ) v e c t o r s . B y a v e r -a g i n g o v e r a s e t o f te s t q u e r i e s , t h e a v e r a g e p e r f o r m a n c e o f ap a r t i c u l a r I R m e t h o d c a n b e a n a l y s e d . A v e r a g e d v e c t o r s h a v et h e s a m e l e n g t h a s t h e i n d i v i d u a l o n e s a n d e a c h c o m p o n e n t ig i v e s t h e a v e r a g e o f t h e i t h c o m p o n e n t i n t h e i n d i v i d u a l v e c -t o r s . T h e a v e r a g e d v e c t o r s c a n d i r e c t l y b e v i s u a l i s e d a s g a i n -b y - ran k -g rap h s .T h e a c t u a l C G a n d D C G v e c t o r s b y a p a r t i c u l a r I R m e t h o dm a y a l s o b e c o m p a r e d t o t h e t h e o r e t i c a l l y b e s t p o s s i b l e . T h el a t t e r v ec t o rs a re co n s t ru c t ed a s fo l l o w s . Le t t h e re b e k , l , an d mr e l e v a n t d o c u m e n t s a t t h e r e l e v a n c e l e v e l s l , 2 a n d 3 ( r e s p e c -t i v e l y ) fo r a g i v en req u es t . F i r s t f i l l t h e v ec t o r p o s i t i o n s I . . . mb y t h e v a l u e s 3 , th e n t h e p o s i t i o n s m + l . . . m+l b y t h e v a l u e s 2 ,

4 2


4/9

t h e n th e p o s it i o n s m + / + l . . . m+l +k b y t h e v a l u es 1 , an d f i n a l l yt h e r e m a i n i n g p o s i t i o n s b y t h e v a l u e s 0 . T h e n c o m p u t e C G a n dD C G a s w e l l a s t h e a v e r a g e C G a n d D C G v e c t o r s a n d c u r v e s a sa b o v e . N o t e t h a t t h e c u r v e s t u r n h o r i z o n t a l w h e n n o m o r e r e l e -v a n t d o c u m e n t s ( o f a n y l e v e l ) ca n b e f o u n d . T h e y d o n o t u n r e -a l i s t i c a l l y a s su me a s a b a se l i n e t h a t a l l r e t r i ev ed d o cu men t sc o u l d b e m a x i m a l l y r e l e v a n t . T h e v e r t i c a l d i s t a n c e b e t w e e n a na c t ua l ( a v e r a g e ) ( D ) C G c u r v e a n d t h e t h e o r e t i c a l ly b e s t p o s s i -b l e c u r v e s h o w s t h e e f f o r t w a s t e d o n l e s s - t h a n - p e r f e c t d o c u -m e n t s d u e t o a p a r t i c u l a r I R m e t h o d .

T h e C G m e a s u r e h a s s e v e r a l a d v a n t a g e s w h e n c o m p a r e dw i t h t h e a v e r a g e s e a r c h l e n g t h ( A S L ) m e a s u r e [ 1 2 ] . o r t h e R Ra n d R H L m e a s u r e s [ 3 ] :1 . I t c o m b i n e s t h e d e g r e e o f r e l e v a n c e o f d o c u m e n t s a n d

t h e i r r a n k ( a f f e c t e d b y t h e i r p r o b a b i l it y o f r e l e v a n c e ) i n ac o h e r e n t w a y . T h e R R i s b a s e d o n c o m p a r i n g t h e m a t c h b e -t w e e n t h e s y s t e m - d e p e n d e n t p r o b a b i l i t y o f r e l e v a n c e a n dt h e u s e r - a ss e s s e d d e g r e e o f r e l e v a n c e . T h e A S L m e a s u r e i sd i c h o t o m i c a l .2 . A t a n y n u m b e r o f r e tr i e v e d d o c u m e n t s e x a m i n e d( ran k ) , i t g i v e s an e s t i m a t e o f t h e cu mu l a t ed g a i n a s a s i n g l em e a s u r e n o m a t t e r w h a t i s t h e r e c a l l b a s e s i z e . T h e A S Lm e a s u r e o n l y g i v e s t h e a v e r a g e p o s i t i o n o f a r e l e v a n td o c u m e n t f o r a g i v e n r e c a l l b a s e . T h e R H L m e a s u r e g i v e st h e m e d i a n p o i n t o f a c c u m u l a t e d r e l e v a n c e f o r a g i v e nq u e r y r e s u l t , w h i c h m a y b e t h e s a m e f o r q u i t e d i f f e r e n t l yp e r f o r m i n g q u e r i e s .3 . I t i s n o t h e a v i l y d e p e n d e n t o n o u t l i er s ( r e l e v a n t d o c u -men t s fo u n d l a t e i n t h e ran k ed o rd e r ) s i n ce i t fo cu ses o n t h eg a i n c u m u l a t e d f r o m t h e b e g i n n i n g o f t h e r e s u lt . T h e A S La n d R H L a r e d e p e n d e n t o n o u t l i e r s a l t h o u g h R H L i s l e s sSO.4 . I t i s o b v i o u s t o i n t e rp re t , i t i s mo re d i rec t th an P-Rc u r v e s , a n d i t d o e s n o t m a s k b a d p e r f o r m a n c e . T h e R H La l o n e i s n o t s u f f i c ie n t a s a p e r f o r m a n c e m e a s u r e .

I n a d d i ti o n , t h e D C G m e a s u r e h a s t h e f o l l o w i n g f ur t h e r a d v a n -t a g e s n ot p r o v i d e d b y t h e A S L o r R H L m e a s u r e s:

1 . I t r e a l i s t i c a l l y w e i g h t s d o w n t h e g a i n rece i v ed t h ro u g hd o cu men t s fo u n d l a t e r i n t h e ran k ed re su l t s .2 . I t a l l o w s m o d e l l i n g u s e r p er s i s t e n c e i n e x a m i n i n g l o n gran k ed re su l t l i s t s b y ad j u s t i n g t h e d i sco u n t i n g fac t o r .

3 . C a s e s t u d y : t h e e f f e c t i v e n e s s o f Q E a n d q u e r ys t r u c t u r e s a t d i f f e r e n t r e l e v a n c e l e v e l sW e d e m o n s t r a t e t h e u s e o f t h e p r o p o s e d m e a s u r e s i n a c a s es t u d y t e s t in g t h e c o - e f f e c t s o f q u e r y e x p a n s i o n a n d s t r u c t u r e dq u e r i e s i n a d a t a b a s e w i t h n o n - b i n a r y r e l e v a n c e j u d g e m e n t s .Based o n t h e re su l t s b y K ek i d ~ i i n en an d Ja rv e l i n [1 1 ] w e a l -read y k n o w t h a t w eak q u e ry s t ru c t u re s a re n o t ab l e t o b en e f i tf r o m q u e r y e x p a n s i o n w h e r e a s t h e s t r o n g o n e s a r e . I n t h e p r e -s e n t s t u d y w e s h a l l t e s t w h e t h e r t h e p e r f o r m a n c e o f d i f f e r e n t l ys t ru c t u red q u e r i e s v a r i e s w i t h re l a t i o n t o t h e d eg ree o f re l e -v a n c e . W e g i v e t h e r e s u l t s a s t r a d i t i o n a l P - R c u r v e s f o r e a c hr e l e v a n c e l e v e l , a n d a s C G a n d D C G c u r v e s w h i c h e x p l o i t t h ed e g r e e s o f r e l e v a n c e . W e h y p o t h e s i z e t h a t e x p a n d e d q u e n e sb ased o n s t ro n g s t ru c t u re s a re b e t t e r ab l e t o ran k h i g h l y re l e -v a n t d o c u m e n t s h i g h i n t h e q u e r y r e s u l ts t h a n u n e x p a n d e d q u e -r i e s o r q u e ri e s b a s e d o n o t h e r s t r uc t u r es , w h e t h e r e x p a n d e d o rn o t . C o n s e q u e n t l y , t h e p e r f o r m a n c e d i f f e r e n c e s b e t w e e n q u e r yt y p e s a m o n g m a r g i n a l l y r e l e v a n t d o c u m e n t s s h o u l d b e m a r -

g i n a l a n d a m o n g h i g h l y r e l e v a n t d o c u m e n t s e s s e n t i a l . E x -p a n d e d q u e r i e s b a s e d o n s t r o n g s t r u c t u r e s s h o u l d c u m u l a t eh i g h e r C G a n d D C G v a l u e s th a n u n e x p a n d e d q u e r i e s o r q u e r ie sb a s e d o n o t h e r s t r u c tu r e s , w h e t h e r e x p a n d e d o r n o t .3 .1 T e s t e n v i r o n m e n tT h e t e s t e n v i r o n m e n t w a s a t e x t d a t a b a s e c o n t a i n i n g n e w s p a p e ra r t i c l e s o p e r a t e d u n d e r t h e I n Q u e r y r e t r i e v a l s y s t e m ( v e r s i o n3 .1 ) . Th e d a t ab ase co n t a i n s 5 3 ,8 9 3 a r t i c l e s p u b l i sh ed i n th reed i f f e r e n t n e w s p a p e r s . T h e d a t a b a s e i n d e x c o n t a i n s a l l k e y s i nt h e i r m o r p h o l o g i c a l b a s i c f o r m s , a n d a l l c o m p o u n d w o r d s a r es p l i t i n t o t h e i r c o m p o n e n t w o r d s i n . t h e i r m o r p h o l o g i c a l b a s i cf o r m s . F o r t h e d a t a b a s e t h e r e i s a c o l l e c t i o n o f r e q u e s t s , w h i c ha r e 1 - 2 s e n t e n c e s l o n g , i n th e f o r m o f w n t t e n i n f o r m a t i o nn e e d s t a t e m e n t s . F o r t h e s e r e q u e s t s t h e r e i s a r e c a ll b a s e o f1 6 , 5 4 0 a r t i c l e s w h i c h f a l l i n t o f o u r r e l e v a n c e c a t e g o r i e s ( s e eb e l o w Relevance assessments). The b a s e w a s c o l l e c t e d b y p o o l -i n g t h e r e s u l t s et s o f h u n d r e d s o f d i f f e r e n t q u e r i e s f o r m u l a t e df r o m t h e r e q u e s t s i n d i f f e r e n t s t u d i e s , u s i n g b o t h e x a c t a n dp a r ti a l m a t c h r e t r ie v a l . W e t h u s b e l i e v e t h a t o u r r e c a l l e s ti m a t e sa r e v a l i d . F o r a s e t o f t e st s c o n c e r n i n g q u e r y s t r u c t u r e s , 3 0 r e -q u e s t s w e r e s e l e c t e d o n t h e b a s i s o f t h e i r e x p a n d a b i l i t y , i . e . ,t h e y p r o v i d e d p o s s i b i li t i e s f o r s t u d y i n g t h e i n t e r a c t i o n o f q u e r ys t ru c t u re an d ex p an s i o n . [9 , 1 0 , 1 7 . ]

T h e l n Q u e r y s y s t e m w a s c h o s e n f o r t h e t e s t, b e c a u s e i t h a sa w i d e r a n g e o f o p e r a t o rs , i n c l u d i n g p r o b a b i l i s t ic i n t e r -p r e t a t io n s o f t h e B o o l e a n o p e r a t o r s , a n d i t a ll o w s s e a r c h k e yw e i g h t i n g . I n Q u e r y i s b a s e d o n B a y e s i a n i n f e r e n c e n e t w o r k s .Fo r d e t a i l s o f t h e In Q u ery sy s t em , see [1 , 1 3 , 1 8 ] .3.2 Relevance assessmentsF o r t h e t e s t r e q u e s t s a n d t e s t c o l l e c t i o n o f t h e p r e s e n t e x p e r i -m e n t , r e l e v a n c e w a s a s s e s s e d b y f o u r p e r s o n s , t w o e x p e r i e n c e dj o u r n a l i s t s a n d t w o i n f o r m a t i o n s p e c i a li s t s. T h e y w e r e g i v e nw r i t t e n i n f o r m a t i o n n e e d s t a t e m e n t s ( r e q u e s t s ) , a n d w e r e a s k e dt o j u d g e t h e r e l e v a n c e o n a f o u r l e v e l s c a l e : ( 0 ) i r r e l e v a n t , t h ed o c u m e n t i s n o t a b o u t t h e s u b j e c t o f t h e r e q u e s t, ( 1 ) m a r g i n a l l yr e l e v a n t , t h e to p i c o f t h e r e q u e s t i s m e n t i o n e d , b u t o n l y i n p a s s -i n g , (2 ) fa i r l y re l ev an t , t h e t o p i c o f req u es t i s d i scu ssed b r i e f l y ,(3 ) h i g h l y re l ev an t , t h e t o p i c i s t h e ma i n t h eme o f t h e a r t i c l e .T h e r e l e v a n c e o f 2 0 r e q u e s ts ( o f 3 5 ) w a s a s s e s s e d b y t w o ( o n eb y t h r e e ) p e r s o n s , t h e r e s t b y o n e p e r s o n . T h e a s s e s s o r s a g r e e di n 7 3 % o f t h e p a r a ll e l a s s e s sm e n t s , i n 2 1 % o f t h e c a s e s t h ed i f f e r e n c e w a s o n e p o i n t , a n d i n 6 % t w o o r t h r e e p o i n t s . I f th ed i f f e r e n c e w a s o n e p o i n t , t h e a s s e s s m e n t w a s c h o s e n f r o m e a c hj u d g e i n t u rn . I f t h e d i f f e r e n c e w a s t w o o r t h r e e p o i n t s , t h e a r t i-c l e w a s c h e c k e d b y t h e r e s e a r c h e r t o f i n d o u t i f t h e r e w a s al o g i c a l re a s o n f o r d i s a g r e e m e n t , a n d a m o r e p l a u s i b l e a l te r n a -t i v e w as se l ec t ed . [9 , 1 7 . ]

T h e r e c a l l b a s e s f o r t h e 3 0 r e q u e s t s o f t h e p r e s e n t s t u d y i n -c l u d e s 3 6 6 h i g h l y r e l e v a n t d o c u m e n t s ( r e l e v a n c e l e v e l 3 ) , 7 0 0f a i r l y r e l e v a n t d o c u m e n t s ( r e l e v a n c e l e v e l 2 ) , 8 5 7 m a r g i n a l l yr e l e v a n t d o c u m e n t s ( r e l e v a n c e l e v e l 1 ) . T h e r e s t o f t h e d a ta -b a s e , 5 1 , 9 7 0 d o c u m e n t s , i s c o n s i d e r e d i r r e l e v a n t ( r e l e v a n c el ev e l 0 ) .3 .3 Quer y s tructures and expans io nIn t ex t re t r i ev a l an i n fo rma t i o n n eed i s t y p i ca l l y ex p re ssed a s as e t o f s ea r c h k e y s . I n e x a c t m a t c h - o r B o o l e a n - r e t r i e v a l r e l a -t i o n s b e t w e e n s e a r c h k e y s i n a q u e r y a r e m a r k e d w i t h t h e A N Do p e r a t o r , t h e O R o p e r a t o r , o r p r o x i m i t y o p e r a t o r s w h i c h , i n

4 3


5/9

f a c t, a r e s t r i ct e r f o r m s o f t h e A N D o p e r a t o r . T h u s , t h e q u e r yh a s a s t r u c t u re b a s e d o n c o n j u n c t i o n s a n d d i s j u n c t io n s o f s e a r chk ey s . [5 , 8 . ] A q u e ry co n s t ru c t ed w i t h t h e Bo o l ean b l o ck sea rchs t r a te g y ( a q u e r y i n t h e c o n j u n c t i v e n o r m a l f o r m ) , i s a n e x a m -p l e o f a face t s t ru c t u re. W i t h i n a face t , s ea rch k ey s rep re s en t i n go n e a s p e c t o f a r e q u e s t a r e c o n n e c t e d w i t h t h e O R o p e r a t o r, a n df a c e t s a r e c o n n e c t e d w i t h t h e A N D o p e r a t o r . A f a c e t m a y c o n -s i s t o f o n e o r s e v e r a l c o n c e p t s .

I n b e s t m a t c h r e t r i e v a l , m a t c h i n g i s r a n k i n g d o c u m e n t s a c -c o r d i n g t o s c o r e s c a l c u l a t e d f r o m t h e w e i g h t s o f s e a r c h k e y so c c u r r i n g i n d o c u m e n t s . T h e s e w e i g h t s a r e t y p i c a l l y b a s e d o nt h e f r e q u e n c y o f a k e y i n a d o c u m e n t a n d . o n t h e i n v e r s e c o l l e c -t i o n f r e q u e n c y o f t h e d o c u m e n t s c o n t a i n i n g t h e k e y ( t f * id fw e i g h t i n g ) . [7 . ] In b e s t ma t ch re t r i ev a l , q u e r i e s may e i t h e r h av ea s t r u c tu r e s i m i l a r to B o o l e a n q u e r i e s , o r q u e u e s m a y b e ' n a t u -r a l l a n g u a g e q u e r i e s ' w i t h o u t d i f f e r e n t i a t e d r e l a t i o n s b e t w e e nsea rch k ey s .

Kek~il~ iinen and J~i rvel in [ 11 ] tes ted the co- effe cts o f qu erys t r u c t u r e s a n d q u e r y e x p a n s i o n o n r e t r i e v a l p e r f o r m a n c e , a n da s c e r t a i n e d t h a t t h e s t ru c t u r e o f t h e q u e r i e s b e c a m e i m p o r t a n tw h e n q u e r i e s w e r e e x p a n d e d . T h e b e s t p e r f o r m a n c e o v e r a l lw a s a c h i e v e d w i t h e x p a n d e d , f a c e t s tr u c t u r e d q u e r i e s . F o r t h ep r e s e n t s t u d y , w e s e l e c t e d t h e ir b e s t w e a k s t r u c t u r e ( S U M ) a n dt w o o f t h e i r b e s t s t r o n g s t r u c tu r e s , o n e b a s e d o n c o n c e p t s( S S Y N - C ) a n d a n o t h e r ba s e d o n f a c e ts ( W S Y N ) . S U M q u e r ie smay b e seen a s t y p i ca l ' b e s t ma t ch " q u e r i e s an d t h e re fo re su i t -ab l e a s a b a se l i n e .

I n q u e r y f o r m u l a t i o n , r e s e a r c h e r s i d e n t i f ie d s e a r c h c o n c e p t sf r o m r e q u e s t s a n d e l i c i t e d c o r r e s p o n d i n g s e a r c h k e y s f r o m at e s t t h e s a u r u s c o n t a i n i n g m o r e t h a n 1 0 0 0 c o n c e p t s a n d m o r et h a n 1 5 0 0 e x p r e s s i o n s f o r t h e d o m a i n s o f t h e t es t r e q u e s ts ( s e e[9 ] ) . In Q E, sea rch k ey s t h a t w e re seman t i ca l l y re l a t ed ( sy n o -n y ms , h i e ra rch i e s , a s so c i a t i o n s ) t o t h e o r i g i n a l sea rch co n cep t si n t h e t e st t h e s au r u s w e r e a d d e d t o q u e r i e s . T h i s p r o c e d u r e g a v eu n e x p a n d e d ( u ) a nd e x p a n d e d ( e ) q u e r y v e r s i o n s , w h i c h b o t hw e r e f o r m u l a t e d i n to d i f f e r e n t q u e r y s t r uc t u r e s.

T h e s t r u c t u r e s u s e d t o c o m b i n e t h e s e a r c h k e y s a r e e x e m -p l i f i e d i n t h e f o l l o w i n g . E x a m p l e s a r e b a s e d o n a s a m p l e r e -q u e s t The processing and storage of radioactive waste. In t h ef o l l o w i n g s a m p l e s q u e r i e s a r e e x p a n d e d , t h e e x p r e s s i o n s o f th eu n ex p an d ed q u e r i e s a re i n i t a l i c s .SUM ( a v e r a g e o f t h e w e i g h t s o f k e y s ) q u e r i e s r e p r e s e n tw e a k s t r uc t u r es . I n t h e s e q u e r i e s s e a r c h k e y s a r e s i n g l e w o r d s ,i . e . , n o p h ra se s a re i n c l u d ed .

S U M / e#sum(radioactive waste n u c l e a r w a s t e h i g h a c t i v e w a s t el o w a c t i v e w a s t e s p e n t f u e l f i s s io n p r o d u c t storage s t o res t o ck rep o s i t o ry process re f i n e )I n a S U M - o f - s y n o n y m - g r o u p s - q u e r y (SSYN-C) each sea rch

c o n c e p t f o r m s a c l a u s e w i t h t h e S Y N o p e r a t o r . S Y N c l a u s e sw e r e c o m b i n e d w i t h t h e S U M o p e r a t o r . P h r a s e s w e r e u s e d( m a r k e d w i t h #3). A l l k e y s w i t h i n t h e S Y N o p e r a t o r a r e t r e a te das i n s t an ces o f o n e k ey [1 3 1 .

S S Y N - C / e#sum(#syn(#3(radioactive waste) # 3 ( n u c l e a r w a s t e )# 3 ( h i g h a c t i v e w a s t e ) # 3 ( l o w a c t i v e w a s te )# 3 (sp en t fu e l ) # 3 ( f i s s i o n p ro d u c t ) )#syn(storage s t o re s t o ck rep o s i t o ry )#syn(process re f i n e ) )

W S Y N q u e r i e s w e r e s i m i l a r t o S S Y N , b u t b a se d o n f a c e t s in -s t e a d o f c o n c e p t s . F a c e t s w e r e d i v i d e d i n to m a j o r a n d m i n o rf a c e t s a c c o r d i n g t o t h e ir i m p o r t a n c e f o r t h e r e q u e s t. I n W S Y Nq u e r i e s , t h e w e i g h t o f m a j o r f a c e t s w a s 1 0 a n d o f m i n o r f a c e t s7.

W S Y N / e# w s u m ( l 1 0 #syn(#3(radioactive waste) # 3 ( n u c l e a r w a s t e )

# 3 ( h i g h a c t i v e w a s t e ) # 3 ( l o w a c t i v e w a s t e )# 3 ( s p e n t f u e l ) # 3 ( f i s s i o n p r o d u c t ) )

7 #syn(storage s t o r e s t o c k r e p o s i t o r y processre f i n e ) )3 . 4 T e s t q u e r i e s a n d t h e a p p l i c a t io n o f t h e e v a l u a t i o nm e a s u r e sI n t h e q u e r i e s f o r t h e 3 0 t e s t r e q u e s t s , t h e a v e r a g e n u m b e r o ff a c e t s w a s 3 .7 . T h e a v e r a g e n u m b e r o f c o n c e p t s in u n e x p a n d e dq u e r i e s w a s 4 . 9 , a n d i n e x p a n d e d q u e r i e s 2 6 . 8 . T h e t h e n u m b e ro f s e a r c h k e y s o f u n e x p a n d e d q u e r i e s w h e n n o p h r a s e s w e r em a r k e d ( i .e . , S U M s t r u c tu r e ) w a s 6 . 1 o n a v e r a g e , a n d f o r e x -p a n d e d q u e r i e s w i t h o u t p h r a s e s , o n a v e r a g e , 6 2 . 3 . T h e n u m b e ro f s e a r c h k e y s w i th p h r a s e s ( i. e ., S S Y N - C , a n d W S Y N s t r u c -t u r e s ) w a s 5 . 4 f o r u n e x p a n d e d q u e r i e s , an d 5 2 . 4 f o r e x p a n d e dq u e r i e s , o n a v e r a g e .T h e l e n g t h o f r e l e v a n t d o c u m e n t s a t a ll r e l e v a n c e l e v e l s e x -c e e d e d t h e a v e r a g e l e n g t h o f d o c u m e n t s i n th e d a t a b a s e ( 2 3 3w o r d s ) . H o w e v e r , . t h e d o c u m e n t s a t r e l e v a n c e l e v e l 3 w e r e , o na v e r a g e , s h o r t e r t h a n d o c u m e n t s a t r e l e v a n c e l e v e l s 2 o r 1 . T h ea v e r a g e d o c u m e n t l e n g t h s w e r e 3 3 4 w o r d s a t r e l e v a n c e le v e l 13 1 4 w o r d s a t l e v e l 2 ; a n d 3 0 6 w o r d s a t le v e l 3 . B e c a u s e t h ed i f e r e n c e s i n a v e r a g e d o c u m e n t l e n g h t s a r e m i n o r , h i g h l y r e l e -v a n t d o c u m e n t s d i d n o t g a i n f r o m h i g h e r d o c u m e n t l e n g t h .

W e p r e s e n t t h e a n a l y s is o f t h e s e a r c h r e s u l ts i n t w o f o r m s :F i r s t , w e a p p l y t h e c o n v e n t i o n a l m e a s u r e s i n t h e f o r m o f P - Rc u r v e s . W e a l s o c a l c u l a t e d p r e c i s i o n a f t e r e a c h r e t r i e v e d r e l e -v a n t d o c u m e n t a n d t o o k a n a v e r a g e o v e r r e q u e s t s ( a v e r a g e n o n -i n t e r p o l a t e d p r e c i s i o n , A v P f o r s h o r t) . W e c h o s e A v P r a t h e rt h a n p r e c i s i o n b a s e d o n d o c u m e n t c u t - o f f v a l u e s, b e c a u s e t h es i z e s o f r e c a l l b a s e s v a r y a t d i f f e r e n t r e l e v a n c e l e v e l s , a n d t h u so n e c u t - o f f v a l u e w i l l n o t t re a t q u e r i e s e q u a l l y w i t h r e l a t i o n t op r e c i s i o n . T h e s t a ti s t ic a l s i g n i f i c a n c e o f d i f f e r e n c e s i n t h e e f -f e c t i v e n e s s o f q u e r y t y p e s w a s e s t a b l i sh e d w i t h t h e F r i e d m a nt e s t ( see [4 ] ) .

S e c o n d , w e p r e s e n t th e C G a n d D C G c u r v e s . F o r t h e c u m u -l a t i v e g a i n e v a l u a t i o n s w e t e s t e d t h e s a m e q u e r y t y p e s i n s e p a -r a t e r u n s w i t h t h e l o g a r i t h m b a s e s a n d t h e h a n d l i n g o f r e l e v a n c el e v e l s v a r i e d a s p a r a m e t e r s a s f o l lo w s :

1 . Th e l o g a r i t h m b a se s 2 , e , an d 1 0 w ere t e s t ed fo r t h eD C G v e c t o r s . T h e b a s e 2 m o d e l s i m p a t i e n t u s e r s , b a s e 1 0p e r s i s t e n t o n e s .2 . W e u s e d d o c u m e n t r e l e v a n c e l e v e l s 0 - 3 d ir e c t l y a sg a m e d v a l u e m e a s u r e s . T h i s c a n b e c f i t i c i s e d , e . g . , b y a s k -i n g w h e t h e r a h i g h l y r e l e v a n t d o c u m e n t ~ i s ( o n l y ) t h r e eu m e s a s v a l u a b l e a s a m a r g i n a l l y r e l e v a n t d o c u m e n t . N e v -e r t h e l e s s , e v e n t h i s g i v e s a c l e a r d i f f e r e n c e f o r d o c u m e n tq u a l i t y t o l o o k a t .3 . W e f i r s t t o o k a l l d o c u m e n t s a t r e l e v a n c e l e v e l s l - 3i n t o a c c o u n t , s e c o n d l y n u l l i f i e d t h e v a lu e s o f d o c u m e n t s a tr e l e v a n c e l e v e l 1 ( t o r e f l e c t t h a t t h e y p r a c t i c a l l y h a v e n ov a l u e ) , a n d f i n a l l y n u l l i f ie d t h e v a l u e s o f d o c u m e n t s a tr e l e v a n c e l e v e l s 1 - 2 i n o r d e r t o f o c u s o n t h e h i g h l y r e l e -v a n t d o c u m e n t s .

4 4


6/9

A B C1 0 0 . . . . . . . . . . . 1 0 0 . . . . , , . . . . O0

w s y n / e= 8 0 O w sy n / u 8 0 , - 8 0o s sy n -c / e = i [ 6 060.~ .~ 60, .~O s sy n -c / u .U .E~ - 4 0 ] I l s u m / e .o ~ ; i ,- 4 0 ~ 4 0

2 0 . 2 0 20 . 0 . . . . . . . . .0 2 0 4 0 6 0 8 0 1 0 0 0 2 0 4 0 6 0 8 0 1 0 0 0 2 0 4 0 6 0 8 0 1 0 0

R e c a l l R e c a l l R e c a l lF i g u r e l . P - R c u r v e s o f S U M , S S Y N - C , a n d W S Y N q u e r i e s a t r e l e v a n c e le v e l s 1 ( A ) , 2 ( B ) , a n d 3 ( C ) .

4 . T h e a v e r a g e a c tu a l C G a n d D C G v e c t o r s w e r e c o m -p a r e d t o t h e t h e o r e t i c a l ly b e s t p o s s i b l e a v e r a g e v e c t o r s .

3 . 5 P - R c u r v e s a n d a v e r a g e p r e c i s i o nF i g u r e 1 p r e s e n t s t h e P - R c u r v e s o f t h e s i x q u e r y t y p e s a t d i f -f e r e n t r e l e v a n c e l e v e l s . A t t h e r e l e v a n c e l e v e l 1 , th e c u r v e s a r ea l m o s t i n s e p a r a b l e . A t t h e r e l e v a n c e l e v e l 2 , e x p a n d e d W S Y Na n d S S Y N - C q u e r i e s a r e m o r e e f f e c t i v e t h a n t h e o t h e r q u e r yt y p e s . A t t h e r e l e v a n c e l e v e l 3 , t h e d i f f e r e n c e i s e v e n m o r ea c c e n t u a t e d . T h e h i g h e r t h e r e l e v a n c e l e v e l i s , t h e g r e a t e r a r et h e d i f f e r e n c e s b e t w e e n t h e b e s t a n d t h e w o r s t q u e r y t y p e s .

I n T a b l e 1 t h e a v e r a g e p r e c i s i o n ( A v P ) f i g u r e s a r e g iv e n , i tc a n b e s e e n t h a t Q E n e v e r e n h a n c e s t h e a v e r a g e p r e c i s i o n o fS U M q u e r i e s . I n c o n t r a s t , Q E a l w a y s i m p r o v e s t h e a v e r a g ep r e c i s i o n o f s t r o n g l y s t r u c t u r e d q u e r i e s . W h e n q u e r i e s a r e u n -e x p a n d e d t h e d i f f e r e n c e s i n p r e c i s io n a r e n e g l i g i b l e w i t h in e a c hr e l e v a n c e l e v e l . T h e b e s t e f f e c t i v e n e s s o v e r a l l r e l e v a n c e l e v e l si s o b t a in e d w i t h e x p a n d e d W S Y N q u e r i e s . A t t h e b es t , t h e d if -f e r e n c e in a v e r a g e p r e c i s i o n b e t w e e n u n e x p a n d e d S U M a n de x p a n d e d W S Y N q u e r i e s i s a t t h e r e l e v a n c e l e v e l 3 ( A v P : ac h a n g e o f 1 5 .1 p e r c e n t a g e u n i t s o r a n i m p r o v e m e n t o f 5 8 . 3 % ) .I n o t h e r w o r d s , e x p a n d e d q u e r i e s w i t h s t r o n g s t r u c tu r e a r e m o s te f f e c t i v e i n r e t r i e v in g t h e m o s t r e l e v a n t d o c u m e n t s .

R e l . E x p . S t r u c t u r e t y p el ev e l t y pS U M S S Y N - C W S Y N

1 u 12.8 12 .4 13 .8e 10.1 13.3 14.3

2 u 2 2 .4 2 1 .5 2 2 .9e 21 .1 27 .4 29 .3

3 u 2 5 .9 2 3 .5 2 5 .7e 22 .2 39 .1 41 . 0T a b l e 1 . A v e r a g e n o n - i n t e r p o l a t e d p r e c i s i o n f i g u r e s f o r d i f -

fe ren t q u e ry t y p es .T h e F r i e d m a n t e s t c o r r o b o r a te s t h a t t h e d i f f e r e n c e s i n p r e c i s i o nf i g u re s a re mo re s i g n i f i can t a t re l ev an ce l ev e l 3 t h an a t t h eo t h e r r e l e v a n c e l e v e l s. E x p a n d e d s t r o n g q u e r i e s o u t p e r f o r m

m o s t o f t e n e x p a n d e d w e a k q u e r i e s , b u t a l s o u n e x p a n d e d w e a ka n d u n e x p a n d e d s t r o n g q u e r ie s .3 .6 C u m u l a t i v e g a i nF i g u r e 2 p r e s e n t s t h e C G v e c t o r c u r v e s f o r r a n k s 1 - 1 0 0 , t h es i x q u e r y t y p e s s t u d i e d a b o v e a n d t h e t h e o r e t i c a l l y b e s t p o s s i -b l e ( a v e r a g e ) q u e r y . F i g u r e 2 A s h o w s t h e c u r v e s w h e n d o c u -m e n t s a t b o t h r e l e v a n c e l e v e l s 2 a n d 3 a r e t ak e n i n t o a c c o u n t( i . e . , t h ey ea rn 2 an d 3 p o i n t s , r e sp ec t i v e l y ) . Th e b es t p o ss i b l ec u r v e a l m o s t b e c o m e s a h o r i z o n t a l l i n e a t t h e r a n k 1 0 0 r e f l e c t -mg t h e fac t t h a t a t ran k 1 0 0 p rac t i ca l l y a l l r e l ev an t d o cu men t sh a v e b e e n f o u n d . T h e t w o b e s t ( s y n o n y m s t r u c t u r e d ) q u e r yt y p e s h a n g b e l o w b y 1 8 - 2 7 p o i n t s ( 3 5 - 3 9 % ) f r o m t h e r a n k2 0 t o 1 0 0 . T h e d i f f e r e n c e i s t h e g r e a t e s t i n t h e m i d d l e r a n g e .T h e o t h e r f o u r q u e r y t y p e s r e m a i n f u r t h e r b e l o w b y 5 - 1 5p o i n t s (ab o u t 1 6 - 2 4 %) f ro m ran k 2 0 t o 1 0 0 . Th e d i f f e ren ce t ot h e b e s t p o s s i b l e c u r v e i s 2 3 - 3 8 p o i n t s ( 5 0 % ) . B e y o n d t h eran k 1 0 0 t h e d i f fe ren ces b e t w een t h e b e s t p o ss i b l e an d a l l a c -t u a l c u r v e s a r e a l l b o u n d t o d i m i n i s h . F i g u r e 2 B s h o w s t h ec u r v e s w h e n d o c u m e n t s o n l y a t t h e r e l e v a n c e l e v e l 3 c o n s i d -e r e d . T h e p r e c i s e f i g u r e s a r e d i f f e r e n t a n d t h e a b s o l u t e d i f f e r -e n c e s s m a l l e r . H o w e v e r , t h e p r o p o r t i o n a l d i f f e r e n c e s a r e l a rg e r .

T h e c u r v e s c a n b e i n t e r p r e t e d a l s o i n a n o t h e r w a y : a t t h er e l e v a n c e l e v e l 3 o n e h a s t o r e t r i e v e 3 4 d o c u m e n t s b y t h e b e s tq u e ry t y p es , an d 6 2 b y t h e o t h e r q u e ry t y p es , i n o rd e r t o g a i nt h e b e n e f i t t h at c o u l d t h e o r e t i c a ll y b e g a i n e d b y r e t r i e v i n g o n l y1 0 d o cu men t s . In t h i s re sp ec t t h e b e s t q u e ry t y p es a re n ea r l yt w i c e a s e f f e c t i v e as t h e o t h e r s . A t t h e r e l e v a n c e l e v e l s 2 & 3 t h ec o r r e s p o n d i n g f i g u r e s a r e 2 0 a n d 2 6 d o c u m e n t s . A t t h e g r ea t e s t ,t h e d i f f e r e n c e b e t w e e n t h e b e s t a n d t h e r e m a i n i n g q u e r y t y p e si s 6 - 8 p o i n t s ( o r t w o d o c u m e n t s , r e l e v a n c e l e v e l 3 ) at r a n k s 4 0- 6 0 . A t r e l e v a n c e l e v e l s 2 & 3 t h e g r e a t e s t d i f f e r e n c e s a r e 5 - 1 5p o i n t s (o r 2 - 7 d o cu men t s ) a t ran k s 4 0 - 1 0 0 .3 . 7 D i s c o u n t e d c u m u l a t i v e g a i nF i g u r e 3 s h o w s t h e D C G v e c t o r c u r v e s f o r ra n k s 1 - 5 0 , th e s i xq u e r y t y p e s s t u d i e d a b o v e a n d t h e t h e o r e t i c a l l y b e s t p o s s i b l e( a v e r a g e ) q u e r y . T h e l o g2 o f t h e d o c u m e n t r a n k i s u s e d a s t h ed i s c o u n t i n g f a c t o r . F i g u r e 3 A s h o w s t h e c u r v e s w h e n d o c u -m e n t s b o t h a t t h e r e l e v a n c e l e v e l s 2 a n d 3 a r e ta k e n i n t o a c -co u n t . Th e b es t p o ss i b l e cu rv e s t i l l g ro w s a t t h e ran k 5 0 ( i tl e v e l s o f f a t t h e r a n k 90 ) . T h e t w o b e st ( s y n o n y m s t r u c tu r e d )

4 5


7/9

3 02 5.

i

6 o :s o :, o :

B

80~ ~ b est p o ssib le wsy rVe7 o w s ~ u ssyn-c /e6~ 0 ssyn-c/u

~ 5 0 I I s ur rV e13 sum/u4 0

A

0 2 0 4 0 6 0 8 0 1 0 0 0 2 0 4 0 6 0 8 0 1 0 0D C V D C VFigu re 2. Cumulative gain curves at ranks l -I0 0, relevance levels 2&3 (A), and 3 (B).

query types hang below by 5 - 9 points (35 - 36 %) from therank 10 to 50. The difference is growing. The other four querytypes remain further below by 2 - 4 points (15 - 27 %) fromrank 10 to 50. The difference to the best possible curve is 7 - 13points (47 - 50 %). Beyond the rank 50 the differences betweenthe best possible and all actual curves gradually become stable.Figure 3B shows the curves when documents only at the rele-vance level 3 considered. The precise figures are different andthe absolute diferences smaller. However, the proportionaldifferences are larger. At the greatest, the difference betweenthe best and the remaining query types is 3 points (or one level- 3 document) at the rank 40 and further. It is a consistent andstatistically significant difference but are the users able to no-ttce it?

Also these curves can be interpreted in another way: at therelevance level 2&3 one has to expect the user to examine 35documents by the best query types, and 70 by the other querytypes, in order to gain the (discounted) benefit that could theo-

reticaUy be gained by retrieving only l0 documents. User per-sistence up to 35 documen ts is not unrealistic whereas up to 70it must be rare. The difference in query type effectiveness isessential. At the relevance level 3 the discounted gains of thebest query types never reach the ga in theoretically possible atthe rank I0. The theoretically possible gain at the rank 5 isachieved at the ran k 50 and only by the best query types.

One might argue that if the user goes down to 70 docu-ments, she gets the real value, not the discounted one and there-fore the DCG data should not be used for effectiveness com-parison. While this may hold for the user situation, the DCG-based comparison is valuable for the system designer. The useris less likely to scan that far and thus documents placed theredo not have their real relevance value; a retrieval system ormethod placing relevant documents later in the ranked resultsshould not be credited as much as another system or methodranking them earlier.

3

1 0

5

0 . . . . . . , . , . . , , , - ,i 0 2 0 3 0 4 0 5 0D C V

A Bb est p o sstb lews~/e

2 5 ~ ws~/u$ ssyn-c /e

20, O ssyn-cJu s u m / eE l s u m / u . _ . - .

0 1 0 2 0 3 0 4 0 5 0D C VFigu re 3. Discounted (log2) cumulative gain curves ranks 1-50, relevance levels 2&3 (A), and 3 (B).

46


8/9

T h e m a i n f i n d i n g s a r e s i m i l a r w i t h t h e o t h e r l o g a r i t h m b a s e s w et e st e d . H o w e v e r , t h e m a g n i t u d e o f t h e d if f e r e n c e s b e t w e e n t h eb es t an d w o rs t q u e ry t y p es g ro w s f ro m 4 p o i n t s fo r lo g 2 t o 1 3p o i n t s fo r l o g ~ 0 a t t h e ran k 5 0 (o b v i o u s l y ) . Th i s mean s t h a t fo r ap e rs i s t en t u se r t h e b e s t me t h o d s a re 1 3 p o i n t s (o r 2 7 %) b e t t e rt h a n t h e r e m a i n i n g o n e s . F o r a n i m p a t i e n t o n e , t h e y a r e o n l y 4p o i n t s b e t t e r .4 D i s c u s s i o n a n d c o n c l u s i o n sW e h a v e a r g u e d t h a t i n m o d e r n l a r g e d a t a b a s e e n v i r o n m e n t s ,t h e d e v e l o p m e n t a n d e v a l u a t i o n o f I R m e t h o d s s h o u l d b e b a s e do n t h e i r ab i l i t y t o re t r i ev e h i g h l y re l ev an t d o cu men t s . Th i s i sd e s i r a b le f r o m t h e u s e r v i e w p o i n t a n d p r e s e n t s a n o t t o o l i b e r a lt e s t f o r I R m e t h o d s . W e t h e n d e v e l o p e d t w o m e t h o d s f o r 1 Rm e t h o d e v a l u a t i o n , w h i c h a i m a t ta k i n g t h e d o c u m e n t r e l e v a n c ed e g r e e s i n t o a c c o u n t . O n e i s b a s e d o n a n o v e l a p p l i c a t i o n o f t h et rad i t i o n a l P-R cu rv es an d sep a ra t e reca l l b a se s fo r e ach re l e -v a n c e l e v e l o f d o c u m e n t s . T h e o t h e r i s ba s e d o n t w o n o v e le v a l u a t i o n m e a s u r e s , t h e C G a n d t h e D C G m e a s u r e s , w h i c hg i v e t h e ( d i s c o u n t e d ) c u m u l a t i v e g a i n u p t o a n y g i v e n d o c u -men t ran k i n t h e re t r i ev a l re su l t s . Bo t h measu re s sy s t ema t i ca l l yc o m b i n e d o c u m e n t r a n k ( b a s e d o n i t s p ro b a b i l it y o f r e le v a n c e )a n d d e g r e e o f r e l e v a n c e .

I n t h e c a s e s t u d y w e d e m o n s t r a t e d t h e u s e o f t h e s e e v a l u a -t i o n m e t h o d s i n t h e e v a l u a t i o n o f t h e e f f e c t i v e n e s s o f v a r i o u sq u e r y t y p e s w h i c h w e r e v a r i e d i n s t r u c t u r e a n d e x p a n s i o n . O u rh y p o t h e s e s w e r e t h a t:

t h e p e r f o r m a n c e d i f f e re n c e s b e t w e e n q u e r y t y p e sa m o n g m a r g i n a l l y r e l e v a n t d o c u m e n t s s h o u l d b e m a r g i n a la n d a m o n g h i g h l y r e l e v a n t d o c u m e n t s e s s e n t i a l w h e n m e a s -u r e d b y t h e P - R c u r v e s , s t ro n g l y s t ru c t u red ex p a n d ed q u e r i e s p re sen t b e t t e r e f -f e c t i v e n e s s t h a n u n e x p a n d e d q u e r i e s o r q u e r i e s b a s ed o no t h e r s t r u ct u r e s , w h e t h e r e x p a n d e d o r n o t , a n d e x p a n d e d q u e r i e s b a s e d o n s tr o n g s t r u ct u r e s c u m u l a t eh i g h e r C G a n d D C G v a l u e s th a n u n e x p a n d e d q u e r i e s o rq u e r i e s b a s e d o n o t h e r s t r u ct u r e s, w h e t h e r e x p a n d e d o r n o t .T h e s e h y p o t h e s e s w e r e c o n f i r m e d . T h e d i f f e r e n c e s b e t w e e n

t h e p e r f o r m a n c e f i g u r e s o f t h e b e s t a n d w o r s t q u e r y t y p e s a r eco n s i s t en t an d s t a t i s t i c a l l y v e ry s i g n i f i can t . W e v a l u e d t h ed o c u m e n t s a t d i f f e r e n t r e l e v a n c e l e v e l s r a t h er e q u a b l y , h o w -e v e r , th e u s e r m i g h t v a l u e d o c u m e n t s a t r e l e v a n c e l e v e l 3 m u c hh i g h e r t h a n d o c u m e n t s a t o t h e r r e l e v a n c e l e v e l s . T h u s , o u ran a l y s i s p e rh ap s l ed t o ra t h e r co n se rv a t i v e , a l t h o u g h s i g n i f i can tresul t s .

T h e P - R c u r v e s d e m o n s t r a t e t h a t t h e g o o d p e r f o r m a n c e o ft h e ex p an d ed s t ru c t u red q u e ry t y p es i s d u e t o , i n p a r t i cu l a r ,t h e i r a b i l i t y t o r a n k t h e h i g h l y r e l e v a n t d o c u m e n t s t o w a r d t h et o p o f re t r i ev a l re su l ts . Th e c u m u l a t i v e g a i n cu rv es i l l u s t ra t e th ev a l u e t h e u s e r a c t u a l l y g e t s , b u t d i s c o u n t e d c u m u l a t i v e g a i nc u r v e s c a n b e u s e d t o f o r e c a s t t h e s y s t e m p e r f o r m a n c e w i t hreg a rd t o a u se r ' s p a t i en ce i n ex ami n i n g t h e re su l t l i s t . W i t h as m a l l l o g b a s e , t h e v a l u e o f a r e l e v a n t d o c u m e n t d e c r e a s e sq u i c k l y a l o n g t h e r a n k e d h s t a n d a D C G c u r v e t u r n s h o r i z o n t a l .T h i s a s s u m e s a n i m p a t i e n t u s e r f o r w h o m l a t e c o m i n g r e f o r m a -t i o n i s n o t u se fu l b e cau se i t w i l l n ev e r b e read . I f th e C G an dD C G c u r v e s a r e a n a l y s e d h o r i z o n t a l l y , w e m a y c o n c l u d e t h a t as y s t e m d e s i g n e r w o u l d h a v e t o e x p e c t t h e u s e r s t o e x a m i n e b y5 0 t o 1 0 0 % m o r e d o c u m e n t s b y t h e w o r s e q u e r y t y p e s t o c o l -l e c t t h e same g a i n co l l ec t ed b y t h e b e s t q u e ry t y p es . W h i l e i t I s

p o ss i b l e t h a t p e rs i s t en t u se rs g o w a y d o w n . t h e re su l t l i s t, e .g . ,f r o m 3 0 t o 6 0 d o c u m e n t s , i t o f t e n i s u n l i k e l y t o h a p p e n , a n d as y s t e m r e q u i r i n g s u c h a b e h a v i o u r i s , i n p r a c t i c e , m u c h w o r s et h a n a s y s t e m y i e l d i n g t h e g a i n w i t h i n a 5 0 % o f t h e d o c u -men t s .T h e n o v e l C G a n d D C G m e a s u r e s c o m p l e m e n t t h e m o d i -f i e d P - R m e a s u r e . P r e c i s i o n o v e r f i x e d r e c a l l l e v e l s h i d e s t h eu s e r ' s e ff o r t u p t o a g i v e n r e ca l l l e v e l . T h e D C V - b a s e d p r e c i -s i o n - r e c a l l c u r v e s a r e b e t t e r b u t s t i l l d o n o t m a k e t h e v a l u eg a i n e d b y r a n k e d p o s i t i o n e x p l i c i t . T h e C G a n d D C G c u r v e sp r o v i d e t h i s d i r e c tl y . T h e d i s t a n c e t o t h e t h e o r e t i c a l l y b e s t p o s -s i b l e c u r v e s h o w s t h e e f f o r t w a s t e d o n l e s s - t h a n - p e r f e c t o r u s e -l e s s d o c u m e n t s . T h e a d v a n t a g e o f t h e P - R m e a s u r e i s th a t i tt r e at s r e q u e s t s w i t h d i f f e r e n t n u m b e r o f r e l e v a n t d o c u m e n t se q u a l l y , a n d f r o m t h e s y s t e m ' s p o i n t o f v i e w t h e p r e c i s i o n a te a c h r e c a l l l e v e l i s c o m p a r a b l e . I n c o n t r a s t , C G a n d D C Gc u r v e s s h o w t h e u s e r ' s p o i n t o f v i e w a s t h e n u m b e r o f d o c u -m e n t s n e e d e d t o a c h i e v e a c e r ta i n g a i n . T o g e t h e r w i t h t h e th e o -r e t i c a l l y b e s t p o s s i b l e c u r v e t h e y a l s o p r o v i d e a s t o p p i n g r u l e ,t h a t i s , w h en t h e b e s t p o ss i b l e cu rv e t u rn s h o r i zo n t a l , t h e re i sn o t h i n g t o b e g a i n e d b y r e t r i e v i n g o r e x a m i n i n g f u r t h e r d o c u -m e n t s .

G e n e r a l l y , t h e e v a l u a t i o n m e t h o d s a n d t h e c a s e d e m o n s t r a t et h a t n o n - d i c h o t o m o u s r e l e v a n c e a s s e s s m e n t s a r e a p p l i c a b l ee v e n i n I R e x p e r i m e n t s , a n d m a y r e v e a l i n t e r e s t in g p h e n o m e n a .T h e d i c h o t o m o u s r e l e v a n c e a s s e s s m e n t s g e n e r a l l y a p p li e d m a yb e t o o p e r m i s s i v e , a n d , c o n s e q u e n t l y , t o o e a s i l y g i v e c r e d i t t oI R s y s t e m p e r f o r m a n c e . W e b e l i e v e t ha t , i n m o d e r n l a r g e e n v i -r o n m e n t s , t h e p r o p o s e d m o d i f i e d P - R m e a s u r e a n d t h e n o v e l( D ) C G m e a s u r e s s h o u l d b e u s e d w h e n e v e r p o s s i b l e , b e c a u s et h e y p r o v i d e r i c h e r i n f o r m a t i o n f o r e v a l u a t i o n .

A c k n o w l e d g e m e n t s .T h i s s t u d y w a s f u n d e d i n p ar t b y A c a d e m y o f F i n l a n d u n d e r t h eg r a n t n u m b e r 4 4 7 0 3 . W e t h a n k t h e F I R E g r o u p a t U n i v e r s i t y o fT a m p e r e , e s p e c i a l l y H e i k k i K e s k u s t a l o a n d E e r o S o r m u n e n , f o rh e l p f u l c o m m e n t s , a n d H e i k k i K e s k u s t a l o a n d T i m o T e r v o l af o r p r o g r a m m i n g e f f o r t s f o r d a t a a n a l y s i s .

R e f e r e n c e s[1 ] J . A l l an , J . C a l l an , B . C ro f t , L . B a l l e s t e ro s , J . B ro g l i o , J . X u

& H . S h u . I N Q U E R Y a t T R E C 5 . I n E . M . V o o r h e e s &D .K . H a r rn an (Ed s . ) , In format ion technology: The F i f thTex t Re tr ieva l Conference (TREC-5) . G a i t h e r s b u r g , M D :N a t i o n a l I n s t it u t e o f S t a n d a r d s a n d T e c h n o l o g y , 1 1 9 - 1 3 2 ,! 9 9 7 .[ 2 ] D . C . B l a i r , & M . E . M a r o n . A n e v a l u a t i o n o f re t r i e v a l e f f e c -u v e n e s s f o r a f u l l- t e x t d o c u m e n t - r e t r i e v a l s y s t e m . C o m m u -n i c a t i on s o f t h e A CM , 2 8 ( 3 ) : 2 8 9 - 2 9 9 , 1 9 8 5.[ 3 ] P . B o r l u n d & P . I n g w e r s e n . M e a s u r e s o f r e l a ti v e r e l e v a n c ea n d r a n k e d h a l f - li f e : P e r f o r m a n c e i n d i c a t o r s f o r i n t e r a c t iv eI R . I n W . B . C r o f t , A . M o f f a t , C . J . v a n R i j s b e r g e n , R . W i l -k i n s o n & J . Z o b e l ( E d s . ) , P r o c e e d i n g s o f t h e 2 1 s t A n n u a lI n t e r n a t i o n a l A C M S I G I R C o n f e r e n c e o n R e s e a r c h a n d

4 7


9/9

Development in Information Retrieval. N e w Y o r k : A C M ,324-.-331, 1998.[4 ] W.J . Conover . Practical nonparametric statistics (2nd ed . ) .New York : John W iley & Sons , 1980 .[5 ] R . Green . The express ion o f concep tua l syn tagm at ic re la -t ionsh ips : A com para t ive su rvey . Journal of Documenta-tion, 51(4) : 315-338 , 1995 .[ 6 ] W . R . H e r s h & D . H . H i c k a m . A n e v a l u a t i o n o f in t e r a c t iv eBoolean and na tu ra l language search ing w i th an on l inem e d i c a l t e x t b o o k . Journal of the American Society for In-

formation Science, 46(7 ): 478.--489, 1995.[7 ] P . Ingwersen & P . Wil le t t . An in t roduc t ion to a lgor i thm ica n d c o g n i t i v e a p p r o a c h e s f o r i n f o r m a t i o n r e t r ie v a l . Libri,450: 160-177 , 1995 .[ 8 ] E . M . K e e n . T h e u s e o f t e r m p o s i t i o n d e v i c es i n r a n k e d o u t -pu t exper im ents . Journal of Documentation, 47(1) : 1 -22 ,1991.[9] J. Kek~il~iinen. The effects of query complexity, expansionand structure on retrieval performance in probabilistic textretrieval. P h . D . d i s s e r t a t i o n . D e p a r t m e n t o f I n f o r m a t i o nS t u d i e s , U n i v e r s i ty o f T a m p e r e , 1 9 99 .[10] J . Keka la inen & K . Ja rve l in . The co-e f fec ts o f query s t ruc-t u r e a n d e x p a n s i o n o n r e t r i ev a l p e r f o rm a n c e i n p r o b a b i l i s t i ctex t re t r ieva l . Information Retrieval, 1(4): 329-344, 2000.[ 11 ] J . K ek~l~ inen & K . J~rve l in . The im pac t o f query s t ruc tu re

a n d q u e r y e x p a n s i o n o n r e t r i e v a l p e r f o r m a n c e . I n W . B .Crof t , A . Moffa t , C . J . van R i jsbergen , R . Wilk inson & J .Zobe i (Eds . ) , Proceedings of the 21st Annual InternationalACM SIGIR Conference on Research and Development inInformation Retrieval. N e w Y o r k : A C M , 1 3 0 - 1 3 7 , 1 9 98 .[12] R .M. Losee . Text retrieval and filtering: Analytic modelsof performance. K l u w e r A c a d e r m c P u b l i s h e r s : B o s t o n ,1998.[ 1 3 ] T .B . R a j a s h e k a r & W . B . C r o f t. C o m b i n i n g a u t o m a t i c a n dm anua l index represen ta tzons m probab i l i s t~c re t r ieva l .Journal of the American Society for Information Science,46(4) : 272-2 83 , 1995.[14] S .E . Rober tson & N .J . Be lk in . Rank ing in p r inc ip le . Jour-nal of Documentation, 34(2) : 93-1 00 , 1978.[15] T . Saracev ic , P . Kan tor , A . Cham is & D . Tnvison . A s tudyof in fo rm at ion seek ing and re t r iev ing . I . Background andm e t h o d o l o g y . Journal of the American Society for Informa-tion Science, 39(3) : 161-176 , 1988 .

[16] S . Sm ithson . In fo rm at ion re t r ieva l eva lua t ion in p rac t ice :A c a s e s t u d y a p p r o a c h . Information Processing & Man-agement, 30(2) : 205-221 , 1994 .[17] E . Sorm unen . A Method for Measuring Wtde Range Per-formance of Boolean Queries in Full-Text Databases.Ph.D . d~sser ta t ion . Depa r tm en t o f In fo rm at ion S tud ies ,U n i v e r s i ty o f T a m p e r e , 2 0 0 0 .[18] H.R. Turtle . Inference networks for document retrieval.P h . D . d i s s e r t a ti o n . C o m p u t e r a n d i n f o r m a t i o n S c i e n c e D e -par tm ent , Univers i ty o f Massachuse t t s , 1990.

4 8

ire valuation methods 2000

Documents