U"lizing  Query  Change  for  Session  Search  

 Dongyi  Guan,  Sicong  Zhang,  Grace  Hui  Yang  Department  of  Computer  Science  

Georgetown  University    

Speaker:  Grace  Hui  Yang    

SIGIR  2013  @  Dublin  

1  

Introduc"on  •  Session  search  –  performs  document  retrieval  for  a  session  of  search  queries  

•  TREC  Session  tracks  (2010-­‐2012)  – Given  a  series  of  queries  {q1,q2,…,qn},  top  10  retrieval  results  {D1,  …  Di-­‐1  }  for  q1  to  qi-­‐1,    and  click  informa"on  

–  The  task  is  to  retrieve  a  list  of  documents  for  the  current/last  query,  qn    

•  Relevance  judgment  is  made  based  on  how  relevant  the  documents  are  for  qn,  and  how  relevant  they  are  for  informa"on  needs  for  the  en"re  session  (in  topic  descrip"on)  

–  no  need  to  segment  the  sessions  

2  

In  a  session,  queries  change  constantly  

1.pocono  mountains  pennsylvania    2.pocono  mountains  pennsylvania  hotels  3.pocono  mountains  pennsylvania  things  to  do  4.pocono  mountains  pennsylvania  hotels  5.pocono  mountains  camelbeach  6.pocono  mountains  camelbeach  hotel  7.pocono  mountains  chateau  resort    8.pocono  mountains  chateau  resort  a^rac"ons    9.pocono  mountains  chateau  resort  ge`ng  to  10.chateau  resort  ge`ng  to  11.pocono  mountains  chateau  resort  direc"ons  

TREC  2012  Session  6  

3  

Informa"on  needs:    You  are  planning  a  winter  vaca"on  to  the  Pocono  Mountains  region  in  Pennsylvania  in  the  US.  Where  will  you  stay?  What  will  you  do  while  there?  How  will  you  get  there?  

Outline  

•  Introduc"on  to  session  search  •  What  is  Query  Change  and  Why  it  is  important  for  session  search?  

•  Where  do  these  query  changes  come  from?  (Why  the  user  makes  those  query  changes?)  

•  How  to  model  query  changes  and  the  dynamics  in  session  to  help  retrieval?  

4  

Defini"on  of  Query  Change  

•  We  define  query  change                    as  the  syntac"c  edi"ng  changes  between  two  adjacent  queries:  

•                       includes      –                           ,  added  terms  –                           ,    removed  terms      

•  The  unchanged/shared    terms  are  called:    –                           ,  theme  term  

1−−=Δ iii qqq

iqΔ

5  

iqΔ+iqΔ

iqΔ−

themeq

First  take-­‐home  message:  Query  Change  is  an  Important  Form  of  Feedback  

•  It  is  probably  the  strongest  signal  that  a  user  likes  or  dislikes  the  retrieval  results  for  previous  queries  •  Much  stronger  than    

–  clicking  a  document  –  reading  a  document  for  >  30  seconds  (SAT  clicks)  –  Even  judging  it  

6  

Where  do  these  query  changes  come  from?  

•  Given  TREC  Session  se`ngs,  we  consider  two  sources  of  query  change:  –  the  previous  search  results  that  a  user  viewed/read/examined  

–  the  informa"on  needs  •  Example:  

–  Kurosawa  à  Kurosawa  wife  –  `wife’  is  not  in  any  previous  results,  but  in  the  topic  descrip"on  

•  However,  knowing  informa"on  needs  before  search  is  difficult  to  achieve  

7  

Second  take-­‐home  message:  Previous  search  results  influence  query  change  

•  Our  observa"ons  suggest  that  documents  that  have  been  examined  by  the  user  factor  in  deciding  the  next  query  change.  

1−←Δ ii Dq

8  

Previous  search  results  could  influence  query  change  in  quite  complex  ways  

•  Merck  lobbyists  à  Merck  lobbying  US  policy  •  D1  contains  several  men"ons  of  ‘policy’,  such  as    

–  “A  lobbyist  who  un"l  2004  worked  as  senior  policy  advisor  to  Canadian  Prime  Minister  Stephen  Harper  was  hired  last  month  by  Merck  …”  

•  These  men"ons  are  about  Canadian  policies;  while  the  user  adds  US  policy  in  q2  

•  Our  guess  is  that  the  user  might  be  inspired  by  ‘policy’,  but  he/she  prefers  a  different  sub-­‐concept  other  than  `Canadian  policy’  

•  Therefore,  for  the  added  terms  `US  policy’,  ‘US’  is  the  novel  term  here,  and  ‘policy’  is  not  since  it  appeared  in  D1.    –  The  two  terms  should  be  treated  differently  

9  

Outline  

•  Introduc"on  to  session  search  •  What  is  Query  Change  and  Why  it  is  important  for  session  search?  

•  Where  do  these  query  changes  come  from?  (Why  the  user  makes  those  query  changes?)  

•  How  to  model  query  changes  and  the  dynamics  in  session  to  help  retrieval?  

10  

Markov  Decision  Process  

•  We  propose  to  model  session  search  as  a  Markov  decision  process  (MDP)  

•  Two  agents:  the  User  and  the  Search  Engine  

11  

Se`ngs  of  the  Session  MDP  

•  States:  Queries  •  Environments:  Search  results  •  Ac"ons:  

– User  ac"ons:    •  Add/remove/  unchange    the  query  terms  

–  Nicely  correspond  to  our  defini"on  of  query  change  

– Search  Engine  ac"ons:    •  Increase/  decrease  /remain  term  weights  

12  

Search  Engine  Agent’s  Ac"ons  ∈ Di−1   action   Example  

qtheme  

Y   increase   “pocono mountain” in s6  

N   increase  “france world cup 98 reaction” in s28, france world cup 98 reaction stock market→ france world cup 98 reaction  

+∆q  Y   decrease   ‘policy’ in s37, Merck  lobbyists → Merck  

lobbyists    US  policy  

N   increase   ‘US’ in s37, Merck  lobbyists → Merck  lobbyists US  policy  

−∆q  Y   decrease  

‘reaction’ in s28, france world cup 98 reaction   → france world cup 98  

N   No change  

‘legislation’ in s32, bollywood legislation →bollywood law  

13  

Modeling  Query  Change  •  A  framework  that  is  inspired  by  Reinforcement  Learning  

•  Reinforcement  Learning  for  Markov  Decision  Process  –  models  a  state  space  S  and  an  ac"on  space  A  according  to  a  transi"on  model  T  =  P(si+1|si  ,ai)  

–  a  policy  π(s)  =  a  indicates  that  at  a  state  s,  what  are  the  ac"ons  a  can  be  taken  by  the  agent  

–  each  state  is  associated  with  a  reward  func"on  R  that  indicates  possible  posi"ve  reward  or  nega"ve  loss  that  a  state  and  an  ac"on  may  result.  

•  Reinforcement  learning  offers  general  solu"ons  to  MDP  and  seeks  for  the  best  policy  for  an  agent.  

 

14  

Reinforcement  Learning  

•  In  a  MDP,  it  is  believed  that  a  future  reward  is  not  worth  quite  as  much  as  a  current  reward  and  thus  a  discount  factor    γ  ϵ  (0,1)  is  applied  to  future  rewards.    

•  Bellman  Equa"on  gives  the  op"mal  value  (expected  long  term  reward  star"ng  from  state  s  and  con"nuing  with  policy  π    from  then  on)    for  an  MDP:  

15  

V*(s) = maxa

R(s,a) + γ P(s' | s,a)s '∑ V*(s')

Our  Tweak  

•  In  a  MDP,  it  is  believed  that  a  future  reward  is  not  worth  quite  as  much  as  a  current  reward  and  thus  a  discount  factor    γ  ϵ  (0,1)  is  applied  to  future  rewards.    

•  In  session  search,  a  past  reward  is  not  worth  quite  as  much  as  a  current  reward  and  thus  a  discount  factor    γ  should  be  applied  to  past  rewards  – We  model  the  MDP  for  session  search  in  a  reverse  order  

16  

Our  Tweak  &  QCM  

•  Bellman  Equa"on  gives  the  op"mal  value  for  an  MDP:  

•  The  reward  func"on  is  used  as  the  document  relevance  score  func"on  and  is  tweaked  backwards  from  Bellman  equa"on:    

17  

V*(s) = maxa

R(s,a) + γ P(s' | s,a)s '∑ V*(s')

Score(qi, d) = P (qi|d) + γ P (qi|qi-1, Di-1, a)maxDi−1

P (qi-1|Di-1)a∑

Query  Change    retrieval  Model  (QCM)  

Query  Change  retrieval  Model  (QCM)  

18  

Score(qi, d) = P (qi|d) + γ P (qi|qi-1, Di-1, a)maxDi−1

P (qi-1|Di-1)a∑

Document  relevant  score  

Discount  factor  

Query  Transi;on  model  

Maximum  past  reward/relevance  

score  

Current  reward/relevance  score  

Es"ma"ng  the  Transi"on  Model  

Score(qi, d) = log P(qi|d) +α [1−P(t | di−1* )]

t∈qtheme∑ logP(t | d)

−β P(t | di−1* )

t∈+Δqt∈di−1

*

∑ logP(t | d)+ε idf (t)t∈+Δqt∉di−1

*

∑ logP(t | d)

−δ P(t | di−1* )

t∈−Δq∑ logP(t | d)

19  

•  According  to  Query  Change  and  Search  Engine  Ac"ons  

Current  reward/  relevance  score  

Increase  weights  for  theme  terms  

Decrease  weights  for  removed  terms  

Increase  weights  for  novel  added  

terms  Decrease  weights  for  old  added  

terms  

Maximizing  the  Reward  Func"on  

•  Generate  a  maximum  rewarded  document  denoted  as    d*i-­‐1,  from  Di-­‐1  –  That  is  the  document(s)  most  relevant  to  qi-­‐1  

•  The  relevance  score  can  be  calculated  as    

•  From  several  op"ons,  we  choose  to  only  use  the  document  with  top    

maxDi−1

P(qi−1 |Di−1)

20  

Scoring  the  En"re  Session  

•  The  overall  relevance  score  for  a  session  of  queries  is  aggregated  recursively  :  

Scoresession (qn, d) = Score(qn, d) + γScoresession (qn-1, d)= Score(qn, d) + γ[Score(qn-1, d) + γScoresession (qn-2, d)]

= γ n−i

i=1

n

∑ Score(qi, d)

21  

Experiments  •  TREC  2011-­‐2012  query  sets,  datasets  

•  ClubWeb09  Category  B  •  Systems  under  comparison:  

–  Baseline:  the  TREC  best  system’  scores  (from  University  of  Pi^sburgh)  –  Lemur  –  Nugget  (our  TREC  2012  Submission)  –  TREC  Median  –  QCM,  the  proposed  algorithm  in  this  paper  –  QCM+De-­‐Duplicate,  the  proposed  algorithm  in  this  paper  

22  

Search  Accuracy  (TREC  2012)  

•  nDCG@10  (official  metric  used  in  TREC)    

Approach   nDCG@10   %chg   MAP   %chg  

Lemur   0.2474   -21.54%   0.1274   -18.28%  

TREC’12 median   0.2608   -17.29%   0.1440   -7.63%  

Our TREC’12 submission   0.3021   −4.19%   0.1490   -4.43%  

TREC’12 best   0.3221   0.00%   0.1559   0.00%  

QCM   0.3353   4.10%†   0.1529   -1.92%  

QCM+Dup   0.3368   4.56%†   0.1537   -1.41%  

23  

Search  Accuracy  (TREC  2011)  

•  nDCG@10  (official  metric  used  in  TREC)  

Approach   nDCG@10   %chg   MAP   %chg  

Lemur   0.3378   -23.38%   0.1118   -25.86%  

TREC’11 median   0.3544   -19.62%   0.1143   -24.20%  

TREC’11 best   0.4409   0.00%   0.1508   0.00%  

QCM   0.4728   7.24%†   0.1713   13.59%†  

QCM+Dup   0.4821   9.34%†   0.1714   13.66%†  

Our TREC’12 submission   0.4836   9.68%†   0.1724   14.32%†  

24  

Search  Accuracy  for  Different  Session  Types  

•  TREC  2012  Sessions  are  classified  into:  –  Product:  Factual  /  Intellectual  –  Goal  quality:  Specific  /  Amorphous  

Intellectual   %chg   Amorphous   %chg   Specific   %chg   Factual   %chg  

TREC best   0.3369   0.00%   0.3495   0.00%   0.3007   0.00%   0.3138   0.00%  

Nugget   0.3305   -1.90%   0.3397   -2.80%   0.2736   -9.01%   0.2871   -8.51%  

QCM   0.3870   14.87%   0.3689   5.55%   0.3091   2.79%   0.3066   -2.29%  

QCM+DUP   0.3900   15.76%   0.3692   5.64%   0.3114   3.56%   0.3072   -2.10%  

25  

-­‐  BeBer  handle  sessions  that  demonstrate  evolu;on  and  explora;on  in  nature  than  most  exis;ng  systems  do  

-­‐  Because  QCM  treats  a  session  as  a  con;nuous  process  by  studying  changes  among  query  transi;ons  and  modeling  the  dynamics  

 

Conclusions  I  

•  We  present  a  novel  session  search  approach  (QCM)  by  u"lizing  query  change  and  modeling  the  dynamic  of  the  en"re  session  as  a  MDP  

•  We  assume  that    – Query  change  is  an  important  form  of  feedback  – Query  change  is  determined  by  previous  search  results  and  informa"on  need  

26  

Conclusions  II    •  We    benefit  from  trus"ng  the  user  

–  We  believe  that  the  most  direct  and  valuable  feedback  is  the  next  query  that  the  user  enters  

•  We  did  not  do  any  thorough  user  study  –  More  detailed  analysis  about  user  intent  might  be  useful  for  us  to  understand  web  users,  however,  it  might  be  overwhelming  (too  fine-­‐grained  or  too  much  seman"cs)  for  a  naïve  search  engine  that  essen"ally  only  counts  words    

•  This  research  is  perhaps  the  first  to  employ  reinforcement  learning  in  session  search.    

•  Our  MDP  view  of  modeling  session  search  can  poten"ally  benefit  a  wide  range  of  IR  tasks.  

27  

Thank  you!  

Grace  Hui  Yang    

huiyang@cs.georgetown.edu  

28  

Parameter  Tuning  

•       

•  α=  2.2,  β  =  1.8,  γ=  0.07,  and  δ  =  0.4.  

Score(qi, d) = log P(qi|d) +α [1−P(t | di−1* )]

t∈qtheme∑ logP(t | d)

−β P(t | di−1* )

t∈+Δqt∈di−1

*

∑ logP(t | d)+ε idf (t)t∈+Δqt∉di−1

*

∑ logP(t | d)

−δ P(t | di−1* )

t∈−Δq∑ logP(t | d)

29  

Error  Analysis  

•  Some  sessions  are  harder  than  the  others.  

30  

Pa^erns  of  Query  Changes  •  Specific  to  general  

•  france  world  cup  98  reac"on  à  France  world  cup  98    •  General  to  specific  

•  pocono  mountains  à  pocono  mountains  park    •  Concept  dri�ing  

•  pocono  mountains  park  à  pocono  mountains  shopping  •  Slightly  different  expression  for  the  same  informa"on  

need  •  glass  blowing  science  à  scien"fic  glass  blowing    

•  May  even  seem  random  –  gun  homicides  australia  àmar"n  bryant  port  arthur  massacre  

31  

Evidence  that  query  change  appears  in  previous  search  results  

TREC’11   TREC’12  

in Di−1   not in Di−1   in Di−1   not in Di−1  

qtheme   184   20   178   21  

+∆q   80   124   97   102  

−∆q   141   63   112   87  

Total   204 adjacent query pairs, 76 sessions  

199 adjacent query pairs, 98 sessions  

32