Evaluer la recherche d’information sur le web par des simulationscognitives de trajets oculomoteursMyriam ChanceauxTIMC-IMAGFaculte de medecine38700 La Tronche, FRANCEmyriam.chanceaux@imag.fr+33(0)4 76 63 74 32

Anne Guerin-DugueGipsa-Lab861 rue de la Houille Blanche38402 Grenoble cedex, FRANCEanne.guerin@gipsa-lab.inpg.fr

Benoit LemaireTIMC-IMAGFaculte de medecine38700 La Tronche, FRANCEbenoit.lemaire@imag.fr

Thierry BaccinoLaboratoire LUTINCite des sciences et de l’industrie de la Villette75930 Paris cedex 19, FRANCEbaccino@lutin-userlab.fr

Resume :

L’une des taches predominantes sur le Web est de chercher des informations. Dans cette etude, nous presentons unmodele informatique qui simule le parcours du regard d’un utilisateur qui recherche une information sur des pages Web.Les mouvements oculaires sont guides par le besoin d’information, par les caracteristiques visuelles des stimuli et par cequi a deja ete traite et memorise. Notre modele tient donc compte a la fois des informations semantiques (top-down) etvisuelles (bottom-up) et integre un modele de memoire afin de predire la direction de l’attention. Ce modele fonctionneau niveau du paragraphe, mais aussi au niveau du mot. Pour valider ce modele, une experimentation avec oculometre aete realisee dans laquelle chaque participant etait mis en contexte de recherche d’information sur une page d’un pseudojournal d’information en ligne.Le modele realise predit le parcours des fixations oculaires durant la scrutation de la page et on observe une bonne corre-spondance entre les trajets oculaires empiriques et ceux predits par le modele.

Mots cles :

Modelisation Cognitive, Mouvements Oculaires, Memoire, Semantique, Visuel, Pages Web, Recherche d’Information

Soumission produite avec LATEX

Soumission : Article de recherche long

Themes de la soumission : Humains, modelisation cognitive

Evaluer la recherche d’information sur le web par dessimulations cognitives de trajets oculomoteurs

Myriam Chanceaux

TIMC-IMAGFaculte de medecine

38700 La Tronche, FRANCEmyriam.chanceaux@imag.fr

Anne Guerin-Dugue

Gipsa-Lab861 rue de la Houille Blanche

38402 Grenoble cedex, FRANCEanne.guerin@gipsa-lab.inpg.fr

Benoit Lemaire

TIMC-IMAGFaculte de medecine

38700 La Tronche, FRANCEbenoit.lemaire@imag.fr

Thierry Baccino

Laboratoire LUTINCite des sciences et de l’industrie de la Villette

75930 Paris cedex 19, FRANCEbaccino@lutin-userlab.fr

RESUMEL’une des taches predominantes sur le Web est de cher-cher des informations. Dans cette etude, nous presentonsun modele informatique qui simule le parcours du re-gard d’un utilisateur qui recherche une information surdes pages Web. Les mouvements oculaires sont guides parle besoin d’information, par les caracteristiques visuellesdes stimuli et par ce qui a deja ete traite et memorise.Notre modele tient donc compte a la fois des informa-tions semantiques (top-down) et visuelles (bottom-up) etintegre un modele de memoire afin de predire la direc-tion de l’attention. Ce modele fonctionne au niveau duparagraphe, mais aussi au niveau du mot. Pour validerce modele, une experimentation avec oculometre a eterealisee dans laquelle chaque participant etait mis encontexte de recherche d’information sur une page d’unpseudo journal d’information en ligne.Le modele realise predit le parcours des fixations oculairesdurant la scrutation de la page et on observe une bonnecorrespondance entre les trajets oculaires empiriques etceux predits par le modele.

MOTS CLES : Modelisation Cognitive, MouvementsOculaires, Memoire, Semantique, Visuel, Pages Web,Recherche d’Information

ABSTRACTOne of the most important tasks on the Web is foraging

Permission to make digital or hard copies of all or part of this work forpersonal or classroom use is granted without fee provided that copiesare not made or distributed for profit or commercial advantage and thatcopies bear this notice and the full citation on the first page. To copyotherwise, to republish, to post on servers or to redistribute to lists, re-quires prior specific permission and/or a fee.IHM 2009, 13-16 Octobre 2009, Grenoble, FranceCopyright 2009 ACM 978-1-60558-461-4/09/10 ...$5.00.

information. In this study, we present a computationalmodel that simulates human movements of a web userduring an information seeking task. Eye movements areguided by the need for information, by the visual char-acteristics of the stimuli and by what has already beenprocessed and stored. Our model takes into account bothsemantic (top-down) and visual (bottom-up) informationand includes a memory model to predict direction of at-tention. This model operates at the text block level, and atthe word level. To validate this model, we asked partici-pants to search information in a pseudo online newspaper,and we compared their scanpaths with those of the model.We observed a good correspondence between simulationand empirical observation.

CATEGORIES AND SUBJECT DESCRIPTORS: H.5.2User Interfaces: Evaluation/methodology

GENERAL TERMS: Human Factors, Experimentation

KEYWORDS: Cognitive Model, Memory, Semantics,Visual, Web pages, Eye Movements, Information Search

INTRODUCTIONCet article propose un modele cognitif de la navigationdans un document structure, visant a faciliter la caracte-risation de son utilisabilite. A cote de methodes quali-tatives (entretiens, questionnaires ou criteres theoriques),les methodes d’evaluation de l’utilisabilite d’une inter-face fondees sur un modele cognitif de l’utilisateur per-mettent une meilleure prediction des performances (tauxd’erreurs, sequences d’actions, durees de traitement) [7,2], mais egalement des mesures physiologiques [21]. Cestypes de modeles prennent en compte les caracteristiquescognitives des futurs utilisateurs pour veritablement simu-ler leurs comportements et detecter le plus tot possi-

ble dans le processus de conception de l’interface desproblemes d’utilisabilite [25], tout en rendant explicite lanature de ces problemes [4]. Cette methodologie possedeune longue histoire, depuis les anciens modeles GOMS[5] ou CCT [12] jusqu’a des modeles plus recents, parexemple CoLiDeS [14] ou SNIF-ACT [20] bases surl’architecture ACT-R [1]. Elle requiert une expertise tresfine dans le domaine de la cognition, afin de predire aumieux les comportements humains. Le but n’est pas deconcevoir un systeme informatique qui traiterait un doc-ument plus vite et mieux que ne le feraient des humains(c’est le cas du resume automatique de documents par ex-emple), mais bien de coller au plus pres aux comporte-ments humains, dans un objectif de caracterisation del’utilisabilite de l’interface.

La tache que nous cherchons a modeliser et a simuler estla recherche d’informations dans un document structure,idealement une page Web (meme si pour le moment nousn’envisageons pas toute la complexite d’une telle inter-face). Un tel document peut etre vu comme la reunionde deux types d’entites : des unites textuelles multiples(a l’oppose donc d’une seule page de texte) et des car-acteristiques visuelles diverses (couleurs, images, misesen forme, etc.). Ces deux caracteristiques correspondent adeux champs de recherche assez independants que nousvoudrions reunir dans une meme modelisation : (1) lamodelisation de la comprehension de textes, depuis lesmodeles de lecture [13] jusqu’aux modeles de traitementsemantique [17, 16], qui sont habituellement appliques ades textes uniques et (2) la modelisation des processus vi-suels [10], traditionnellement appliques a des scenes vi-suelles sans contenus textuels. Les interactions entre lesprocessus visuels et les processus semantiques constituentdonc la specificite de notre approche.

La tache que nous souhaitons etudier concerne la recher-che d’informations et non la simple navigation sans but.Nous cherchons donc a simuler un humain ayant un ob-jectif de recherche precis. Il ne s’agit donc pas de predirece que ferait un humain devant une page Web sans in-tention precise, mais de predire un comportement etantdonne une page Web et un but de recherche precis. Notreobjectif est aussi de modeliser le comportement humainde navigation a un niveau de precision suffisamment fin.Cela nous oblige a nous situer au niveau des fixations etdes saccades oculaires; par contre la duree des fixationsne sera pas prise en compte dans la modlisation. Pourresumer, notre but est donc de predire le trajet oculairemoyen d’utilisateurs confrontes a un document structuredonne, avec une intention precise (c’est a dire un besoind’information definie par la consigne).

TACHEPour tester le modele que nous decrirons plus loin, nousavons imagine une tache correspondant aux objectifspresentes precedemment. Cette tache sera ensuite realiseepar les participants afin de tester notre modele en le com-

parant aux donnees experimentales. La tache consiste arechercher une information dans une pseudo page Web,ressemblant a un journal en ligne. Le but est de trouverle bloc de texte qui correspond le mieux a l’expressiondonnee, a laquelle nous ferons reference dans cet arti-cle comme le ”theme” de la recherche. Voici quelquesexemples de themes : rechauffement climatique, haussede la bourse, victoire des footballeurs, reforme de l’en-seignement... Etant donne que le but de la tache est detrouver le bloc qui correspond le mieux au theme, lesutilisateurs sont encourages a analyser tous les blocs, carmeme s’ils ont deja trouve un bloc interessant, le prochainpeut etre mieux, sans toutefois sacrifier leur efficacite.

Nous avons concu 20 pages contenant a la fois des infor-mations textuelles et des caracteristiques visuelles. Lespages sont composees de sept textes, l’un d’eux etant as-socie a une image. Les textes sont divises en 3 categories:2 textes sont semantiquement tres proche du theme etsont donc des cibles potentielles (association forte); 2textes ont un rapport semantique, mais faible, avec cetheme (association faible), et 3 textes n’ont pas de liensemantique avec le theme (aucune association). La fig-ure 1 montre un exemple de page. Le theme est observa-tion des planetes. Un texte traite des anneaux des planetesgeantes, l’autre d’une etude du systeme solaire : ce sontles textes fortement associes au theme (AF). Un texte con-cerne les problemes de l’antenne d’un engin spatial et unautre d’un logiciel de photographies aeriennes : ces deuxtextes ont une association faible avec le theme (Afa). Lestrois autres n’ont pas d’association avec le theme (AucuneAssociation, AA). Ils parlent d’une plainte deposee parune societe, de la nageuse Laure Manaudou et de l’apres-carriere d’un joueur de basket-ball.

Figure 1 : Exemple de page, le theme est observationdes planetes. Au cours de l’experience, les types deblocs (AF, Afa et AA) ne sont pas visibles.

Pour la conception de ces pages, nous avons eu recoursau corpus Le Monde 1999 qui contient tous les articles del’annee 1999 du quotidien Le Monde. Nous avons placetous les paragraphes du corpus dans un espace semantiquea 300 dimensions grace a l’outil LSA (Latent Seman-tic Analysis) [16], ce qui nous a permis de selectionner

des paragraphes fortement, moyennement et faiblementassocies a chacun des 20 themes choisis. Nous avonsensuite manuellement pioche dans ces ensembles pourselectionner des phrases constituant des textes de longueurhomogene. Voici les statistiques de similarite semantique(similarite maximum=1). AF : moyenne de 0,7, max 0.92,min 0.45; Afa : moyenne de 0,19, max 0,46, min 0,14 etAA : moyenne de 0,01, max 0,13, min -0,05.

Etant donne que notre modele est destine a simuler lesconflits que peuvent rencontrer les humains entre les at-tractions semantique et visuelle, nous avons ajoute des in-formations visuelles a nos pages en plus de cette organi-sation semantique. Ainsi, les blocs peuvent avoir un fondblanc ou de couleur. Il y a trois couleurs par image, qui ontete choisies de maniere a avoir le (1) meme contraste entreelles (ces 3 couleurs forment un triangle equilateral dansl’espace CIELab), (2) meme contraste avec le texte ecriten noir et (3) meme contraste avec le fond blanc. Danschaque page, un bloc AF, un Afa et un AA ont un fond encouleur. Ces 3 blocs sont choisis aleatoirement uniforme-ment.

Pour etre plus proche d’une veritable page Web et avoirune plus grande variabilite semantique et visuelle, nousavons aussi ajoute une photo sur chaque page. Cette imagepeut etre associee a un bloc AF (sur 4 pages sur 20) ou a unbloc AA. Il n’y a aucune photo associee a un bloc Afa cequi permet d’eviter des situations de renforcement du liensemantique qui n’aurait pas ete quantitativement controle,avec un risque que le lien semantique entre le theme et lebloc Afa soit profondement modifie au point de changersa classe semantique (vers AF ou AA). Nous avons doncconcu 20 pages soit 20 themes de recherche d’information(un theme par page). L’organsiation des blocs a l’interieurdes pages a ete generee selon un plan en carre latin ce quia permis d’obtenir 6 listes differentes.

MODELEEtant donne une page et un theme de recherche, notremodele est concu pour simuler le trajet oculomoteur d’unutilisateur moyen, de maniere cognitivement plausible.La production du modele est donc une sequence de fixa-tions, qui sont des coordonnees XY. Nous avons considerequ’il y avait deux niveaux distincts de navigation dans lapage. Le premier consiste a aller de blocs en blocs (niveaudu bloc), et le second opere a l’interieur de chaque bloc(niveau du mot).

Au niveau du bloc, une analyse de trajets humains nousa conduit a observer deux temps dans le parcours ocu-laire. Tout d’abord une strategie globale de visite de tousles blocs, avec une recherche d’optimisation du trajet quirespecte le sens d’exploration visuelle des tableaux (par-cours de haut en bas et de gauche a droite)[3] et physi-ologiques (les grandes saccades sont couteuses par exem-ple). Puis une fois tous les blocs visites, une seconde par-tie du parcours concerne les revisites des blocs consideres

interessants. Le modele reproduit ces strategies. Depuisle point de fixation initial, il produit ainsi un chemin entreles blocs.

Lorsqu’un bloc est selectionne, la seconde partie dumodele prend le relais a l’interieur du bloc (niveau dumot). A ce niveau lexical, le modele utilise commeles humains l’information semantique contenue dans lasequence de mots fixes et sa similarite avec le themerecherche. Une telle tache de recherche d’informationsse distingue d’une tache de lecture dans laquelle le para-graphe est lu integralement. Les humains n’hesitent pas aabandonner le traitement d’un bloc des qu’ils ont acquissuffisamment d’informations sur son interet. C’est cettestrategie que nous avons essaye de modeliser : le modeleparcourt les mots les uns apres les autres en decidantapres chacun d’eux de quitter le bloc ou non. Il gardeen memoire la similarite entre les mots fixes et le but pourrevenir ou non sur le bloc par la suite.

Nous allons maintenant decrire ces deux niveaux.

Au niveau du blocAu niveau du bloc il y a deux strategies mises en place :une premiere phase de visite de tous les blocs et unedeuxieme phase de revisite de certains blocs.

Premieres visites des blocs Cette strategie globaleimplemente la notion cognitive de gist, c’est-a-dire unerepresentation schematique de la scene dans sa glob-alite, des la ou les premieres fixations, [23]. Cetterepresentation cognitive est supposee categoriser rapide-ment la scene (par exemple dans le cas d’une scene na-turelle, le fait qu’il s’agisse d’une cuisine ou d’un animal)et percevoir l’agencement spatial des objets qui la com-posent. A partir de cette representation un schema de par-cours est genere.

Dans notre modele, ce principe est modelise en construi-sant a l’avance un schema de parcours, qui sera adaptedynamiquement apres chaque visite. Ce probleme est ana-logue a celui du voyageur de commerce puisqu’il s’agitde produire un chemin visitant tous les blocs, avec uncritere de cout dependant ici de contraintes cognitives.Plusieurs travaux ont essaye de caracteriser l’algorithmequi decrirait le mieux la methode humaine de resolution dece probleme. L’algorithme d’insertion du noeud le moinscouteux dans l’enveloppe convexe semble etre un bon can-didat [18]. La caracterisation de l’enveloppe convexe etantinutile dans notre cas, nous avons conserve l’algorithmeglouton par insertion du moins couteux. Il s’agit donc deconstruire le parcours bloc par bloc, en inserant au fur eta mesure dans le parcours le meilleur bloc, celui qui en-traıne la plus faible augmentation du cout.

Lorsque le parcours est construit, le modele se dirige versle premier bloc du chemin. Quand il a termine le traite-ment de ce bloc (au niveau du mot), il reconstruit un nou-veau chemin integrant tous les blocs non visites.

Le cout de l’insertion d’un bloc depend de la distance en-tre les blocs mais aussi de preferences heuristiques surles directions. Ainsi chez les humains dont la languematernelle s’ecrit de gauche a droite et de haut en bas,il existe une tendance a parcourir les documents selonces directions, comme nous l’avons aussi observe dansnos experiences avec des participants de langue mater-nelle francaise. Nous avons repris ces parametres dansla modelisation en ponderant les directions. Le modelea donc des parametres αH et αG qui correspondent re-spectivement au poids d’un deplacement vers le haut, etau poids d’un deplacement vers la gauche. Si αH vaut2, une transition vers le haut est, pour la meme distance,deux fois plus couteuse qu’une transition vers le bas. Dememe si αG vaut 1, une transition vers la gauche est, pourla meme distance, aussi couteuse que vers la droite.

Ainsi, avec αH=1.5 et αG=2, le modele fera un trajet enN inverse, c’est a dire descendra la premiere colonne deblocs, remontera jusqu’en haut de la seconde puis la de-scendra (voir figure 2). Ce trajet sera genere car il ne con-tient qu’un seul deplacement vers la gauche (du point defixation au premier bloc) et qu’une seule transition vers lehaut, meme si celle-ci est tres longue. Si par contre onchange les parametres, et que l’on prend αH=1 et αG=2,le modele generera un trajet en U, etant donne que les tran-sitions vers le haut ne seront pas penalisees (voir figure 3).

Cet algorithme peut etre applique a une configuration deblocs plus complexe, comme le montre par exemple la fig-ure 4.

Les donnees empiriques nous permettront d’estimer lesvaleurs de αH et αG les plus appropriees.

Figure 2 : Trajet en N inverse genere par le modele, avecles parametres αH=1.5 et αG=2

Figure 3 : Trajet en U genere par le modele, avec lesparametres αH=1 et αG=2

Revisites Comme mentionne precedemment, une foistous les blocs visites, les revisites sont basees sur trois

Figure 4 : Trajet genere par le modele sur une autre con-figuration de blocs, moins structuree, avec les parametresαH=1.2 et αG=1.3

processus cognitifs: visuel, semantique et mnesique. Cesprocessus peuvent etre en conflit : le processus visuel auratendance a privilegier les blocs proches ou visuellementattirants, le processus de la memoire tendra vers ceux quiont ete vus en premier (et donc oublies) et le processussemantique voudra eviter les blocs les moins associes aubut principal. Notre modele inclut un mecanisme pourintegrer ces trois sources d’information.

Au niveau visuel, notre modele prend en compte le faitque l’œil humain a une acuite visuelle qui limite le traite-ment des elements eloignes de sa fovea. De plus, lessaccades etant physiologiquement couteuses, l’œil hu-main a tendance a fonctionner localement. Toutefois, deselements particulierement saillants visuellement sont sus-ceptibles d’attirer l’attention. Des modeles de saillance vi-suelle ont ete proposes dans la litterature, principalementpour des scenes naturelles. Ces modeles sont souventbases sur la Theorie d’Integration des Traits [24]. Parmieux, le plus populaire est propose par Itti et Koch [10, 11].Il est base sur une decomposition des stimuli visuelsen plusieurs dimensions (couleur, orientation, contraste)et genere une carte de saillance visuelle. Ces modelessimulent correctement les fixations oculaires au debut del’exploration car les premieres fixations sont davantageguidees par la pregnance visuelle de l’image ou lorsque larecherche de l’information n’est pas precisement etablie[9].

Nous determinons donc ici, de maniere dynamique lavaleur visuelle PV de chaque bloc B en tenant comptede sa proximite geographique avec le bloc fixe suivantla courbe classique de l’acuite visuelle en fonction del’excentricite [8]. Au niveau de la saillance visuelle, etantdonne la simplicite des stimuli, un simple biais est ajouteafin de legerement favoriser les blocs dont le fond estcolore.

Les niveaux semantique et mnesique sont intimement lies.Chaque bloc recoit un poids qui correspond a son attrac-tivite. Plus le poids est important plus le modele aura ten-dance a aller revisiter ce bloc. Lorsque le modele quitteun bloc, il lui attribue un poids correspondant a la simi-larite semantique entre le theme et la partie du bloc qui aete traitee. Par la suite ce poids va avoir tendance a aug-menter, pour favoriser les blocs les plus anciens et simuler

ainsi un mecanisme d’oubli. A chaque passage d’un bloca l’autre, le poids PMS de chaque blocBi est calcule suiv-ant l’equation:

PMS(Bi) = PMS(Bi−1) +(1− PMS(Bi−1))

δ

δ a ete experimentalement fixe a 6 dans une etude anteri-eure [6].

Chacun de ces processus peut etre considere commegenerant une carte de chaleur, avec ici exactement huitzones distinctes. A chaque etape, ces cartes sont addi-tionnees pour former une seule carte globale a partir delaquelle le meilleur bloc va etre selectionne puis fixe. Lepoids total P est, pour chaque bloc Bi:

P (Bi) = αMS × PMS(Bi) + αV × PV (Bi)

Ces deux processus n’ont pas le meme role. Dans uneprecedente version de ce modele nous avons montre quela composante la plus importante dans un tel modele estle processus de memoire (voir [6] pour plus de details).Dans cette precedente experience, les stimuli etaient tresdifferents (mots isoles), mais les processus impliquesetaient les memes. Ce qui etait au niveau des motsdans l’experience precedente est maintenant au niveau desblocs. αMS et αV avaient ete fixes respectivement a 0,65et 0,35. Dans cette nouvelle etude nous gardons donc cesvaleurs de parametres.

Bien que limitee a huit zones dans la tache presentee,la combinaison de ces mecanismes global et local peutetre etendu a un nombre plus grand d’elements distinctscomme on en trouve generalement dans les pages Web.Comme nous le verrons dans les sections suivantes, cettesimple combinaison de strategies permet de simuler lescomportements des humains.

Au niveau du motAu niveau du mot, le modele est largement base surdes mesures de similarite semantique entre le but de larecherche et les sequences de mots du bloc. Il utilise pourcela de maniere dynamique LSA (Latent Semantic Analy-sis) qui s’est avere depuis plusieurs annees un bon modeledu jugement d’association semantique chez les humains[15, 16, 17]. Sans rentrer dans les details, LSA prenden entree un corpus de textes bruts et, par le biais d’unereduction de la matrice d’occurrences des mots dans lesparagraphes, represente chaque mot et chaque documentpar des vecteurs dans un espace de 300 dimensions, desorte que les mots qui apparaissent dans les memes con-textes soit representes par des vecteurs proches. Chaquesuite de mots peut ensuite etre representee par un nou-veau vecteur qui peut etre compare a n’importe quel autrevecteur par une simple mesure de cosinus.

Le processus par lequel l’homme recueille des informa-tions dans un texte est simule en considerant les mots

un a un. Dans ce type de recherche, certains utilisa-teurs ne lisent pas vraiment les paragraphes lineairementet preferent chercher des mots ici et la, mais la plupartcommencent un paragraphe sur les premiers mots de lapremiere ligne. En revanche, ce qui est tres importanta simuler est le fait que les utilisateurs ne lisent passystematiquement les paragraphes dans leur integralite.S’ils ont acquis assez d’information, ils decident de quit-ter le paragraphe. Il s’agit donc de modeliser la decisionappropriee. Il y a trois conditions qui semblent gouvernerla decision d’arreter ou de continuer la lecture d’un para-graphe :

• Si les mots traites jusqu’a present ne sont pas liesa ce theme (en utilisant les mesures de similaritesemantique de LSA), le bloc est abandonne avec unevaleur egale a zero, signifiant sa non pertinence pourles revisites ;

• Si les mots traites jusqu’a present sont semantiquementtres proches du theme, le bloc est abandonne, maisil est stocke en memoire comme une solution pos-sible avec une valeur correspondant a sa similaritesemantique avec le theme ;

• Si les mots traites jusqu’a present ne sont ni tresproches, ni tres eloignes du theme, la lecture continueet le mot suivant est traite. Le modele continue sa lec-ture jusqu’a ce qu’il puisse prendre une decision oujusqu’a la fin du paragraphe.

Deux seuils de similarite semantique ont ete definis a ceteffet, l’un pour definir ce qu’est une grande proximitesemantique et l’autre pour une proximite tres faible. Cesseuils varient selon le nombre de mots deja traites dansle bloc : plus le modele a vu de mots, plus il peut etrecapable de prendre sa decision. Par exemple, si seule-ment deux mots ont ete traites, les seuils sont tres restric-tifs car la decision d’abandonner le bloc ne doit etre priseque si la simililarite entre ces deux mots et le theme estextremement eleve ou extremement faible. Par contre si25 mots ont ete traites, le seuil peut etre reduit, car il y aassez de mots pour avoir une meilleure confiance dans lamesure semantique. Les seuils sont definis de la manieresuivante (P est un bloc, S est la sequence de mots traitesjusque la et T est le theme de recherche) :

Abandon(P ) si sim(S, T ) <log(nbMots(S))

20

Abandon(P ) si sim(S, T ) >1− log(nbMots(S))

5

Ces fonctions ont ete definies experimentalement et ontdonne un comportement approprie. La figure 5 presenteces seuils en fonction du nombre de mots traites. Si lasimilarite avec le theme se situe entre les deux lignes,le modele continue sa lecture et verifie le mot suivant.Dans les autres cas, le bloc est abandonne et la simula-tion reprend au niveau des blocs.

Figure 5 : Seuils de similarite en fonction du nombre demots traites

Notre modele n’analyse pas la photo, pas plus qu’il netient compte de sa pertinence visuelle. Par consequent, ilconsidere qu’il s’agit d’un bloc sans texte et ne fait qu’unefixation sur le milieu de la photo. La figure 6 presente unexemple de scanpath sur l’image presentee plus tot, aveccomme parametres αH=1 et αG=2.

ELes entrees du modele sont les coordonnees XY dechaque mot et de chaque paragraphe.

Figure 6 : Exemple d’un scanpath genere par le modele.Les blocs abandonnes en raison de leur forte similitariteavec le theme sont entoures en noir. Les blocs aban-donnes en raison de leur faible similarite au theme sontentoures en gris.

TEST DU MODELEAfin de tester la validite de notre modele, nous avons en-registre les trajets oculomoteurs de participants et com-pare leur comportement a celui du modele.

ExperienceParticipants Trente-huit participants ont pris part a l’ex-perience. Tous avaient une vue normale ou corrigee et au-cun ne connaissait le but de l’experimentation.

Materiel Les mouvements oculomoteurs ont ete enregis-tres avec un oculometre SR EyeLink II, a une frequenced’echantillonnage de 500 Hz. Les donnees n’ont ete en-registrees que pour l’oeil directeur. L’ecran est place a 50cm du participant, et entraine un champ visuel horizontal

de 40 degres. Les images font 1024 × 768 pixels. Unrepose-menton a ete utilise pour conserver la tete du sujetstable. L’oculometre enregistre les positions horizontale etverticale du regard (XY) en pixels. De ces coordonnees,les saccades et les fixations sont extraites, ce qui conduita des trajets comme le montre par exemple la figure 7.

Figure 7 : Exemple d’un scanpath produit par un parti-cipant.

Procedure Chaque essai commence par une instructionsuivie d’une croix de fixation. Cette croix est placee enhaut de la page afin d’etre loin du texte, dans une zonenon informative. Apres que les participants aient fixe cepoint l’image apparait. Les participants doivent trouver lemeilleur bloc en fonction du theme, sans delai maximum,puis cliquer sur le bloc selectionne et donner leur confi-ance dans leur choix. Les participants ont ete invites arepondre aussi rapidement que possible, sans sacrifier laprecision et il leur a ete dit que plusieurs reponses etaientpossibles. La figure 8 illustre cette procedure.

Figure 8 : Procedure experimentale

Comme indique precedemment, il existe 20 themes diffe-rents et 6 listes. Chacun des 38 participants a vu une listecontenant tous les themes, ce qui conduit a 760 trajets. Larecherche sur une page prend en moyenne 36 298 ms (σ =

22 841), pour 89,33 fixations (σ = 52,63), sur en moyenne,11,36 blocs (σ = 6,06).

Ajustement du modeleNotre modele effectue la meme tache que les etres hu-mains sur les pseudo pages Web. Comme nous l’avons vuprecedemment, deux parametres (αH et αG) modulent lastrategie globale du modele et donc la forme du trajet.

Il n’y a pas de valeurs uniques pour ces parametres etantdonne la variabilite des trajets d’un individu a l’autre, maisil nous fallait determiner des plages de variations cogni-tivement plausibles. Nous avons donc genere tous les tra-jets possibles issus des combinaisons de αH et αG dansl’intervalle raisonnable [0-5] avec un pas de 0,1, et enavons extrait 6 trajets prototypiques (dont les trajets en Uet N). Nous avons ensuite cherche a savoir quelles etaientles strategies des participants. Pour cela, nous avonsclasse tous les trajets empiriques selon leur distance avecles trajets prototypiques, en ne prenant que les premieresvisites sur les blocs. La mesure de distance utilisee estcelle de Levenshtein [19].

La distance de Levenshtein mesure la similarite entre deuxchaınes de caracteres. Elle correspond au nombre minimalde caracteres qu’il faut supprimer, inserer ou remplacerpour passer d’une chaıne a l’autre. Un trajet est code enune chaine de caractere representant les blocs numerotesde 1 a 8. Par exemple le trajet en U est code ”12348765” etle trajet en N ”12345678”. La distance entre ces 2 trajetsest de 4.

Pour cette repartition des trajets, seuls les trajets dontla distance minimale avec un trajet prototypique etaitinferieure a 4 ont ete pris en compte, les trajets n’ayantque peu de transitions sont donc indetermines. Les tra-jets se trouvant a la meme distance de deux trajets pro-totypiques ont ete comptes comme appartenant aux deuxclasses. Voir le classement dans le tableau 1.

Trajets Proto Nombre % Total % Classes.N : 348 39,32% 46,90%

U : 209 23,62% 28,17%

Z : 112 12,66v 15,09%

Z2 : 35 3,95% 4,72%

U2 : 27 3,05% 3,64%

N2 : 11 1,24% 1,48%Indetermines 143 16,16%

Total 885

Table 1 : Repartition des trajets de participants entre les6 trajets prototypiques

A partir de cette repartition, nous avons cherche les inter-valles pour αH et αG pour lesquels le modele generait larepartition la plus proche. Ces intervalles ont ainsi ete

experimentalement fixes a [0.7-2.4] pour αH et [1-2.3]pour αG. La figure 9 montre la repartition des trajetsdans cet espace a 2 dimensions et le tableau 2 sa corre-spondance en pourcentage, chaque couple (αH , αG) cor-respond a un trajet. Parmi les trajets ainsi generes un seulne faisait pas partie des 6 trajets prototypiques. Ces deuxparametres, issus des preferences culturelles observeeschez les humains permettent bien de rendre compte de lavariabilite de trajets, comme on peut le voir en comparantles repartitions.

Figure 9 : Repartition des trajets du modele selon lesdeux dimensions

Trajets Proto Nombre % Classes.N : 120 47.81%

U : 66 26.29%

Z : 23 9.16%

U2 : 17 6.77%

N2 : 13 5.18%

Z2 : 12 4,78%Total 251

Table 2 : Repartition des trajets du modele entre les 6trajets prototypiques

Une fois les intervalles de ces parametres determines nousavons tire aleatoirement 36 combinaisons de parametresdans ces intervalles pour simuler 36 instances du modele,a comparer avec les 38 participants. Ces 36 instances ontete repartis dans les 6 listes (6 × 6), generant 720 trajets(36× 20 themes).

Pour chaque recherche, nous avons arrete le modele, quin’a pas de condition d’arret, quand il avait atteint le nom-bre moyen de blocs vus par les participants sur la page.

Comparaison entre le modele et les humainsAu niveau du bloc A ce niveau, nous avons cherchea savoir si les participants et le modele avait une memestrategie de parcours des blocs avec d’autres indicateursque ceux qui nous ont permis de parametrer le modele.Par exemple, nous avons observe que la premiere colonne

(celle de gauche) est presque toujours parcourue de hauten bas, a la fois pour l’homme (79,07%) et le modele(96.25%). Celle de droite est parcourue vers le hautpour 27.14% des participants, et 39.30% des executionsdu modele, et vers le bas pour 62.92% des participantset 56.38% pour le modele. Des matrices de transitions(figure 10 et 11) entre chacun des 8 blocs nous montrentles similitudes entre les trajets des humains et ceux dumodele. La couleur de la case (i,j) denote le nombre detransitions du bloc i au bloc j. Plus la couleur est foncee,plus le nombre de transitions est important.

Ces matrices montrent qualitativement qu’avec un simplealgorithme de planification de chemin et deux parametresindiquant la tendance a aller vers le bas et vers la droite, ilest possible de reproduire assez finement la strategie glob-ale des humains.

Figure 10 : Matrice de transitions entre les blocs pourles participants

Figure 11 : Matrice de transitions entre les blocs pour lemodele

Lorsque les participants retournent sur des blocs qu’ils ontdeja vus auparavant, on observe que ce sont ceux qui sontsemantiquement plus proches du theme qui sont le plusrevisites, comme le fait le modele grace a la strategie lo-cale de parcours des blocs. La figure 12 montre les tauxde refixations, qui sont, comme attendu, nettement pluseleve pour les blocs AF (Association Forte) que pour lesautres blocs, et en particulier les AA (Aucune Associa-tion) (T tests, tous les p < 0, 01) pour le modele et les

participants. Ce taux eleve de refixation sur les blocsinteressants peut etre du au fait que l’objectif dans cetterecherche d’information est mal definie, et que les deuxblocs AF sont des cibles potentielles. Il y a donc un choixa faire entre ces deux blocs, et pour ce faire, une re-lecturedu bloc peut etre necessaire.

Figure 12 : Taux de blocs revisites pour les participantset le modele selon le type de bloc (Association Forte,association faible, Aucune Association)

Au niveau du mot A ce niveau, nous nous sommespenches sur le nombre de fixations dans un bloc selon lacategorie du bloc (AF, Afa ou AA) lors de la premiere vis-ite du bloc. Ces donnees ont ete normalisees par le nombrede mots dans le paragraphe. Les resultats montrent queles blocs AA sont quittes plus tot que les autres (moinsde fixations sur ces blocs). Cela signifie que les partic-ipants n’ont pas besoin de lire beaucoup de mots pourdecider que le bloc n’est pas lie au theme de recherche.Par exemple on peut voir sur la figure 7 que seulementdeux fixations ont ete necessaires pour que l’utilisateurdecide que le bloc en bas a gauche etait sans rapportavec le theme. Les autres blocs (AF et Afa) sont lusavec plus de details, comme le montre la figure 13. Letaux de lecture est nettement plus faible pour les AA queles Afa et AF (T(37)=7,96, p < 0, 01 ; T(37)=7,467,p < 0, 01 ) mais il n’y a pas de difference significativeentre les blocs AF et Afa (T(37)=1,44 ; p=0,16). Notremodele obtient des resultats similaires, meme s’il a ten-dance a lire plus de mots avant de quitter les blocs Afa, lesdifferences sont significatives entre les 3 types de blocs (Ttests, tous les p < 0, 01). Il s’agit d’un biais dans la con-ception du modele, en effet quand un bloc est interessantmais pas suffisament pour le garder comme cible poten-tielle le modele ne le quitte pas car il a besoin de plusd’information pour prendre sa decision.

DISCUSSIONL’evaluation des interfaces est un processus couteux quipeut etre accelere par le recours a une simualtion fondesur un modele cognitif plausible de l’utilisateur. Par ex-emple, Salvucci [22] utilise un modele du comportementd’un conducteur pour etudier les effets de differentes in-terfaces sur ce comportement. Pour notre part, nous avonsconcu un modele du comportement d’un utilisateur cher-

Figure 13 : Taux de lecture (nombre de fixations di-vise par nombre de mots) pour les participants et lemodele selon le type de bloc (Association Forte, associ-ation faible, Aucune Association)

chant de l’information dans un document structure ; cemodele permet d’etudier les differents comportements in-duits par des contenus ou des caracteristiques visuellesspecifiques.

Ce modele est amene a evoluer pour prendre en compteles caracteristiques avancees des interfaces, notamment lecote interactif, mais aussi les images en incluant notam-ment un veritable modele de saillance visuelle. A terme,on peut par exemple imaginer donner au modele la pageWeb nouvellement concue d’un portail d’information, unobjectif sous la forme d’une sequence de mots commenouveaux films, observer le trajet oculaire probable d’unutilisateur et en deduire les elements d’interface perturba-teurs ou facilitateurs pour la realisation de cet objectif.

Le niveau auquel nous nous situons, celui des saccadeset des fixations oculaires, est tres fin. C’est un avantageen ce qu’il nous permet de decrire finement les processuscognitifs en s’appuyant sur les theories physiologiques etpsycholinguistiques averees. Cependant, en se situant a ceniveau, le comportement predit ne peut plus correspondreexactement a celui des utilisateurs (tout comme commechaque trajet oculaire humain differe de celui de ses sem-blables). Il nous faut donc remonter dans l’abstraction etconsiderer des variables de plus haut niveau pour tester etvalider le modele.

REMERCIEMENTSNous souhaitons remercier Gelu IONESCU pour la con-ception du logiciel LisEyeLink qui nous a permis de fairecette experience, ainsi qu’Olivier SZARZENSKI pouravoir fait passer l’experimentation. Nous remercions aussiles participants de l’experience pour le temps qu’ils nousont accorde.

BIBLIOGRAPHIE1. Anderson, J. R., Bothell, D., Byrne, M. D., Dou-

glass, S., Lebiere, C., and Qin, Y. An integratedtheory of the mind. Psychological Review, 111,(4):1036–1060, 2004.

2. Baccino, T., Bellino, C., and Colombi, T. Mesure del’utilisabilite des Interfaces. Hermes Science Pub-lisher (Lavoisier), Paris, 2005.

3. Bouju, F., and Sperandio, J. C. Analyse de l’activitevisuelle des controleurs d’approche. Technical Re-port CO 7911 R 59, INRIA, Rocquencourt, 1979.

4. Byrne, M. Cognitive Architectures in HCI: PresentWork and Future Directions. In Proceedings of the11th International Conference on Human ComputerInteraction, Las Vegas, NV, 2005.

5. Card, S. K., Moran, T. P., and Newell, A. The Psy-chology of Human-Computer Interaction. LawrenceErlbaum Associates, Hillsdale, New Jersey, 1983.

6. Chanceaux, M., Guerin-Dugue, A., Lemaire, B., andBaccino, T. Towards a model of information seekingby integrating visual, semantic and memory maps.In Caputo, B., and Vincze, M., editors, Proceedingsof the 4th International Cognitive Vision Workshop,volume LNCS 5329, pages 65–78, Berlin, 2008.Springer Verlag.

7. Dix, A. J., Finlay, J. E., Abowd, G. D., and Beale,R. Human-Computer Interaction. Prentice Hall Eu-rope, London, 1998.

8. Geisler, W. S., and Perry, J. S. Real-time simulationof arbitrary visual fields. In Proceedings of the 2002symposium on Eye tracking research & applications,pages 83–87, New York, NY, 2002. ACM.

9. Henderson, J. M., Brockmole, J. R., Castelhano,M. S., and Mack, M. L. Visual saliency does notaccount for eye movements during search in real-world scenes. In van Gompel, R. P. G., Fischer,M. H., Murray, W. S., and Hill, R. L., editors, Eyemovements: A window on mind and brain. Elsevier,Oxford, 2007.

10. Itti, L., and Koch, C. A saliency-based search mech-anism for overt and covert shifts of visual attention.Vision Research, 40(10-12):1489–1506, 2000.

11. Itti, L., and Koch, C. Computational modelingof visual attention. Nature Reviews Neuroscience,2(3):194–203, 2001.

12. Kieras, D. E., and Polson, P. An approach to the for-mal analysis of user complexity. International Jour-nal of Man-Machine Studies, 22(4):365–394, 1985.

13. Kintsch, W. Comprehension: A paradigm for cogni-tion. Cambridge University Press, Cambridge, U. K.and New York, 1998.

14. Kitajima, M., Blackmon, M. H., and Polson, P. G. Acomprehension-based model of web navigation andits application to web usability analysis. In McDon-ald, S., Y., W., and G., C., editors, People and Com-puters XIV - Usability or Else! (Proceedings of HCI2000), pages 357–373. Springer, 2000.

15. Landauer, T. On the computational basis of learningand cognition: Arguments from LSA. The psychol-ogy of learning and motivation, 41:43–84, 2002.

16. Landauer, T., McNamara, D., Dennis, S., andKintsch, W. Handbook of Latent Semantic Analysis.Lawrence Erlbaum Associates, 2007.

17. Lemaire, B., Denhiere, G., Bellissens, C., and Jhean-Larose, S. A computational model for simulatingtext comprehension. Behavior Research Methods,38(4):628–637, 2006.

18. MacGregor, J. N., Ormerod, T. C., and Chronicle,E. P. A model of human performance on the trav-elling salesperson problem. Memory & Cognition,28:1183–1190, 2000.

19. Navarro, G. A guided tour to approximate stringmatching. Computing Surveys, 33(1):31–88, 2001.

20. Pirolli, P., and Fu, W. SNIF-ACT: A model of in-formation foraging on the world wide web. In 9thInternational Conference on User Modeling, vol-

ume 2702 of Lecture Notes in Artificial Intelligence,pages 45–54, 2003.

21. Salvucci, D. D. Predicting the effects of in-car in-terface use on driver performance: An integratedmodel approach. International Journal of Human-Computer Studies, 55(1):85–107, 2001.

22. Salvucci, D. D. Rapid prototyping and evaluationof in-vehicle interfaces. In Transactions on Human-Computer Interaction. ACM, 2009.

23. Thorpe, S., Fize, D., and Marlot, C. Speed ofprocessing in the human visual system. Nature,381:520–522, 1996.

24. Treisman, A., and Gelade, G. A feature-integrationtheory of attention. Cognitive Psychology, 12(1):97–136, 1980.

25. West, R. L., and Emond, B. Can cognitive model-ing improve usability testing and rapid prototyping?In Proceedings of the Fourth International Confer-ence on Cognitive Modeling, pages 271–273, Mah-wah, NJ, 2001. Lawrence Erlbaum Associates.