Cynthia FresnoCynthia Fresno 11

QUESTION QUESTION ANSWERINGANSWERING

Cynthia FresnoCynthia Fresno 22

Índice:Índice:1)1) ¿Qué es el question answering?.¿Qué es el question answering?.2)2) Sistema de question answering.Sistema de question answering.3)3) TREC vs. CBC.TREC vs. CBC.4)4) Acontecimientos de respuesta por cada Acontecimientos de respuesta por cada

pregunta.pregunta.5)5) Funciones de puntuación en las Funciones de puntuación en las

respuestas candidatas.respuestas candidatas.6)6) Limites en funciones que utilizan el Limites en funciones que utilizan el

traslapo de palabras.traslapo de palabras.7)7) Apariciones de multiples respuestas en Apariciones de multiples respuestas en

una frase.una frase.8)8) Conclusiones del análisis.Conclusiones del análisis.9)9) Aplicar Q/A a la web.Aplicar Q/A a la web.

Cynthia FresnoCynthia Fresno 33

¿Qué es question ¿Qué es question answering?answering?

Técnicas IR: Eficaces para localizar Técnicas IR: Eficaces para localizar información en grandes colecciones de información en grandes colecciones de datos.datos.

¿Cuándo necesitamos respuestas ¿Cuándo necesitamos respuestas específicas? De resolver esto se encarga el específicas? De resolver esto se encarga el sistema de question answering.sistema de question answering.

Cynthia FresnoCynthia Fresno 44

Sistema de Q/ASistema de Q/A

1. Acontecimiento de múltiples respuestas

2. Traslapo de palabras para funciones de puntuación.

3. Sets de traslapo

4. Confusión de respuestas

Colección de documentos

Extracción de respuesta corta

Recuperación de sentencias

Recuperación de documentos

Propiedades de los datos

Análisis de características

Realización de límites

SISTEMA IDEALIZADO TÉCNICA TIPO DE ANÁLISIS

Cynthia FresnoCynthia Fresno 55

Se desarrollan cuatro técnicas para Se desarrollan cuatro técnicas para poder llevar a cabo los tres tipos de poder llevar a cabo los tres tipos de análisis: propiedades inherentes de los análisis: propiedades inherentes de los datos, análisis de características y los datos, análisis de características y los limites.limites.

1)1) Impacto de tener multiples respuestas Impacto de tener multiples respuestas para una pregunta. para una pregunta.

2)2) Funciones de puntuación que se utilizan Funciones de puntuación que se utilizan para recuperar regiones de texto que se para recuperar regiones de texto que se supone que obtendrán la respuesta. supone que obtendrán la respuesta. Recuperación de información.Recuperación de información.

Cynthia FresnoCynthia Fresno 66

3)3) Si un sistema asigna en el traslapo Si un sistema asigna en el traslapo diferentes pesos a las palabras, que tal diferentes pesos a las palabras, que tal se desarrollará el sistema? se desarrollará el sistema?

4)4) La extracción de la respuesta corta. La extracción de la respuesta corta. Habilidad del set de tipo de respuesta Habilidad del set de tipo de respuesta para discriminar entre diferentes tipos de para discriminar entre diferentes tipos de respuestas. respuestas.

Cynthia FresnoCynthia Fresno 77

TREC vs. CBCTREC vs. CBCTREC:TREC: Colección: 500.000 documentos.Colección: 500.000 documentos. Preguntas: 198Preguntas: 198 Respuestas: 5 y clasificadas (+ el Respuestas: 5 y clasificadas (+ el

documento en el que aparecen).documento en el que aparecen). Asesores de TREC juzgaban las respuestas Asesores de TREC juzgaban las respuestas

en el entorno del documento.en el entorno del documento.

Cynthia FresnoCynthia Fresno 88

CBC:CBC: 259 documentos.259 documentos. 8 a 12 preguntas.8 a 12 preguntas. Varias respuestas aceptablesVarias respuestas aceptables 1 llave respuesta.1 llave respuesta.

Cynthia FresnoCynthia Fresno 99

Acontecimientos de Acontecimientos de respuestarespuesta

por cada preguntapor cada pregunta Diferentes respuestas para una pregunta:Diferentes respuestas para una pregunta:

- Porque tiene varias respuestas.- Porque tiene varias respuestas.

- Una respuesta se puede explicar de - Una respuesta se puede explicar de diferentes maneras.diferentes maneras.

Hipótesis:Hipótesis: Q/A trabaja mejor con preguntas Q/A trabaja mejor con preguntas que tienen muchos acontecimientos de que tienen muchos acontecimientos de respuesta que los que sólo tienen uno.respuesta que los que sólo tienen uno.

Cynthia FresnoCynthia Fresno 1010

TRECTREC CRCCRC

Respuestas por Respuestas por preguntapregunta 33 11

1 respuesta por 1 respuesta por preguntapregunta 26%26% 80%80%

Pregunta con más Pregunta con más respuestasrespuestas 6767 66

Correctas (1 Correctas (1 respuesta por respuesta por

preg.)preg.)27%27% ------

Correctas (7 Correctas (7 respuestas por respuestas por

preg.)preg.)50%50% ------

Cynthia FresnoCynthia Fresno 1111

Deducción:Deducción: Mayor número de apariciones de Mayor número de apariciones de

respuestas respuestas → mejor desarrollo del sistema.→ mejor desarrollo del sistema.

Cynthia FresnoCynthia Fresno 1212

Funciones de puntuación Funciones de puntuación en las respuestas en las respuestas

candidatascandidatas Muchos sistemas Q/A generan unas Muchos sistemas Q/A generan unas

cuantas respuestas y las clasifican con una cuantas respuestas y las clasifican con una función de puntuación que sitúa cada una función de puntuación que sitúa cada una en un rango de números.en un rango de números.

Una de las funciones más importantes: la Una de las funciones más importantes: la función de traslapo de palabras entre la función de traslapo de palabras entre la pregunta y las respuestas candidatas.pregunta y las respuestas candidatas.

Sistemas que utilizan el traslapo de Sistemas que utilizan el traslapo de palabras: problemas para juzgar si hay palabras: problemas para juzgar si hay respuesta o no.respuesta o no.

Cynthia FresnoCynthia Fresno 1313

Traslapo de palabras: muy eficaz para Traslapo de palabras: muy eficaz para clasificar respuestas.clasificar respuestas.

¿Cómo clasificar la absoluta cualidad de ¿Cómo clasificar la absoluta cualidad de los candidatos? los candidatos?

- En CRC y TREC no hay problema.- En CRC y TREC no hay problema.

- Tenemos que tener en cuenta que en el - Tenemos que tener en cuenta que en el mundo real nos aparecerán preguntas que mundo real nos aparecerán preguntas que no obtengan respuesta en determinados no obtengan respuesta en determinados documentos.documentos.

Cynthia FresnoCynthia Fresno 1414

Limites en funciones que Limites en funciones que utilizan el traslapo de utilizan el traslapo de

palabraspalabras Función de puntuación: cuenta cuantas Función de puntuación: cuenta cuantas

palabras en común tienen la pregunta y la palabras en común tienen la pregunta y la respuesta.respuesta.

Modificación: poner pesos más fuertes en unas Modificación: poner pesos más fuertes en unas palabras.palabras.

Muchas respuestas tienen el mismo número de Muchas respuestas tienen el mismo número de palabras traslapadas palabras traslapadas → están el la misma clase → están el la misma clase de equivalencias (tienen el mismo peso)de equivalencias (tienen el mismo peso)

Un candidato cuyo traslapo es un subset de Un candidato cuyo traslapo es un subset de otro candidato no podrá tener mayor otro candidato no podrá tener mayor puntuación.puntuación.

Cynthia FresnoCynthia Fresno 1515

CBCCBC TRACTRAC

Preguntas que Preguntas que pueden pueden

responderse responderse correctamentecorrectamente

79 %79 % 65 %65 %

Preguntas Preguntas imposibles de imposibles de

contestar contestar correctamentecorrectamente

21 %21 % 35 %35 %

Mínimo de acierto Mínimo de acierto de preguntasde preguntas 24 %24 % 10 %10 %

Máximo de acierto Máximo de acierto de preguntasde preguntas 72.7 %72.7 % 48.8 %48.8 %

Cynthia FresnoCynthia Fresno 1616

En definitiva, el límite superior es algo En definitiva, el límite superior es algo bajo y el límite inferior algo alto.bajo y el límite inferior algo alto.

Se necesitan métodos que amplíen las Se necesitan métodos que amplíen las características que se utilizan para características que se utilizan para puntuar las respuestas candidatas.puntuar las respuestas candidatas.

Cynthia FresnoCynthia Fresno 1717

Apariciones de múltiples Apariciones de múltiples tipos de respuestas en una tipos de respuestas en una

frasefrase Muchos sistemas Q/A primero deciden que Muchos sistemas Q/A primero deciden que

tipo de respuesta esperan de una tipo de respuesta esperan de una pregunta, y luego identifican estas pregunta, y luego identifican estas instancias en una frase.instancias en una frase.

Pero una función de puntuación utiliza Pero una función de puntuación utiliza criterios adiccionales.criterios adiccionales.

Supondremos que dos respuestas cortas Supondremos que dos respuestas cortas que tienen el mismo tipo de respuesta y que tienen el mismo tipo de respuesta y son de la misma frase son de la misma frase →→ son son indistinguibles para el sistema.indistinguibles para el sistema.

Cynthia FresnoCynthia Fresno 1818

Muestra las limitaciones del set de tipo de Muestra las limitaciones del set de tipo de respuesta: Muchas frases tienen instancias respuesta: Muchas frases tienen instancias del mismo tipo, como listas y rangos.del mismo tipo, como listas y rangos.

Para mejor efectividad: los sistemas de Para mejor efectividad: los sistemas de Q/A necesitan utilizar características que Q/A necesitan utilizar características que precisen mejor la respuesta.precisen mejor la respuesta.

CBCCBC TRACTRAC

Acierto esperadoAcierto esperado 61 %61 % 59 %59 %

Cynthia FresnoCynthia Fresno 1919

Conclusiones del análisisConclusiones del análisis Múltiples respuestas en una colección de Múltiples respuestas en una colección de

datos datos → fuertemente atado al éxito del → fuertemente atado al éxito del sistema.sistema.

Traslapo de palabras más efectivo que el Traslapo de palabras más efectivo que el traslapo absoluto.traslapo absoluto.

Utilizar el set de tipo puede no ser Utilizar el set de tipo puede no ser suficiente.suficiente.

Cynthia FresnoCynthia Fresno 2020

Aplicar el Q/A a la web:Aplicar el Q/A a la web: Pueden extenderse las técnicas de Q/A a Pueden extenderse las técnicas de Q/A a

la web? Hoy en día hay ciertos sistemas la web? Hoy en día hay ciertos sistemas que lo hacen:que lo hacen:– MULDER es uno de ellos. Manda ciertas MULDER es uno de ellos. Manda ciertas

preguntas a google y utiliza la información que preguntas a google y utiliza la información que de ello obtiene para resolver la respuesta.de ello obtiene para resolver la respuesta.

– AskJeeves…AskJeeves…

Cynthia FresnoCynthia Fresno 2121

Objetivos para la web:Objetivos para la web:1)1) Formar las preguntas correctas.Formar las preguntas correctas.

2)2) Ruido (apartar las páginas que no Ruido (apartar las páginas que no digan nada).digan nada).

3)3) Evitar los engaños.Evitar los engaños.

4)4) Mejorar la limitación de recursos.Mejorar la limitación de recursos.

Cynthia FresnoCynthia Fresno 2222

Sistema web de Q/A Sistema web de Q/A MULDER:MULDER:

Cynthia FresnoCynthia Fresno 2323

ANALIZADOR DE PREGUNTAS:ANALIZADOR DE PREGUNTAS: Determina Determina la estructura sintáctica de las preguntas. la estructura sintáctica de las preguntas.

CLASIFICADOR DE PREGUNTAS:CLASIFICADOR DE PREGUNTAS: Permite a Permite a MULDER reducir el número de respuestas MULDER reducir el número de respuestas candidatas en la fase de extracción.candidatas en la fase de extracción.

FORMULACIÓN DE QUERYS:FORMULACIÓN DE QUERYS: Este módulo Este módulo convierte la pregunta en un grupo de convierte la pregunta en un grupo de querys de palabras clave que se mandarán querys de palabras clave que se mandarán a la máquina de búsqueda para una a la máquina de búsqueda para una evaluación paralela.evaluación paralela. - MULDER implementa unas cuantas - MULDER implementa unas cuantas estrategias de renombramiento: estrategias de renombramiento: conversión de verbos, expansiones query…conversión de verbos, expansiones query…

Cynthia FresnoCynthia Fresno 2424

Máquina de búsqueda:Máquina de búsqueda: Se han considerado Se han considerado diferentes motores de búsqueda pero el diferentes motores de búsqueda pero el más utilizado es google. más utilizado es google.

Extracción de respuestas:Extracción de respuestas: 2 pasos 2 pasos

1) Se extraen “sumarios” de los textos que 1) Se extraen “sumarios” de los textos que supuestamente contendrán la supuestamente contendrán la

información.información.

2) Analiza los sumarios y obtiene frases 2) Analiza los sumarios y obtiene frases del tipo del tipo esperado de respuesta.esperado de respuesta.

Selección de respuestas:Selección de respuestas:

1) Clasifica las respuestas en función de 1) Clasifica las respuestas en función de las las palabras clave.palabras clave.

Cynthia FresnoCynthia Fresno 2525

2) Hace una agrupación entre similares 2) Hace una agrupación entre similares respuestas.respuestas.

3) Se hace una votación a todas las 3) Se hace una votación a todas las agrupaciones y gana la que tiene más agrupaciones y gana la que tiene más puntos.puntos.

El proceso de agrupación de candidatos El proceso de agrupación de candidatos tiene varios efectos favorables:tiene varios efectos favorables:

- Reduce el ruido.- Reduce el ruido.

- Permite respuestas alternativas.- Permite respuestas alternativas.

- Separa hechos de la ficción.- Separa hechos de la ficción.