evaluación de sistemas de monitorización de contenidos generados por usuarios

Evaluación de sistemas de monitorización de contenidos generados por usuarios

Enrique Amigó, Damiano Spina

Grupo PLN y RI de la UNED

{enrique,damiano}@lsi.uned.es

nlp.uned.es

Bernardino Beotas

Grupo ALMA

[email protected]

www.grupoalma.com

Workshop on Opinion Mining and Sentiment AnalysisCAEPIA 2009

Sevilla, España

http://nlp.uned.es/

http://www.grupoalma.com/

Grupo UNED en Recuperación de Información y Procesamiento del Lenguaje Naturalnlp.uned.es

Grupo ALMAwww.grupoalma.com

Evaluación de sistemas de monitorización de contenidos generados por usuarios (UGCs)

Introducción

› Gestión de reputación online

› Informe de monitorización

Estado del arte

› Modelos para la monitorización de temas

› Evaluación de modelos

Propuesta de metodología de evaluación

Conclusiones y posibilidades futuras

http://nlp.uned.es/




Contenido Generado por Usuario

› User Generated Content (UGC)

› Blogs, Foros, Sitios de valoraciones, redes sociales

UGCs y Gestión de reputación online

http://nlp.uned.es/




Contenido Generado por Usuario

› User Generated Content (UGC)

› Blogs, Foros, Sitios de valoraciones, redes sociales

Gestión de la reputación online (Online Reputation Management, ORM)

› Auditoría de imagen

Fotografía: la entidad en la Web

› Monitorización

Alertas

Análisis continuo

› Definición de Estrategia

Participación en las conversaciones

Generación de Contenido

UGCs y Gestión de reputación online

http://nlp.uned.es/




Monitorización de la reputación online

UGCs

http://nlp.uned.es/




Monitorización de la reputación online

UGCs

Informe de monitorización

http://nlp.uned.es/




El informe de monitorización

Informe de monitorización› Opiniones más relevantes en un intervalo de tiempo

› Estructurado por fuentes

› Referencias a los documentos

http://nlp.uned.es/




El informe de monitorización

Informe de monitorización› Opiniones más relevantes en un intervalo de tiempo

› Estructurado por fuentes

› Referencias a los documentos

Relevancia de un documento› Polaridad a nivel de reputación

"Las acciones de X han bajado un 40%"

› Autoridad de la fuente

Nº de comentarios, posicionamiento en buscadores, nº de visitas…

› Novedad

› Propagabilidad

http://nlp.uned.es/




Monitorización: ¿Qué tienen en cuenta los expertos?

http://nlp.uned.es/




Opinión Factual


http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad

Opinion Mining & Sentiment Analysis

TREC Blog Track, MOAT NTCIR

SemEval2007

Swotti

Feature-basedOpinion mining


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad


Análisis de la blogosfera

BlogPulse, Technorati

HerramientasSEO


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad



Monitorización de temas

distribución de términos,modelos probabilísticos


Opinión Factual

http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






Opinión Factual

http://nlp.uned.es/




Opinión Factual

Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






http://nlp.uned.es/




Ambigüedad (IR)

Subjetividad

Polaridad

Frecuencia

Temas

Temporalidad

Autoridad






Opinión Factual

http://nlp.uned.es/




Requisitos del problema

Requisitos› Agregación

Identificación de temas tratados en las opiniones

Conocer los temas nuevos y las tendencias

› Temporalidad

Identificación de fenómenos temporales

Novedad

› Interpretabilidad

Interpretar los temas identificados

› Accesibilidad

Exploración de documentos asociados a los temas

Selección de documentos para el informe de monitorización

http://nlp.uned.es/




Estado del arte

Modelos para la monitorización de temas› Tema ≈ término

tfcidf (Gruhl et al., 2004)

› Tema ≈ variable oculta en una red bayesiana

pLSI (Chou & Chen, 2008)

Mixture models (Mei et al., 2006)

Topics Over Time (Wang & McCallum, 2006)

Dynamic Topic Model (Blei & Lafferty, 2006)

Multiscale Topic Tomography (Nallapati et al., 2007)

http://nlp.uned.es/




Estado del arte

Metodologías de evaluación› Evaluación cualitativa de los resultados

Subjetiva

No permite comparar modelos

› Evaluación intrínseca

No permiten evaluar todos los requisitos

Métricas de clustering

Perplejidad -> sólo modelos probabilísticos

› Evaluación extrínseca

Temas extraídos automaticamente vs. Temas extraídos manualmente– Gold standard para subtemas

Topic Detection and Tracking (TDT) – Centrada en eventos periodísticos

– documento-evento: relación uno-a-uno

http://nlp.uned.es/




Propuesta de metodología de evaluación

Métricas: › Temporalidad y agregación

› Accesibilidad

› Capacidad predictiva e Interpretabilidad

P(x|y): distribución de probabilidad de x dada una instancia de la variable y.

http://nlp.uned.es/




Métrica 1: Temporalidad

Identificación de fenómenos temporales

Documentos conectados por un tema deberían de estar temporalmente próximos

Dos documentos están conectados si hablan de un mismo tema

: Distancia temporal entre los documentos d y d’

http://nlp.uned.es/




Métrica 2: Agregación

Capacidad de agrupar documentos que comparten un mismotema

Documentos explícitamente relacionados deberían de compartir temas

Relaciones explícitas:› Fuente

› Autor

› Enlaces

<da,da> : explícitamente relacionados<db,dc> : no explícitamente relacionados

’

’

http://nlp.uned.es/




Métrica 3: Accesibilidad

Capacidad de dar acceso a los n documentos más relevantesde cada tema

Anotación de los expertos

Curvas de precisión y cobertura

: conjunto de los n documentos con mayor P(d|θ) de cadatema

: conjunto de documentos relevantes según el experto

http://nlp.uned.es/




Métrica 4: Capacidad predictiva

Capacidad de predecir el comportamiento de los temas en un futuro próximo

P(t|θ)

Evaluación indirecta (Wang & McCallum, 2006)

› Un modelo capaz de predecir la fecha de un documento tiene más capacidad predictiva en general

› P(t|d)

http://nlp.uned.es/




Métrica 5: Interpretabilidad

Capacidad de generar temas interpretables por el usuario

P(w| θ)

No es posible anotar manualmente todas las palabrasrepresentativas posibles

Evaluación manual con usuarios de prueba

http://nlp.uned.es/




Conclusiones

Factores importantes para la

monitorización de la reputación online› autoridad, polaridad, novedad, propagabilidad

› Contenido Generados por Usuarios (UGCs)

Esbozo de una metodología de evaluación› Comparar modelos de monitorización de temas

› Temporalidad y agregación

› Accesibilidad

› Capacidad predictiva e interpretabilidad

http://nlp.uned.es/




Posibilidades futuras

Aplicar métricas a modelos existentes de monitorización de temas (temporalidad y agregación)

Definir un modelo que tenga en cuenta la autoridad de lasfuentes

Definir una metodología de anotación para aplicar la métricade accesibilidad

Aplicación de las métricas capacidad predictiva e interpretabilidad› Definición de interfaces de usuario comunes para los modelos

existentes

http://nlp.uned.es/


Evaluación de sistemas de monitorización de contenidos generados por usuarios

Enrique Amigó, Damiano Spina

Grupo PLN y RI de la UNED

{enrique,damiano}@lsi.uned.es

nlp.uned.es

Bernardino Beotas

Grupo ALMA

[email protected]

www.grupoalma.com

Workshop on Opinion Mining and Sentiment AnalysisCAEPIA 2009

Sevilla, España

¡Muchas gracias!

http://nlp.uned.es/


evaluación de sistemas de monitorización de contenidos generados por usuarios

Documents

recuperacin de informacin

uned grupo alma

lenguaje naturalgrupo

documentos grupo uned

lenguaje natural grupo

redes socialesgrupo

redes sociales gestin

sitios de valoraciones