aplicaciones de data mining en química ambiental:
DESCRIPTION
Aplicaciones de data mining en química ambiental: Detección de sustancias usadas como armas químicas. Basado en: - PowerPoint PPT PresentationTRANSCRIPT
Aplicaciones de data mining en química ambiental:
Detección de sustancias usadas como armas químicas
Basado en: J. L. Solka, E. J. Wegman, and D. J. Marchette, "Data Mining Strategies for the Detection of Chemical Warfare Agents," Statistical Data Mining and Knowledge Discovery, Hamparsum Bozdogan, Editor, 2003, pp. 57-92.
Agentes a detectar:
GA (taburn)GB (sarín)GD (sorman)GF (organofosforado c/fluoruro)GDT
VX (agente V)
HD (gas mostaza)HDTL (Lewisite)
Fondo
Clase G, o clase 0
Clase V, o clase 1
Clase H, o clase 2
Clase 3
Los sustancias químicas mojan unas tiras de papel reactivo y producen un color más o menos característico.
Ese color se representa como una curva de intensidades a diferentes longitudes de onda, es el llamado espectro.
Existen equipos para barrer partes del espectro, o se pueden leer zonas discretas llamadas bandas
Datos:
Set de entrenamiento:2,106 pixels coloreados por agente real o simulado para la clase G.569 observaciones para la clase V1,088 observaciones para la clase H1,0473 para la clase fondo
Set de prueba13,889 observaciones para la clase G2,318 observaciones para la clase V6,662 para H1.845.201 observaciones para el fondo
Análisis exploratorio: histogramas univariados para cada banda o variable
B1
B2
B3
B4
B5
B6
B7
B8
B9
B10
B11
B12
B13
Análisis exploratorio: gráfico de coordenadas paralelas para todos los datos
Gráfico de coordenadas paralelas, set de entrenamiento
Separación de los puntos utilizando las bandas que corresponden al rojo, azul y verde
Estimación de modelos de densidad
Estimaciones de densidad kernel [no paramétrico]
Modelos de mezcla (mixture models) [semi-paramétrico]
Estimación de densidad por mezclas adaptativas [no paramétrico]
Shifted Hats Iterated Procedure (SHIP) [híbrido]
Clasificadores
obtener clasificadores a partir de la determinación de regiones discriminantes
k-vecinos más próximos
CART
Estimación de la densidad de probabilidad para las bandas 7 y 11, utilizando el método SHIP
Estimación de la densidad de probabilidad conjunta para las bandas 7 y 11, utilizando kernels producto, y cálculo de las regiones discriminantes
CART utilizando las 13 bandas
Ranking de los diferentes clasificadores
r0, r1, r2, r3 corresponde a un re-etiquetado de los pixels de acuerdo a los valores del vecindario
Conclusiones
En palabras de los autores:
“..we recommend that one employ the CART model based on the full feature set with a spatial radius of 3. This system provides probability of detection that exceeds .85 while obtaining a false alarm rate less than .12.”
“Even given this improvement the performance of the fielded system can be described as mediocre at best. This performance however may be sufficient depending on the situation at hand. This lackluster performance is a trade-off for a need to rapidly field the system in order to be prepared for a very real threat.”
Discusión
¿Por qué los autores califican al rendimiento del sistema como mediocre?
¿Qué opinarían distintos tipos de usuarios?
¿Qué requerimientos desde el punto de vista de datamining debería tener una aplicación similar en el campo civil? Por ejemplo, para monitoreo de actividades industriales, como papeleras