using incremental principal component analysis to learn a gender classifier automatically m....
TRANSCRIPT
Using Incremental Principal Component Analysis to Learn a Gender Classifier Automatically
M. Castrillón, O. DÉNIZ, D. Hernández, J. Lorenzo
Contenidos
• Motivación
• Descripción del sistema
• Detección: ENCARA2
• Detección de elementos faciales
• Selección de ejemplares
• Representación y clasificación
• Esquema de aprendizaje
• Resultados
• Conclusiones
Motivación
El rostro humano:
• Importante canal de comunicación entre humanos
• Los humanos somos expertos leyendo rostros
• Proceso aprendido, los bebés detectan rostros pero requieren unos años hasta caracterizarlos de forma robusta
• Familiaridad, other race effect
• Esquema de aprendizaje supervisado y multimodal
Motivación
Los sistemas automáticos obvian ese largo aprendizaje.
• Problemas detectando rostros en tiempo real
• Problemas entrenando en caliente
Sin embargo disponemos actualmente de herramientas para abordar este enfoque: Detectores, esquemas incrementales
¿Qué pasaría si intentamos emplear ese esquema evolutivo a un sistema automático?
Descripción del sistema
Visión global:
• Se dispone de un sistema de detección facial
• Se hace uso de un esquema de representación y clasificación basado en PCA+SVM
• El espacio de representación evoluciona con la experiencia (PCA incremental)
• Sólo interviene un supervisor humano para corroborar o rechazar la clasificación aportada por el sistema
• Actualización del clasificador en caliente con bajo coste computacional
Detección de personas
Técnicas:
• Implícitas o basadas en patrones, p.e. Viola-Jones [1]• Explícitas o basadas en conocimiento: movimiento, color, coherencia temporal, etc.
[1] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, 2001. [2] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.[3] Clasificadores para OpenCV disponibles
Esquema de Viola-Jones aplicado a:
• Rostros frontales [1]• Cabeza y hombros [2]• Elementos faciales: ojos, nariz y boca [3].
Descripción del sistema: ENCARA2
ENCARA2 combina distintas técnicas con el objetivo de aprovechar sus ventajas individuales:
• Detectores basados en el marco de Viola-Jones [2,3], sirven de inicializadores.
• Distintas técnicas (Color de piel, seguimiento multinivel, ojos, rostro, etc.) se combinan de forma robusta haciendo uso de la coherencia temporal en vídeo.
[1] M. Castrillón, O. Déniz, C. Guerra, M. Hernández "ENCARA2: Real-time Detection of Multiple Faces at Different Resolutions in Video Streams“ Journal of Visual Communication and Image Representation, ISSN 1047-3203, vol 18, issue 2, pp. 130-140, April 2007. [2] P. Viola and M. J. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. In Computer Vision and Pattern Recognition, 2001. [3] H. Kruppa, M. Castrillón, B. Schiele. "Fast and Robust Face Finding via Local Context" VS-PETS Joint IEEE International Workshop on Visual Surveillance and Performance Evaluation of Tracking and Surveillance, Nice (France), 2003.
Descripción del sistema: ENCARA2
patpatpos
patpospatpos
patposcolor
facemouthmouth
nosenosereyereye
leyeleyetshirtgreenredsizeposf
,,
,,,,
,,,,,,,
Una primera detección permite la creación del modelo particular para la cara detectada:
La coherencia temporal se emplea en las imágenes posteriores.
Descripción del sistema: ENCARA2
Una detección provoca una búsqueda localizada en las siguientes imágenes, aplicando primero las técnicas más rápidas.
Descripción del sistema: eltos. faciales
Ampliando la detección de elementos faciales de ENCARA2
Clasificadores individuales de libre disposición obtenidos a partir de 7000 rostros anotados manualmente.
Múltiples candidatos de elementos faciales se escogen en base a la estructura promedio.
Clasificadores para OpenCV disponibles
Descripción del sistema: Ejemplares
ENCARA2 proporciona para cada sesión de intereacción, IS, una serie de hilos de detección, dt, uno por cada individuo detectado.
Cada hilo contiene las caras detectadas para un individuo:
Los posibles ejemplares son aquellos que no han podido ser seguidas por medio de seguimiento ocular
ndtdtdtIS ...21
pmp xxdt ...1
Descripción del sistema: Ejemplares
Descripción del sistema: Ejemplares
Cada hilo de detección, dt, se clasifica ponderando, en base a su persistencia, pe, la clasificación binaria de los distintos ejemplares que lo representan:
Los ejemplares con una persistencia reducida, o con un error PCA mayor que la media no son considerados.
p
p
s
nn
j
s
jjk
pk
pe
peeCP
dtCP
1
1
Descripción del sistema: Representación
Se requieren esquemas veloces de representación y clasificación.
PCA ha sido un esquema muy utilizado.
Usamos 7000 rostros para calcular un espacio PCA
Descripción del sistema: Representación
¿Qué ratio se obtiene con un esquema offline? ¿Qué dimensión utilizar para representar?
Colección de 7000 rostros. Elementos faciales anotados. Mitad entreno, mitad test. Clasificación con SVM.
Descripción del sistema: Representación
Utilizar un esquema de representación fijo es restrictivo.
Comprobamos la evolución haciendo uso de un esquema fijo y otro incremental.
Emplearemos distintas zonas del rostro, así como resoluciones:
Cropped A(59x65)
Cropped A-IN [1](59x65)
Uncropped(75x90)
Eyes(45x11)
Cropped B(75x90)
1/4
1/8
1/2
[1] Xudong Xie and Kin-Man Lam. An efficient illumination normalization method for face recognition. Pattern Recognition Letters, 27(6) 2006.
Descripción del sistema: Aprendizaje
p
p
s
nn
j
s
jjk
pk
pe
peeCP
dtCP
1
1
Para clasificar un hilo de detección:
Un supervisor humano proporciona la clase para el individuo, Cp:
if P(Cp|ej)!=1, then ej se añade al conjunto de entrenamiento.
El espacio PCA se actualiza si fuera necesario.
El clasificador SVM se reentrena.
Aplicaciones
• Reconocimiento
Aprendizaje desde cero.
Extracción automática de los ejemplares.
Supervisión para aumentar la experiencia del sistema.
Aproximación basada en PCA incremental y SVM.
M. Castrillón, O. Déniz, J. Lorenzo, M. Hernández: “Learning to recognize faces by successive meetings”,: Journal of Multimedia, vol 1, issue 7, pp 1-8, 2006
Resultados: Reconocimiento del género
•1130 encuentros.•PCA, PCA incremental (IPCA) e IPCA con normalización•Tendencia de reducción del error.•Entrenamiento (15 msegs), actualización PCA 50-80 msegs.
Resultados
•1130 encuentros.•sólo IPCA•Distintas zonas del rostro: Cropped A, Cropped A – IN, Cropped B, with context, eyes•Tendencia de reducción del error.•Entrenamiento (15 msegs), actualización PCA 50-80 msegs.
Resultados
•Distintas resoluciones para las tres mejores
Resultados
•Con un conjunto de test independiente de 7000 imágenes
Conclusiones
Mejor rendimiento con IPCA
Peor resultado que offline, unos 10 puntos menos, pero empleando sólo un 10% de imágenes en el conjunto de entrenamiento.
Suficientemente rápido para aplicar en línea
Mejor rendimiento con más área del rostro. Buenos resultados hasta tamaño aprox. 20x20