Caméras Infrarouge pour la reconnaissance du visage

Hizem Walid

Thésard - INT

FT R&D – Avril 2005 2

Plan

Caméra différentielle

Caméra impulsionelle (Flashcam)

Expérimentations – Base de données multi-caméras, multi-

sessions

Conclusion

FT R&D – Avril 2005 3

MotivationsProblématique : la reconnaissance par le visage souffre de problèmes dus à l’éclairage – Solutions algorithmiques : Égalisation d’histogramme,

symétrie du visage, modélisation de les effets d’illumination par HMM.

– Solutions capteurs : caméra différentielle, caméra à illumination impulsionnelle

Objectif : Atténuer les effets d’illumination sur le visage dans un environnement à éclairage variable. Applications : Mobilité ou en extérieur

FT R&D – Avril 2005 4

Caméra différentielle

Prototype fabriquée à l’INT, technologie CMOS

Interface parallèle avec l’ordinateur (disponible en USB récemment)

Résolution : 160*120

FT R&D – Avril 2005 5

Caméra différentielle : Principe

Différence entre deux images successives

Une image acquise en mode infra rouge et une image acquise en mode lumière visible

LED on

Image 1 Li Image 2

LED off

LB1 Li Image 1

LB2 Li Image 2

Li+1 Image 2

LB1 Li+1 Image 1

LB2 Li+1 Image 2

Image de sortie

Opérateur différentiel

FT R&D – Avril 2005 6

Caméra différentielle : Difficultés et solutions

Le temps d’acquisition entre les deux images (IR on, IR off) doit être très court.– Minimiser le temps d’acquisition d’une image par

diminution du temps d’exposition

Les caméras différentielles classiques nécessitent un espace mémoire grand– Appliquer la différence ligne par ligne au lieu de

l’appliquer sur toute l’image au même temps

FT R&D – Avril 2005 7

Caméra à illumination impulsionnelle

Basée sur une Web-cam, modifiée à l’INT, technologie CCD

Interface USB

Alimentation indépendante (batterie)

Résolutions : 640*480, 320*280, 160*120

FT R&D – Avril 2005 8

Caméra à illumination impulsionnelle : Principe

Capturer majoritairement la lumière infrarouge– Diminuer le temps de d’acquisition de l’image – Synchroniser le flash IR avec le temps d’acquisition

Lum. Amb

Temps d’acquisition t

Intensité lumineuse

Lum. Amb

Temps d’acquisition

t

Intensité lumineuse

Flash IR

Caméra en fonctionnement normal Caméra en fonctionnement IR

FT R&D – Avril 2005 9

Caméra à illumination impulsionnelle vs caméra différentielle

Avantages de la caméra impulsionnelle

– Meilleure résolution : 320*280 au lieu de 160*120 pour la caméra différentielle

– Facilité d’utilisation : Disponibilité des drivers

Avantages de la caméra différentielle

– Meilleure suppression de la lumière ambiante

Caméra différentielle Webcam Flashcam

FT R&D – Avril 2005 10

Base multi caméraAcquisition sous quatre éclairages différents : lumière ambiante, sombre, éclairage profil, éclairage face

Acquisition avec différentes caméras : Web-cam classique, caméra différentielle et caméra impulsionnelle

Lumière ambiante

SombreÉclairage face

Éclairage profil

FT R&D – Avril 2005 11

Base de données

25 personnes

4 sessions par personne

10 images par session

Acquisition de face, peu de variabilité

Distance variable entre les personnes et l’objectif

Détection des yeux manuelles

Normalisations : taille, orientation, égalisation d’histogramme

FT R&D – Avril 2005 12

Protocoles de testLes images de référence et de test proviennent de la même session et de la même caméra

Les images de référence et de test proviennent de deux sessions différentes mais de la même caméra

FT R&D – Avril 2005 13

RésultatsProtocole 1 : images de test et de référence proviennent de la même caméra et de la même session.

EER Base 1 Base 2 Base 3 Base 4

Camera 1 16% 17,4% 11,4% 10,67%

Camera 2 6,67% 13,33% 6,67% 5,33%

Camera 3 10,67 % 4% 6,67 % 5,5 %

FT R&D – Avril 2005 14

Résultats (Protocole 2)Protocole 2 : images de test et de référence proviennent de la même caméra mais de sessions différentes

EER Base 1vs3 Base 1vs4 Base 2vs3

Caméra1 43,9% 49,33% 55,71%

Caméra2 17,33% 24% 19,7%

Caméra3 25,33% 28,6% 14,67%

FT R&D – Avril 2005 15

Courbe ROC : Scénario Ec. Ambiant vs Ec. De face

FT R&D – Avril 2005 16

Conclusion

Nous avons testé 3 modes d’acquisitions : CCD infrarouge (caméra impulsionelle), CCD lumière visible et CMOS infrarouge (caméra différentielle).Nous avons bâti une base de données d’images de visage avec les trois type de caméra sous différentes conditions d’éclairage (éclairage ambiant, sombre, de face et de profil)Les tests prouvent que l’utilisation de caméras à suppression de lumière ambiante améliore les performances d’un système de reconnaissance basé sur la corrélation.