tougnel liris lyon
DESCRIPTION
Support de communication de Laure Tougne présenté à la journée "Archives audiovisuelles et recherche" organisée par le Consortium Archives des Mondes Contemporains (ArcMC), le 29 septembre 2014.TRANSCRIPT
![Page 1: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/1.jpg)
Laboratoire d'InfoRmatique en Image et Systèmes d'information LIRIS UMR 5205 CNRS/INSA de Lyon/Université Claude Bernard Lyon 1/Université Lumière Lyon 2/Ecole Centrale de Lyon
http://liris.cnrs.fr
Indexation automatique d’images et de vidéos
Laure Tougne, Serge Miguet
29 septembre 2014 1
![Page 2: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/2.jpg)
Plan de la présentation
! Le LIRIS, l’équipe IMAGINE ! Indexation automatique ou semi-automatique ! Des exemples � Le projet AMRIA : aide à l’indexation de grands corpus
audio-visuels � L’ANR ReVeS : indexation et reconnaissance d’arbres et
arbustes à partir de leurs feuilles
2 Laure Tougne 29/09/14
![Page 3: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/3.jpg)
Deux mots sur le LIRIS et sur l’équipe IMAGINE…
16 juin 2014 3
![Page 4: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/4.jpg)
Laboratoire d’InfoRmatique en Image et Systèmes d’Information
! 5 tutelles � CNRS (UMR5205) � INSA de Lyon � Université Lyon 1 � Université Lyon 2 � ECL ! 3 implantations physiques � Villeurbanne � Bron � Ecully
http://liris.cnrs.fr
4 Laure Tougne 29/09/14
![Page 5: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/5.jpg)
Quelques chiffres …
! 262 membres : � 118 enseignants-chercheurs, 6 chercheurs (5 CNRS, 1 INRIA) � 17 personnels administratifs et techniciens (en équivalent temps
plein) � 121 doctorants, 11 post-docs � Une moyenne de 30 thèses soutenues chaque année
! Un budget annuel d’environ 2M€/an (non consolidé) : � 10% soutien de base � 12% programmes (région, Europe, organismes) � 5% contrats industriels � 73% ANR
Laure Tougne 29/09/14 5
![Page 6: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/6.jpg)
D’un point de vue scientifique
! Champ scientifique : Informatique / Sciences et Technologies de l’Information
! 6 pôles de compétences reconnus au niveau international � Vision intelligente et reconnaissance visuelle � Géométrie et modélisation � Data Science (Science des données) � Services, Systèmes distribués et Sécurité � Simulation, virtualité et sciences computationnelles � Interactions et cognition ! Savoir-faire au service de la société en liaison étroite avec les
disciplines Ingénierie, Sciences Humaines et Sociales, Science de l’Environnement et Science de la vie
Laure Tougne 29/09/2014 6
![Page 7: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/7.jpg)
Organigramme
7 Laure Tougne 29/09/14
![Page 8: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/8.jpg)
Equipe Imagine
! Analyse et le traitement automatique ou semi-automatique des médias visuels (images, vidéos, objets 3D)
! Objectifs � Une meilleure compréhension et interprétation du contenu ; � La reconnaissance, voire de l'identification de certains objets d'intérêt ; � l'indexation intelligente qui faciliterait l'accès à des masses de
données ; � la compression & transmission & stockage avec de nouveaux modèles ! Des domaines applicatifs nombreux, dont � Multimédia � Documentique � Vidéosurveillance � L’environnement � La pédagogie
8 Laure Tougne 29/09/14
![Page 9: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/9.jpg)
Indexation automatique ou semi-automatique
L. tougne 9
![Page 10: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/10.jpg)
Recherche d’images par le contenu
10
Comparateur
Calcul de signature
Base d’images Base de signatures
Calcul de la
signature
Requête
Images de la base similaires
à la requête
IND
EX
ATIO
N
RE
CH
ER
CH
E
Laure Tougne 29/09/14
Segmentation
Segmentation
![Page 11: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/11.jpg)
Segmentation
! Extraction de l’objet d’intérêt � Automatique / Semi-automatique
� Basée contours / régions � Basée couleur / texture / mouvement � Avec ou sans a priori
11 Laure Tougne 29/09/14
![Page 12: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/12.jpg)
Extraction de caractéristiques (1) ! Descripteurs génériques de formes � Mesures géométriques « simples » (aire, périmètre, diamètre,
aspect ratio, compacité, etc.) � Caractérisation géométriques du contour (CSS-contour, HoCS, etc.)
� Descripteurs statistiques de forme (moments, inner-distance shape
context (IDSC), etc.)
12 Laure Tougne 29/09/14
![Page 13: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/13.jpg)
Extraction de caractéristiques (2)
! Descripteurs spécifiques de formes � Un exemple : feuilles d’arbres
Laure Tougne 29/09/2014 13
• Position relative du centre • Largeur maximale relative • Longueur relative des côtés • Angle à la base • Angle à l’apex • Nombre de lobes • Longueur et angle de chaque paire de lobes
![Page 14: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/14.jpg)
Extraction de caractéristiques (3) ! Descripteurs de contextes locaux � Sur l’objet segmenté ou sur l’image entière � Objectif : extraire des descripteurs sur des points caractéristiques
afin de les retrouver sur des vues quasi-similaires
� Exemples : descripteurs SIFT, SURF, etc.
Laure Tougne 29/09/2014 14
![Page 15: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/15.jpg)
Extraction de caractéristiques (4) ! Couleur et texture � Histogramme dans divers espaces (RGB, HSL, L*a*b) � Bins groupés, n bins les plus représentés, Bag-of-colors
� Ondelettes de Gabor, Local Binary Pattern (LBP), champs aléatoire de Markov (MRF).
Laure Tougne 29/09/2014 15
![Page 16: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/16.jpg)
Comparateur
! Comparaison et recherche d’images par le contenu � Exemple : plus proche voisin � Associer à l’exemple proposé, l’exemple de la base le plus
ressemblant ou le représentant de la base le plus ressemblant à Souvent métrique spécifique à la signature à Grand nombre de comparaisons
! Méthodes de classification automatique � Entraîner un système prenant en entrée un ensemble d’attributs et
donnant en sortie une information de classe � Exemples : réseaux de neurones, support vector machines (SVM),
forêts aléatoires, etc.
! La performance repose sur la pertinence des descripteurs
Laure Tougne 29/09/2014 16
![Page 17: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/17.jpg)
Des exemples…
L. Tougne 17
![Page 18: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/18.jpg)
Le projet AMRIA :
Analyse du Monde Rural par l’Image animée
L. Tougne 18
![Page 19: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/19.jpg)
Le Projet AMRIA Analyse du Monde Rural par l’Image Animée
! AMRIA : Projet du BQR Lyon 2 : 2011-2013 � Porteur : Edouard Lynch, Laboratoire d’Etudes du Monde Rural � Partenaires : � Mihaela Scuturici, Serge Miguet, LIRIS � Béatrice Maurines, Centre Max Weber � Christian Dury, ISH
� Objectifs � Collecte de données en provenance de différentes institutions
dépositaires � Expérimentation d’outils logiciels d’aide à l’indexation des images
19 Laure Tougne 29/09/14
![Page 20: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/20.jpg)
Aide à l’indexation audiovisuelle du monde rural
� Stage de Clémence LOP sous la direction de Serge Miguet (2012) � Détection de visages � Détection / Reconnaissance de textes
� Stage de Van-Hau Phan sous la direction de Serge Miguet (2013) � Classification Artificiel / Naturel � Classification Intérieur / Extérieur
20 Laure Tougne 29/09/14
![Page 21: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/21.jpg)
Aide à l’indexation de grands corpus audio-visuels
L. Tougne 21
Stage de Clémence Lop Stage de fin d’études, IUT de Valence
mars 2012-juin 2012
![Page 22: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/22.jpg)
Exemple de documents (source : INA)
22
C’est arrivé en Limousin…
Campagnes Françaises
Laure Tougne 29/09/14
![Page 23: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/23.jpg)
Advene : un logiciel libre pour l’annotation de séquences vidéos
23 Laure Tougne 29/09/14
![Page 24: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/24.jpg)
Exemple d’annotations automatisables : Classification du « type de scènes »
! Intérieur / extérieur
! Naturel / artificiel
! Jour / nuit
! Présence d’animaux / de machines
! Caractérisation du mouvement
! Présence de visages
24 Laure Tougne 29/09/14
![Page 25: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/25.jpg)
Exemple de réalisation : détection de visages
25
Vrai Positif Faux Positif
Laure Tougne 29/09/14
![Page 26: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/26.jpg)
Prise en compte de la cohérence temporelle : Sensibilité / Spécificité
26 Laure Tougne 29/09/14
![Page 27: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/27.jpg)
Autres contributions réalisées pendant le stage
! Détection des changements de plans
! Détection des silhouettes humaines
! Détection des zones de texte
! Retranscription grâce à la reconnaissance optique de caractères
27 Laure Tougne 29/09/14
![Page 28: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/28.jpg)
Aide à l’indexation de grands corpus audio-visuels
L. Tougne 28
Stage de Van-Hau PHAN Stage de 3ème année d’école
INSA de Lyon, département Informatique
Juin 2013 – Septembre 2013
![Page 29: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/29.jpg)
Catégorisation de vidéos
! Trois séquences utilisées � La Terre est leur problème � La Maison du Vigneron � C’est arrivé en Limousin
! Création manuelle de deux pistes d’annotation : � Naturel – Artificiel � Intérieur – Extérieur
! Recherche d’indices visuels permettant de reproduire automatiquement les annotations
� Sur les données d’apprentissage � En généralisation, sur des données non-apprises
29 Laure Tougne 29/09/14
![Page 30: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/30.jpg)
Classification entre Scène Artificielle / Scène Naturelle
! Une scène artificielle contient des objets construits par l’homme � Présence importante d’éléments géométriques � Lignes droites � Eléments anguleux � Textures régulières (ou uniformes)
! Une scène naturelle contient des éléments irréguliers � Formes � Texture granuleuse
30 Laure Tougne 29/09/14
![Page 31: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/31.jpg)
Boîte à outils, pour mettre en œuvre ces idées
! Détection des lignes de contraste � Filtre de Canny ! Détection des alignements � Transformée de Hough ! Caractérisation de la régularité des
textures � Local Binary Patterns (LBP)
31 Laure Tougne 29/09/14
![Page 32: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/32.jpg)
Bonne détection de scène artificielle (1/2)
32 Laure Tougne 29/09/14
![Page 33: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/33.jpg)
Bonne détection de scène artificielle (2/2)
33 Laure Tougne 29/09/14
![Page 34: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/34.jpg)
Bonne détection de scène naturelle
34 Laure Tougne 29/09/14
![Page 35: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/35.jpg)
Exemple de mauvaise classification (1/2)
35 Laure Tougne 29/09/14
![Page 36: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/36.jpg)
Exemple de mauvaise classification (2/2)
36 Laure Tougne 29/09/14
![Page 37: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/37.jpg)
Le projet ANR REVES :
Reconnaissance de Végétaux pour des Interfaces
Smartphones
L. Tougne 37
![Page 38: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/38.jpg)
Contexte
! Constats � Urbanisation + attrait pour les nouvelles technologies à l’homme méconnaît de plus en plus son environnement
� De nos jours : tout le monde possède un Smartphone à outil intégrant de nombreuses fonctionnalités ! Projet ReVeS : utiliser cet outil pour (ré)apprendre à l’homme à
connaître les végétaux qui l’entourent ! Partenaires : � LIRIS (Lyon) : traitement d’images et de vidéos � EVS (St Etienne) : connaissances phytogéographiques / étude des
usages � LISTIC (Annecy) : fusion des données ! Autres participants ➠ Base de données botaniques – Société Linéenne de Lyon ➠ Contraintes liées au matériel / portage –Société Trydéa
Laure Tougne 29/09/14
![Page 39: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/39.jpg)
Scénario typique
Une personne, lors d'une promenade, prend une photo / vidéo d'une plante (feuille(s) et éventuellement fleur(s)) avec son smartphone afin d’obtenir des informations à son sujet.
Laure Tougne 29/09/14
![Page 40: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/40.jpg)
Schéma du scénario
Laure Tougne 29/09/14
![Page 41: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/41.jpg)
Une approche pour un outil pédagogique
! Public visé : non spécialistes ! Combiner des données images avec d’autres données ! Sortie : � Une liste d’espèces probables � Pouvoir expliquer ce qui a conduit à reconnaître
Laure Tougne 29/09/14
![Page 42: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/42.jpg)
Quelques Résultats
Feuilles Simples Base Pl@ntLeaves I (5668 photos, 80 espèces extraites)
85% dans les 5 premières réponses
Feuilles composées Base Pl@ntLeaves II (1140 photos, 17 espèces extraites)
86% dans les 5 premières réponses
Laure Tougne 29/09/14
![Page 43: Tougnel liris lyon](https://reader033.vdocuments.us/reader033/viewer/2022052907/55918be91a28ab9d2e8b4589/html5/thumbnails/43.jpg)
Folia sur l’App Store et le Google store
Laure Tougne 29/09/14