![Page 1: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/1.jpg)
GERBILGesture Recognition using a Brain Lightweight Headset
Joël Dumoulin
DÉFENSE DE THÈSE – MARS 2011
Responsables Elena MugelliniOmar Abou KhaledFrancesco Carrino
Experts Ricardo ChavarriagaJacques Bapst
Mots clés Brain Computer Interface, Capteurs, Interaction/Interface Homme Machine
![Page 2: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/2.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
2
Sommaire
• Introduction
• Etat de l'art
• Analyse
• Conception
• Implémentation
• Conclusion
![Page 3: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/3.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
3
Introduction
• GERBIL – GEsture Recognition using a BraIn Lightweight Headset• Reconnaissance de gestes en utilisant un dispositif neuronal léger
• Domaine du BCI
• Reconnaissance de gestes• Capteurs physiologiques
• Chaise roulante électrique• Contrôle : interface neuronale
IntroductionEtat de l'art
⌃
![Page 4: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/4.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
4
Contexte
• MAGI [1]• Thèse de doctorat de Francesco Carrino• Intégration de capteurs physiologiques
• Système de reconnaissance de gestes Enrichir la capacité à contrôler les objets de tous les jours
• Casque Emotiv EPOC [2]• Projets internes récents• Traitement peu fiable
Traitement des signaux bruts
• SmartWheelchair
IntroductionEtat de l'art
⌃
![Page 5: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/5.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
5
Objectifs
• Etat de l'art• BCI• Gesture Recognition• BCI & Gesture Recognition
• Analyse technologique• Casque EPOC• Framework OpenVibe• SmartWheelchair
• Développement• Système BCI
• Démonstrateur• Piloter la SmartWheelchair
IntroductionEtat de l'art
⌃
![Page 6: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/6.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
6
Etat de l'art
• Qu'est-ce qu'un système BCI?
• Que signifient les termes EEG, ECoG, ERD, ERS?
• Quelles sont les possibilités et techniques?
Objectif : parcourir la littérature scientifique Répondre à ces questions Acquérir les connaissances nécessaires à la mise en place d'un
système BCI
Introduction
Etat de l'artAnalyse
⌃
![Page 7: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/7.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
7
BCI
• Brain Computer Interface (Interfaces Neuronales Directes)
• Interface de communication directe • Cerveau dispositif électronique
• Assister, améliorer, réparer des fonctions humaines de cognition ou d'action défaillantes
• Champs d'applications variés• Assistance aux personnes handicapées• Jeux vidéo• …
Introduction
Etat de l'artAnalyse
⌃
![Page 8: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/8.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
8
BCIIntroduction
Etat de l'artAnalyse
⌃
[3]
![Page 9: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/9.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
9
BCIIntroduction
Etat de l'artAnalyse
⌃
![Page 10: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/10.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
10
Dispositifs d'enregistrements
• Enregistrement de l'activité électrique• Dispositifs invasifs• Dispositifs partiellement invasifs• Dispositifs non invasifs
Introduction
Etat de l'artAnalyse
⌃
![Page 11: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/11.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
11
EEG
+ Technologie non invasive la plus utilisée
+ Facile à mettre en place
+ Economique
+ Bonne résolution temporelle
+ Pas de risques pour le sujet
− Signal bruité
− Nécessite un entrainement intensif du patient
Introduction
Etat de l'artAnalyse
⌃
![Page 12: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/12.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
12
Techniques
• P300
Introduction
Etat de l'artAnalyse
⌃
H
![Page 13: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/13.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
13
Techniques
• SSVEP
Introduction
Etat de l'artAnalyse
⌃
![Page 14: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/14.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
14
Imagerie motrice
• Imagination d'un mouvement• Main gauche / main droite / pied ( / langue)Oscillations particulières des ondes cérébrales : ERD / ERS
• ERD / ERS – Event Related Desyncronization / Syncronization• Diminution / augmentation d'amplitude des rythmes mu/beta
• Changements occasionnés
• Imagination ≅ réalisation "Reconnaissance de gestes" (2-4 gestes maximum)
Introduction
Etat de l'artAnalyse
⌃
[4]Main droite Pieds Main gauche
![Page 15: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/15.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
15
Graz [5, 6]
• Scénario de stimuli, précisant le paradigme de base• Le sujet effectue une tâche mentale en réponse à un stimulus
donné
• Acquisition d'échantillons pour la phase d'entrainement• Entrainer le classifieur (algorithme de classification)• En analysant les caractéristiques des signaux (ERD/ERS), en
fonction des stimuli (gauche / droit)
Introduction
Etat de l'artAnalyse
⌃
![Page 16: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/16.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
16
GrazIntroduction
Etat de l'artAnalyse
⌃
![Page 17: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/17.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
17
AnalyseEPOC [2]
+ Facilité de mise en place et d'utilisation
+ Prix
− Qualité des signaux (bruités)
− Placement approximatif du casque (capteurs)
− Suite logicielle fermée
Etat de l'art
AnalyseConception
⌃
⌃
![Page 18: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/18.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
18
OpenVibe [7]
• Framework Open Source
• Base solide + fonctionnalités avancées pour facilement• Concevoir …• Mettre en place … • Connecter à un environnement de réalité virtuelle …… un système BCI
• Caractéristiques• Modularité• Différents types d'utilisateurs impliqués• Portabilité• Connexion avec la réalité virtuelle (VRPN)
• Driver pour le casque EPOC
Etat de l'art
AnalyseConception
⌃
⌃
![Page 19: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/19.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
19
OpenVibe
• OpenVibe Designer
Etat de l'art
AnalyseConception
⌃
⌃
![Page 20: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/20.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
20
OpenVibe
• Visualisations
Etat de l'art
AnalyseConception
⌃
⌃
![Page 21: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/21.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
21
OpenVibe
• Stimuli visuels
Etat de l'art
AnalyseConception
⌃
⌃
![Page 22: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/22.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
22
SmartWheelchair
• Interfaçage : RS232
• Contrôle via Joystick virtuel
Etat de l'art
AnalyseConception
⌃
⌃
![Page 23: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/23.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
23
Conception
• Vocabulaire←Main gauche→Main droite• Mouvements "économiques"
• Architecture
Analyse
ConceptionImplémentation
⌃
⌃
![Page 24: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/24.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
24
Scénarios OpenVibe
• Acquisition
Analyse
ConceptionImplémentation
⌃
⌃
![Page 25: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/25.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
25
Scénarios OpenVibe
• Entrainement du classifier
Analyse
ConceptionImplémentation
⌃
⌃
![Page 26: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/26.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
26
Scénarios OpenVibe
• Online Graz
Analyse
ConceptionImplémentation
⌃
⌃
![Page 27: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/27.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
27
Application GERBILAnalyse
ConceptionImplémentation
⌃
⌃
![Page 28: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/28.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
28
ImplémentationBonnet d'expérimentation• Constance dans le placement des capteurs
• Localisation des positions C3/C4
Conception
ImplémentationConclusion
⌃
[8]
![Page 29: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/29.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
29
VidéoConception
ImplémentationConclusion
⌃
![Page 30: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/30.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
30
ConclusionProblèmes rencontrés• Spécialiste BCI
• OpenVibe• Forum
• Casque EPOC• Batterie faible pertes de connexion
• Acquisition des données d'entrainement• Tâche "pénible"• Entrainement : validité temporaire (position du casque)• Pas le cobaye adapté!
Implémentation
Conclusion
⌃
![Page 31: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/31.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
31
Objectifs atteints
• Objectifs fixésEtat de l'art
• base de connaissance complèteAnalyse technologique
• Informations sur les éléments logiciels et matérielsSystème BCI
• fonctionnel• facilitera le travail futur
Prototype• contrôle de la chaise• configuration flexible• (mais nécessite clairement une amélioration des taux de
classification)
Implémentation
Conclusion
⌃
![Page 32: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/32.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
32
Améliorations
• OpenVibe• Formats de fichiers d'enregistrement• ERD/ERS
• Visualisation / quantification• Algorithmes de classification
• > 2 classes
• Application GERBIL• Eléments de configuration (partie VRPN)• Eléments statistiques• Statistiques Graz• Faire évoluer le paradigme pour l'utilisation en-ligne
Fenêtre temporelle
Implémentation
Conclusion
⌃
![Page 33: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/33.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
33
Perspectives futures
• Approfondir les tests• Cobayes
• Améliorer les taux de classification, afin de déterminer si le casque EPOC est réellement utilisable ou non• > 75%
• Développer de nouveaux prototypes• Systèmes de navigation virtuelle
• Google Earth• Google Street View• Google Art Project• …
• Contrôle de bras robotisés• …
Implémentation
Conclusion
⌃
![Page 34: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/34.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
34
Impressions personnelles
• Projet ludique
• Cadre motivant• "Aide aux personnes handicapées"
• Objectifs fixés : atteints
Implémentation
Conclusion
⌃
![Page 35: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/35.jpg)
Merci de votre attention!
![Page 36: GERBIL G e sture Recognition using a Brain Lightweight Headset Joël Dumoulin](https://reader036.vdocuments.us/reader036/viewer/2022062520/56816554550346895dd7d0bb/html5/thumbnails/36.jpg)
Mars 2011Joël Dumoulin – GERBIL – Défense de thèse
36
Références
[1] Francesco Carrino. MAGI System – Mind Augmented Gesture Interaction. http://magisystem.project.eia-fr.ch
[2] Emotiv systems. Emotiv – BCI Technology. www.emotiv.com
[3] J.R. Wolpaw, N. Birbaumer, D.J. McFarland, G. Pfurtscheller, and T.M. Vaughan, "Brain-Computer interfaces for communication and control," in Clin Neurophysiol., 2002, vol. 113, pp. 767-791.
[4] G. Pfurtscheller and C. Neuper, "Motor imagery activates primary sensorimotor area in humans," in Neurosci. Lett., 1997, vol. 239, pp. 65-68.
[5] Laboratory of Brain-Computer Interfaces – Graz. http://bci.tugraz.at
[6] G. Pfurtscheller and C. Neuper, "Motor Imagery and Direct Brain-Computer Communication," in Proceedings of the IEEE., 2001, vol. 89, pp. 1123-1134.
[7] INRIA – Institut national de recherche en informatique et automatique. OpenVibe. http://openvibe.inria.fr
[8] Répartition spatiale du système 10-20. www.bem.fi/book/13/13.htm