dynamic simulation of virtual objects for ar applications. development of an ar chess
TRANSCRIPT
Μάριος-Φώτιος ΜπίκοςΕπιβλέπων:
Δυναμική Προσομοίωση Εικονικών Αντικειμένων για
Εφαρμογές Επαυξημένης Πραγματικότητας.
Κωνσταντίνος Μουστάκας
Διπλωματική Εργασία
Εφαρμογή σε Σκάκι Επαυξημένης Πραγματικότητας
Ιούλιος 2015
Teaser
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 2
Video από την Meta Co.PROMPROM
OO
Επαυξημένη Πραγματικότητα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 3
ΠραγματικόΠραγματικός Κόσμοςς Κόσμος
Ψηφιακή Ψηφιακή ΠληροφορίΠληροφορίαα
Αλληλεπίδραση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 4
Πρόβλημα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 5
Ο χειρισμός εικονικών αντικειμένων με γυμνά χέρια είναι πολύπλοκη διαδικασία…
…ιδιαίτερα σε ένα σκάκι επαυξημένης πραγματικότητας!
Θεωρητικό Υπόβαθρο
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 6
Παράμετροι Κάμερας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 7
Extrinsics
Intrinsics
Βαθμονόμηση - Calibration
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 8
Offline Διαδικασία Εύρεσης Intrinsics
Markers σε Γάντι Marker Props
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 9
Σχετικές Ερευνητικές Εργασίες
“FingARtips – Gesture Based Direct Manipulation in Augmented Reality” 2nd International conference on Computer graphics and interactive techniques -2004
“Virtual object manipulation on a table-top AR environment” IEEE and ACM International Symposium on Augmented Reality-2000
Cube-Marker Pen Marker Glove & Retroreflective Spheres
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 10
Σχετικές Ερευνητικές Εργασίες
“Mobile collaborative augmented reality” IEEE and ACM International Symposium on Augmented Reality-2001
“Finger tracking for interaction in augmented environments” IEEE and ACM International Symposium on Augmented Reality-2001
Σχετικές Ερευνητικές Εργασίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 11
Κάμερα Βάθους για την δημιουργία 3D μοντέλου χεριών
Η Εφαρμογή
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 12
Εργαλεία & Τεχνολογίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 13
IRSensor
Color Sensor
IR Laser Projector
First-Person View
Εργαλεία & Τεχνολογίες
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 14
• Αξιοποίηση βασικών αλγορίθμων όρασης• Χρήση βασικών δομών(π.χ Mat)
• Ανίχνευση markerboards• Εύκολος συνδυασμός με OpenGL
• Πρόσβαση στα δεδομένα των αισθητήρων• Εξαγωγή Blobs / Contours
• 3D Models / Αnimations• Aπεικόνιση επαυξημένης σκηνής
• Επικοινωνία με εκτελέσιμα αρχεία μηχανής σκακιού
Πρόβλημα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 15
• Πιόνια = Ορατά συνεχώς • Απόκρυψη σκακιέρας με τα χέρια
- Δυσκολότερο να χαθούν όλα την ίδια στιμή- Περισσότερα σημεία διαθέσιμα
για εκτίμηση πόζας κάμερας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 16
Board of Markers=Μarkerboard
Robustness
Markerboard
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 17
8 x 8 MarkerBoard 64 Markers
Blobs & Contours
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 18
Blob = Σχήμα που αναγνωρίζεται σε μία εικόνα και αναπαριστά ένα συγκεκριμένο αντικείμενο.
Αναγνώριση Χειρονομίας Pinch
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 19
Διάγραμμα Διαδικασίας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 20
3D Θέση της Xειρονομίας
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 21
..Inner Contour(Hole)
Outer Contour
RGB Image Blob Image
Average X,Y
Mapped Mapped neighborhood neighborhood of pixelsof pixels
....Neighborhood of Points
Average Z depth3D Position3D Position
MapDepthMapDepthToColorToColor
Xcam,Ycam
Γράφουμε στο Z-Buffer της OpenGL, τις τιμές βάθους για κάθε pixel που παίρνουμε από τον αισθητήρα (ανάλογα με την προβολή)
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 22
Occlusion Handling
Occlusion Handling
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 23
Μηχανή Σκακιού
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 24
Universal Chess Interface (UCI)
• Έξοδος: Κίνηση Αντιπάλου
• Είσοδος: Κίνηση Χρήστη
Πρωτόκολλο Επικοινωνίας με μηχανή σκακιού=
Πειραματική Εγκατάσταση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 25
Αξιολόγηση Συστήματος
System Usability Scale - SUS
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 26
System Usability Scale - SUS
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 27
Λάθη Κινήσεων
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 28
Σύγκριση Μεγεθών Αξιολόγησης
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 29
Participant # Time per Task (sec) Tasks Completed (of 30) Time % Tasks % SUS Rating % Average
1 2,99 25 83% 83% 75% 81%
2 4,23 25 59% 83% 55% 66%
3 3,05 16 82% 53% 80% 72%
4 4,94 25 50% 83% 92,5% 75%
5 3,49 25 71% 83% 80% 78%
6 5,64 22 44% 73% 67,5% 62%
7 2,49 18 100% 60% 75% 78%
8 4,66 28 53% 93% 60% 69%
9 2,74 28 91% 93% 70% 85%
10 3,00 26 83% 87% 77,5% 82%
Averages 3,7233,723 23,8 72% 79% 73.25% 75%
Μειονεκτήματα
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 30
Λάθη Κινήσεων
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 31
Remember This?
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 32
Video από την Meta Co.PROMPROM
OO
Μελλοντικές Επεκτάσεις
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 33
3D Models Attack Animations
Depth Perception Pawn Promotion
Μελλοντικές Επεκτάσεις
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 34
Συνδυασμός Αισθητήρα+Oculus Rift
Δημοσίευση
8 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 35
7 Ιουλίου 2015 Διπλωματική Εργασία - Μάριος Μπίκος 36