alex stepanov uamobile2012
DESCRIPTION
TRANSCRIPT
Распознавание образов и технологии Augmented Reality в мобильных
приложениях
Степанов АлександрiOS Developer
пятница, 14 декабря 12 г.
What is AR ?
пятница, 14 декабря 12 г.
IronMan
пятница, 14 декабря 12 г.
Minority report
пятница, 14 декабря 12 г.
In real
пятница, 14 декабря 12 г.
Google Eyes
пятница, 14 декабря 12 г.
Juniper research, 2011пятница, 14 декабря 12 г.
AR Types
‣Location based
‣ Image recognition
‣Face recognition
пятница, 14 декабря 12 г.
Location based
‣Location (GPS)
‣Accelerometr
‣Magnetometr + Gyroscope
‣Mapkit
пятница, 14 декабря 12 г.
Location based
‣
‣
‣ . . .
пятница, 14 декабря 12 г.
ARKit• https://github.com/zac/iphonearkit/
• https://github.com/nielswh/iPhone-AR-Toolkit
✓ Free, open source (not GPL)
- Gyroscope support
- Different devices (iPhone, iPad, iPod) support
пятница, 14 декабря 12 г.
• http://3dar.us/
✓ Gyroscope (CoreMotion)
✓ OpenGL 3D markers
- Free - branded
- 4 995 $ for unbranded
пятница, 14 декабря 12 г.
Image based
‣Marker - based
‣Markerless
пятница, 14 декабря 12 г.
Marker - based• https://github.com/benlodotcom/VRToolKit
✓ Free Open source
- GPL
- Low performance
пятница, 14 декабря 12 г.
Marker - based• https://github.com/jonmarimba/NyArToolkit-iOS
✓ Free Open source
✓ Good performance
✓ Unity3D
- GPL
пятница, 14 декабря 12 г.
✓ Українці✓ Geo-position SDK
- Licensing terms
пятница, 14 декабря 12 г.
✓ Unity3D
✓ Marker is more flexible
- 485 € : 1year, 1 app, 1 marker, brandable
- 6 795 € : 1year, 1 app, no limits
пятница, 14 декабря 12 г.
Markerless
• Pattern recognition• Tracking• 3D pose estimation
пятница, 14 декабря 12 г.
OpenCV
пятница, 14 декабря 12 г.
OpenCV• http://opencv.org/
• https://github.com/Itseez/opencv
✓ Standalone (MacOS, Linux, Windows)
✓ Mobile (Android, iOS from 2.3.1)
- No optimization for mobile (NEON)
пятница, 14 декабря 12 г.
OpenCVOptimizationhttp://www.aorensoftware.com/blog/2011/03/31/bullet-physics-optimization-for-ios/
✓ {opencv}/ios/cmake/Modules/Platform/iOS.cmake
#43 set (CMAKE_CXX_FLAGS_RELEASE "-DNDEBUG -O3 -fomit-frame-pointer -ffast-math -mfpu=neon -mdynamic-no-pic")
✓ Compiler: Clang -> llvm-gcc4.2
пятница, 14 декабря 12 г.
OpenCVOptimizationhttps://github.com/aptogo/OpenCVForiPhoneVersion 2.2-2.3
More about NEON :http://habrahabr.ru/post/156809/
пятница, 14 декабря 12 г.
Pattern recognition
•STAR
•MSER
•SURF
•GFTT
•FAST
1.Feature detection
http://computer-vision-talks.com/2011/07/comparison-of-the-opencvs-feature-detection-algorithms-ii/
пятница, 14 декабря 12 г.
Pattern recognition
•BRIEF
•SURF
•SIFT
2. Descriptor
пятница, 14 декабря 12 г.
Pattern recognition
2. Matching
пятница, 14 декабря 12 г.
Pattern recognition
• Brute force• FLANN
• Find nearest• dist < Eps
пятница, 14 декабря 12 г.
Pattern recognition
RANSAC
пятница, 14 декабря 12 г.
TrackingLucas-Kanade Optical Flow algorithm
• http://www.hatzlaha.co.il/150842/Lucas-Kanade-Detection-for-the-iPhone
✓ Implemented in OpenCV
- Low performance
пятница, 14 декабря 12 г.
TrackingTemplate matching based tracking
• http://cvlab.epfl.ch/~lepetit/
✓ Faster
✓ Accurate
- Require hard-computational learning
пятница, 14 декабря 12 г.
3D Pose estimation
Frame
Polygon
Homography
Model view matrix
Projection matrix3D
http://habrahabr.ru/post/139429/
пятница, 14 декабря 12 г.
My experience• Ferns http://cvlab.epfl.ch/research/completed/
surface/ferns/
• Template matching tracking • http://isgl3d.com/
пятница, 14 декабря 12 г.
Demo
пятница, 14 декабря 12 г.
- Several markers
пятница, 14 декабря 12 г.
• http://www.qualcomm.com/solutions/augmented-reality
✓ Free to use in commercial apps
✓ iOS & Android
✓ Unity3D extension
пятница, 14 декабря 12 г.
✓ Fast and robust
пятница, 14 декабря 12 г.
✓ Fast and robust
✓Really fast and robust !
пятница, 14 декабря 12 г.
✓ Image target
Up to 50 markers
пятница, 14 декабря 12 г.
✓ Virtual Buttons
пятница, 14 декабря 12 г.
✓ Multi Targets
пятница, 14 декабря 12 г.
✓ Online tool: https://ar.qualcomm.at/sdkRegistration required
✓ NinevehGL supports Vuforia SDK
http://nineveh.gl/
пятница, 14 декабря 12 г.
Need Markerless AR ?
Use
http://socialcompare.com/en/comparison/augmented-reality-sdks
пятница, 14 декабря 12 г.
Face tracking
✓ OpenCV Haar classification
пятница, 14 декабря 12 г.
Face tracking
https://github.com/aptogo/FaceTracker
http://opencv.org/
✓ Not only face,
but face features too !
пятница, 14 декабря 12 г.
- Too slow - 2D only
пятница, 14 декабря 12 г.
3D Face contours tracking
пятница, 14 декабря 12 г.
3D Face contours tracking
✓ Fast enough for 2 cores Smartphones CPU
✓ Tracks contours in realtime
✓Emotions recognition
пятница, 14 декабря 12 г.
Demo
пятница, 14 декабря 12 г.
3D Face contours tracking
✓ Licensing
✓ iOS/Android App development partnership
пятница, 14 декабря 12 г.
