face recognition - jetbrains research · Байки из цеха: Байки из цеха:...
TRANSCRIPT
![Page 1: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/1.jpg)
Face Recognition
![Page 2: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/2.jpg)
Байки из цеха:
![Page 3: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/3.jpg)
Байки из цеха:
![Page 4: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/4.jpg)
DeepFace
Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing the Gap to Human-Level Performance in Face Verification. CVPR 2014.
![Page 5: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/5.jpg)
DeepFace: alignment:
![Page 6: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/6.jpg)
![Page 7: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/7.jpg)
DeepFace: transfer learning
● Social Face Classification (SFC) dataset○ 4,030 people○ each with 800 to 1200 faces
![Page 8: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/8.jpg)
DeepFace: feature space distance
![Page 9: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/9.jpg)
DeepFace: LFW results
Without frontalization 94.3%
Without learning (fronalization + naive LBP/SVM) 91.4%
Single net 97.0%
Ensemble net 97.35%
![Page 10: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/10.jpg)
DeepFace: LFW results
![Page 11: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/11.jpg)
DeepID
Yi Sun, Xiaogang Wang, and Xiaoou Tang. Deep Learning Face Representation by Joint Identification-Verification. CVPR, 2014.
![Page 12: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/12.jpg)
DeepID: cropping ensemble
Комитет нейросетей (25 штук)Каждая смотрит свой фрагмент лица
![Page 13: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/13.jpg)
DeepID: уменьшение размерностей
После комитета сетей получается 25 векторов размерности 160.Объединяются в один вектор длины 40000.
Используем PCA для уменьшения размерности.
Берём L2 (Евклидову) норму для сравнения векторов.
![Page 14: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/14.jpg)
DeepID: LFW results
Accuracy: 99.47%
![Page 15: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/15.jpg)
![Page 16: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/16.jpg)
FaceNet: clustering feature space
![Page 17: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/17.jpg)
![Page 18: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/18.jpg)
FaceNet: LFW результаты
● Результаты сравнения с другим подходами не предоставлены.● ROC кривая выполнена в масштабе, невозможном для сравнения.● В качестве результаты предоставлена одна точка из графика.
Accuracy = 99.63%Выигрыш по отношению к DeepID2: = 0.16%
![Page 19: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/19.jpg)
Crystal Loss
Ranjan, Bansal, Xu, Sankaranarayanan, Chen, Castillo, Chellappa. Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition. IEEE TPAMI, 2018
![Page 20: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/20.jpg)
Традиционный подход для систем распознавания по лицу.
![Page 21: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/21.jpg)
Crystall Loss: main idea
Добавить ограничений на вектора признаков:
![Page 22: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/22.jpg)
Quality Pooling and Attenuation
![Page 23: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/23.jpg)
Crystall Loss: LFW results
![Page 24: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/24.jpg)
Crystall Loss: IJB-C results
![Page 25: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/25.jpg)
Вопросы?
![Page 26: Face Recognition - JetBrains Research · Байки из цеха: Байки из цеха: DeepFace Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing](https://reader034.vdocuments.us/reader034/viewer/2022043017/5f6b5e18005f824a8f12473b/html5/thumbnails/26.jpg)
Список литературы:
● Yaniv Taigman, Ming Yang, Marc'Aurelio Ranzato, Lior Wolf. DeepFace: Closing the Gap to Human-Level Performance in Face Verification. CVPR 2014.
● Yi Sun, Xiaogang Wang, and Xiaoou Tang. Deep Learning Face Representation by Joint Identification-Verification. CVPR, 2014.
● Florian Schroff, Dmitry Kalenichenko, James Philbin. FaceNet: A Unified Embedding for Face Recognition and Clustering. CVPR, 2015.
● Ranjan, Bansal, Xu, Sankaranarayanan, Chen, Castillo, Chellappa. Crystal Loss and Quality Pooling for Unconstrained Face Verification and Recognition. IEEE TPAMI, 2018
● Презентация Антона Конушина: http://teacher.msu.ru/sites/default/files/resursy/Конушин%20А.С.%20Компьютерное%20зрение.pdf
● Про системы биометрической идентификации: https://habr.com/post/126144/