Обзор методов стабилизации видео
TRANSCRIPT
![Page 1: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/1.jpg)
Обзор методов стабилизации видео
Максим Колиниченко
Video Group CS MSU Graphics & Media Lab
![Page 2: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
2
![Page 3: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Постановка задачи
Движение в кадре:
Движение объектов
Намеренное движение камеры
Случайное движение камеры (дрожание)
Задача – удаление дрожания Методы:
Аппаратная стабилизация (во время съемки)
Программная стабилизация (постобработка)
3
![Page 4: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Аппаратная стабилизация
Стабилизаторы:
Оптические
С подвижной матрицей
Цифровые
Во всех случаях перемещения камеры фиксируются акселерометром
4
![Page 5: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Аппаратная стабилизация Оптический стабилизатор
5
Система подвижных линз. При малых колебаниях обеспечивает неподвижность проекции изображения на матрицу
Единственный способ стабилизации
для пленочных камер
http://pz-rec.ru/userfiles/article_img/opticheskiy_stabilizator.jpg
![Page 6: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Аппаратная стабилизация Подвижная матрица
Матрица закреплена на подвижной платформе
Стабилизация работает с любой оптикой
6 http://rix.com.ua/sm/site/fileslibrary/2009_rew_aut/fototechnika/pentax_k10d_stab.jpg
![Page 7: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Около 40% пикселей на матрице не участвуют в формировании изображения
Самый дешевый способ стабилизации
Аппаратная стабилизация Цифровая стабилизация
7 http://photogid.com.ua/upload-files/canon5d/matrix-Canon-EOS-5D-Mark-II.jpg
![Page 8: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Программная стабилизация Основные этапы
Сглаживание траектории камеры
Удаление motion blur
Формирование новых кадров
Обрезка изображений
Заполнение пустых областей
8 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 9: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Традиционный подход
Optimal Camera Path
Удаление motion blur
Video completion
Заключение
9
![Page 10: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Сглаживание траектории
Задача:
1. Определить траекторию движения камеры
2. Построить новую траекторию, сохраняющую плавные намеренные движения камеры, и устранить дрожание
10
![Page 11: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Традиционный подход
11 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 12: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результат
12
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 13: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Выводы
Достоинства:
Траектория становится более гладкой, подавляются высокочастотные колебания
Сохраняется направление намеренного движения
Недостатки:
Низкочастотные колебания (шагающий человек) сохраняются
Съемка все равно отличается от профессиональной
13 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 14: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Традиционный подход
Optimal Camera Path
Удаление motion blur
Video completion
Заключение
14
![Page 15: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Идея алгоритма
15
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
Заменить траекторию камеры на ту, которая содержит только участки с постоянной координатой, скоростью или ускорением
![Page 16: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Задача
16
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
![Page 17: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вложенность. Новый кадр должен целиком содержаться в старом. Гарантируем корректность всех пикселей нового кадра
Приближение. Новая траектория должна сохранять основное направление оригинальной
Алгоритм Ограничения
17
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
![Page 18: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Минимизация производных
18
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
![Page 19: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Параметризация
19
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
![Page 20: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Линейное программирование
20
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
Сформулируем усиленную задачу линейного программирования
Задача решается симплекс-методом
![Page 21: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Весовые коэффициенты
21
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
![Page 22: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты
22
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
Траектория соответствует кинематографическим принципам
Гибкий алгоритм. Добавляя и убирая ограничения, можем управлять его поведением
![Page 23: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Видео
23
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
Результат Оригинал
![Page 24: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Реализация
24
M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011
http://youtube.com/editor – online реализация стабилизатора
Работает в реальном времени
Один параметр – размер нового кадра
![Page 25: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Motion Deblurring
Dual-Frame Deblurring
Video completion
Заключение
25
![Page 26: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Удаление motion blur
26
Проблема: при стабилизации меняется траектория движения камеры. Motion blur, связанный со старым движением, смотрится неестественно
Идея: заменить размытые пиксели относительно более четкими из соседних кадров
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 27: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Мера размытия
27
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 28: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Весовой коэффициент
28 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 29: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результат
29
Оригинал Результат
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 30: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Motion Deblurring
Dual-Frame Deblurring
Video completion
Заключение
30
![Page 31: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Восстановление ядра
31
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009
![Page 32: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм
32
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009
![Page 33: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Ограничения на ядро
33
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009
Природа motion blur: несколько точек реального изображения формируют пиксель
Ядро размытия отражает кривую – траекторию, проходимую камерой за время выдержки
Наложим ограничения, чтобы уменьшить неоднозначность решения:
Ядро – разреженная матрица
Кривая, отражаемая в ядре, должна быть неразрывной
![Page 34: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Метод решения
34
J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009
Авторы используют систему curvelet’ов, которая дает максимально разреженное представление ядра
Результат Оригинальная пара изображений
![Page 35: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
35
![Page 36: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Задача
36
При серьезном дрожании область общего перекрытия становится маленькой
Задача – качественно заполнить неизвестные области информацией из прошлых кадров
![Page 37: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Motion inpainting
Space-time completion
Заключение
37
![Page 38: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Motion inpainting
38
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 39: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Начальное заполнение
39 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 40: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Приоритеты кадров
40 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 41: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Заполнение движением
41 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 42: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Весовые коэффициенты
42 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 43: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Алгоритм Заполнение цветом
43 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 44: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вход
Результаты (1)
44
Выход Оригинал
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 45: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Вход
Результаты (2)
45
Выход Оригинал
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 46: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Достоинство:
Универсальный. Применим для удаления объектов, логотипов, надписей
Недостаток:
Сильно зависит от ошибки определения движения
Выводы
46 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 47: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Видео (1)
47
Оригинал Результат Заполнение
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 48: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Видео (2)
48
Оригинал Результат Заполнение
Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 49: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Общая скорость – 2.2 fps @ Pentium4 @ 2.2 ГГц
Разрешение видео – 720х486, k = 6
Скорость работы
49 Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
![Page 50: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/50.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Motion inpainting
Space-time completion
Заключение
50
![Page 51: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/51.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Space-time completion
51
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 52: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/52.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Мера согласованности
52
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 53: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/53.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Мера похожести
53
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 54: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/54.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заполнение
54
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 55: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/55.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Оптимизация алгоритма
55
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 56: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/56.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты (1)
56
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
Оригинал Результат
![Page 57: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/57.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты (2)
57
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 58: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/58.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Результаты Видео
58
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
Ориги
нал
Резу
льта
т
![Page 59: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/59.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Достоинства:
Универсальность. Можно удалять целые кадры из последовательности
Качественное восстановление даже при быстром движении
Недостатки:
Низкая скорость на больших зонах заполнения
Выводы
59
Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004
![Page 60: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/60.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Содержание
Введение
Сглаживание траектории
Удаление motion blur
Video completion
Заключение
60
![Page 61: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/61.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Заключение
В ходе рассмотрения этапов программной стабилизации приводились алгоритмы:
Сглаживание траектории, удаление motion blur, motion inpainting, составляющие полноценный стабилизатор
Optimal Camera Path – элемент стабилизатора из видеоредактора YouTube
Space-time completion, потенциально – замена motion inpainting
Dual-frame Deblurring, как альтернативный вариант удаления motion blur
61
![Page 62: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/62.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus
Литература
1. Y. Matsushita, E. Ofek, X. Tang, H.-Y. Shum, "Full-frame Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005.
2. M. Grundmann, V. Kwatra, I. Essa, "Auto-Directed Video Stabilization", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2011.
3. J.-F. Cai, H. Ji, C. Liu, Z. Shen, "High-quality curvelet-based motion deblurring from an image pair", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2009.
4. Y. Wexler, E. Shechtman, M. Irani, "Space-time video completion", IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.
62
![Page 63: Обзор методов стабилизации видео](https://reader030.vdocuments.us/reader030/viewer/2022020123/55cdefb5bb61eb04538b46ff/html5/thumbnails/63.jpg)
CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/
Only for Maxus Лаборатория компьютерной
графики и мультимедиа
Видеогруппа — это:
Выпускники в аспирантурах Англии, Франции, Швейцарии (в России в МГУ и ИПМ им. Келдыша)
Выпускниками защищено 5 диссертаций
Наиболее популярные в мире сравнения видеокодеков
Более 3 миллионов скачанных фильтров обработки видео
63