Обзор методовувеличения разрешения видео
DESCRIPTION
TRANSCRIPT
![Page 1: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/1.jpg)
Обзор методовувеличения разрешения
видео
Карен Симонян
Video GroupCS MSU Graphics & Media Lab
![Page 2: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/2.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
2
![Page 3: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/3.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Постановка задачи
HDTV-дисплеи получают широкое распространение (27% новых TV, 2006)
Пропускная способность каналов передачи данных растет
Растет число HDTV-каналов (>1000 в США)
НО! доля HDTV-контента невелика
Необходимы системы увеличения разрешениявидео
3
![Page 4: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/4.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Типы алгоритмов
увеличения разрешения видео
single-frame
интерполяция кадров (bicubic, Lanczos…)
…
multi-frame aka Super-Resolution (SR)
скорость качество
single-frame + −
SR − +
4
![Page 5: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/5.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Типы алгоритмов
Static SR
5
![Page 6: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/6.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Типы алгоритмов
Dynamic SR
6
![Page 7: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/7.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
7
![Page 8: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/8.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Static SR
Модель преобразования
8
размытие атмосферой
движение
прореживание добавление шумаразмытие
оптикой камеры
Hatm F
D
сцена реального мира
Hcam
V
![Page 9: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/9.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Static SR
Модель преобразования
Аналитически модель может быть записана в виде:
В том или ином виде присутствует во многих алгоритмах SR
Матрица Hcam моделирует PSF (Point Spread Function) камеры
VX**HF**HY atmcam
9
Low-resolution (LR) кадр High-resolution (HR) кадр
![Page 10: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/10.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Идея
f – искомый HR-кадр
gk – k-ый LR-кадр
f(n) – аппроксимация кадра f после n итераций
Идея:
Если уменьшить кадр f(n) и сместить его, то должны получить кадры gk
10
Irani M., and Peleg S. 1991. Improving Resolution by Image Registration,Journal of Computer Vision, Graphics, and Image Processing, vol. 53(3), pp. 231–239.
![Page 11: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/11.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Forward projection
На шаге n:
1. преобразование f(n) к виду gk:
PSF
mk(y) − центр области Pk(y) − прообраза y; определяется с помощью оценки движения
y
Pk(y)
mk(y)
f
gk
xymhxfyg k
PSF
y,kyPx
nn
k
k
11
Irani M., and Peleg S. 1991. Improving Resolution by Image Registration,Journal of Computer Vision, Graphics, and Image Processing, vol. 53(3), pp. 231–239.
![Page 12: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/12.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Невязка
На шаге n:
1. преобразование f(n) к виду gk:
2. “невязка”: ygygyr n
kk
n
k
xymhxfyg k
PSF
y,kyPx
nn
k
k
12
Irani M., and Peleg S. 1991. Improving Resolution by Image Registration,Journal of Computer Vision, Graphics, and Image Processing, vol. 53(3), pp. 231–239.
![Page 13: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/13.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Backward projection
На шаге n:
1. преобразование f(n) к виду gk:
2. “невязка”:
3. обновление HR-кадра:
xymhyry,kwxfxf k
BP
y,kk yPxy
n
k
n1n
k
весовая функция
backward projection filter
нормировочный множитель
xymhxfyg k
PSF
y,kyPx
nn
k
k
ygygyr n
kk
n
k
13
![Page 14: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/14.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Выбор параметров
алгоритм оценки движения (global ME, optical flow, … )
выбор фильтров и (гауссиан, EWA, …)
выбор весовой функции w(k,y)
тождественная единица
учет расстояния между кадрами
учет доверия векторам движения
начальное приближение f(0)
PSF
y,khBP
y,kh
14
xymhyry,kwxfxf k
BP
y,kk yPxy
n
k
n1n
k
![Page 15: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/15.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
кадр gk кадр f
y ymk
yPk
IBPEWA
Elliptical Weighted Area filter:
прообраз точкиLR-кадрамоделируетсяэллипсом
гауссоворазмытие по эллипсу
15
Jiang Z., Wong T.T., and Bao H. 2003. Practical Super-Resolution from Dynamic Video Sequences. In Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 549-554.
![Page 16: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/16.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ BeachBicubic
16
![Page 17: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/17.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ BeachBicubic +sharpen
17
![Page 18: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/18.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ BeachIBP improved
18
![Page 19: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/19.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ CanyonBicubic
19
![Page 20: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/20.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ CanyonIBPimproved
20
![Page 21: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/21.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ CanyonGroundtruth
21
![Page 22: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/22.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ GlasgowIBP
22
![Page 23: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/23.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ GlasgowIBPimproved
23
![Page 24: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/24.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ SalesmanIBP
24
![Page 25: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/25.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Сравнение @ SalesmanIBPimproved
25
![Page 26: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/26.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP improved
Объективные данные
Параметры запуска:
Pentium III 1GHz, 512Mb RAM
3 LR кадра 1 HR (x2) кадр
Результаты:
Beach, 720×480: 84 сек.
Canyon, 360×240: +1.03 дБ vs Bicubic
Glasgow, Salesman, 176×144: 25 сек.
26
Jiang Z., Wong T.T., and Bao H. 2003. Practical Super-Resolution from Dynamic Video Sequences. In Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 549-554.
![Page 27: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/27.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus IBP
Выводы
Соотношение скорость/качество сильно зависит от параметров алгоритма
Подбор параметров сложен
27
![Page 28: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/28.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
28
![Page 29: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/29.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Идея
Изначально предложен single-frame метод
Предположение: высокие частоты зависят от средних
Можно построить БД прецедентов – блоки средних частот и соответствующие им блоки высоких частот
29
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution.In IEEE Computer Graphics and Applications, vol. 22(2), pp. 56–65.
![Page 30: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/30.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Схема
1. Интерполяция LR-кадра
2. Выделение средних частот
3. Поиск высокочастотных блоков, оптимальных в некотором смысле
30
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution.In IEEE Computer Graphics and Applications, vol. 22(2), pp. 56–65.
![Page 31: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/31.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
исходное изображение
31
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution.In IEEE Computer Graphics and Applications, vol. 22(2), pp. 56–65.
![Page 32: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/32.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
исходное изображение bicubic
32
![Page 33: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/33.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
исходное изображение bicubic средние частоты
33
![Page 34: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/34.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
соответствующие им высокие частоты
34
![Page 35: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/35.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
HR результат
35
![Page 36: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/36.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Пример
настоящий HR результат
36
![Page 37: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/37.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
БД
Прецедент: блок 7×7 средних частот и соответствующий блок 5×5 высоких частот
Блоки нормализуются делением на средний модуль блока средних частот
37
средние
частоты
высокие
частоты
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution. In IEEE Computer Graphicsand Applications, vol. 22(2), pp. 56–65.
![Page 38: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/38.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Поиск высокочастотных патчей
Случайное поле Маркова:
точка – блок 4×4
состояние точки – среднечастотный блок из БД
потенциал точки:
M
kB
M
k
M B,BSSD
38
блок BM
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution. In IEEE Computer Graphicsand Applications, vol. 22(2), pp. 56–65.
![Page 39: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/39.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Поиск высокочастотных патчей
Случайное поле Маркова:
рассматриваются только клики 2 порядкаиз 2 точек
потенциал клики:SSD между высокочастотными блоками в области их перекрытия
39
блок B1 блок B2
блок B3 блок B
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution. In IEEE Computer Graphicsand Applications, vol. 22(2), pp. 56–65.
![Page 40: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/40.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Поиск высокочастотных патчей
Два алгоритма поиска оптимальных блоков:
belief propagation (медленный)
более быстрая аппроксимация:
обработка блоков в один raster-scan проход
поиск в БД 100 блоков, минимизирующих потенциал точки
поиск среди них блока, минимизирующего сумму потенциалов клик
40
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution.In IEEE Computer Graphics and Applications, vol. 22(2), pp. 56–65.
![Page 41: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/41.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Сравнение
Bicubic41
![Page 42: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/42.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Сравнение
Example-based SR42
![Page 43: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/43.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Сравнение
Bicubic
43
![Page 44: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/44.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Сравнение
Example-based SR
44
![Page 45: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/45.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Сравнение
Ground-truth
45
![Page 46: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/46.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Example-based SR
Выводы
Добавляются не настоящие высокие частоты, а лишь нечто, их заменяющее
Зависимость от обучающей выборки
Высокая временная сложность поиска в БД
46
![Page 47: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/47.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
47
![Page 48: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/48.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Идея
Объединить example-based SR с моделью преобразования (параметры которой неизвестны) в одну вероятностную модель:
rPxPr,xyPyr,xP kk
HR-кадр
параметр PSFнабор
LR-кадров
48
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
![Page 49: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/49.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Модель преобразования
k k2
k
2kk2/y
2
k
k
δ2
xrWyexp
πδ2
1r,xyP
k
дисперсия шума
оператор преобразования (PSF, прореживание,
смещение)
49
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
![Page 50: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/50.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Example-based модель HR-кадра
j,i
2
jis 2/x,xΨexpxPxP σ
Та же эвристика, что и для потенциала клик в Example-based SR:
набор блоков
HR-кадра
SSD между блоками i, jв области их перекрытия
50
блок B1 блок B2
блок B3 блок B
![Page 51: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/51.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Параметры преобразования
Однородное распределение на некотором отрезке:
иначе,0
r;rr,rr
1
rP10
01
51
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
![Page 52: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/52.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Алгоритм
Вычисление MAP оценки
с помощью сэмплера Гиббса с “закалкой”модели
Несколько итераций IBP с уже найденными параметрами PSF
kyr,xP
52
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
![Page 53: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/53.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
PSF – Гауссово размытие с σ=2.5
один LR-кадр 600×360 1200×720
Pentium IV 2.8GHz
время обработки 30 минут
53
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
![Page 54: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/54.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
bicubic
54
![Page 55: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/55.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
Example-based SR
55
![Page 56: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/56.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
IBP @ PSF 1.0
56
![Page 57: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/57.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
IBP @ PSF 2.0
57
![Page 58: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/58.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
IBP @ PSF 2.5 (ground-truth)
58
![Page 59: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/59.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
Patch-Based Blind SR
59
![Page 60: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/60.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
Ground-Truth HR-кадр
60
![Page 61: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/61.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
bicubic
61
![Page 62: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/62.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
IBP @ PSF 1.5
62
![Page 63: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/63.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
IBP @ PSF 2.5 (ground-truth)
63
![Page 64: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/64.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
Patch-Based Blind SR
64
![Page 65: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/65.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Сравнение
Ground-Truth HR-кадр
65
![Page 66: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/66.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Patch-Based Blind SR
Выводы
В меньшей степени зависит от обучающей выборки
Очень высокая временная сложность поиска в БД и решения задачи MAP
Требуется лишь общий вид PSF, параметры определяются автоматически
66
![Page 67: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/67.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
67
![Page 68: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/68.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Static SR
Модель преобразования
VX**HF**HY atmcam
68
размытие атмосферой
движение
прореживание добавление шумаразмытие
оптикой камеры
Hatm F
D
сцена реального мира
Hcam
V
![Page 69: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/69.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Идея
Воспользовавшись моделью, найти решение задачи
Влиянием атмосферы можно пренебречь; тогда:
1k
kkX
XY~,YminargX ρ
XFHDXY~
kkkk
69
искомый HR-кадр
расстояние между LR-кадром Yk и его аппроксимацией
аппроксимация кадра Yk
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 70: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/70.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Метрика
Семейство норм Lp:
p=2 – МНК, не устойчивое усреднение
p=1 – median estimator, устойчив
2;1p,Y~
YY~,Y
p
pkkkk ρ
70
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 71: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/71.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Регуляризация
На практике задача либо недоопределена, либо определена, но не устойчива
Регуляризационное слагаемое Ψ(X):
накладывает ограничения на искомый HR-кадр;λ – регуляризационный параметр
XΨXFHD,YminargX1k
kkkkX
λρ
71
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 72: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/72.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Регуляризация
Виды регуляризации:
по Тихонову:
Г – highpass фильтр:
градиент
Лапласиан
единичная матрица
Total variation (TV):
2
2T XΓXΨ
1TV XXΨ
72
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 73: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/73.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Регуляризация
Виды регуляризации:
Bilateral total variation (BTV):
Pl
Pl
P
)l,0max(m1
m
y
l
x
lm
BTV XSSXXΨ α
73
оператор смещения по оси x на l пикселей
оператор смещения по оси y на m пикселейвес, зависящий
от смещенияP-P
P
x
y
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 74: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/74.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Регуляризация: сравнение@денойзинг
74
Ground-truth Noisy
по Тихонову TV BTV
![Page 75: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/75.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Алгоритм Robust SR
Предложено два алгоритма.
Robust SR
Метод градиентного спуска для задачи:
Pl
Pl
P
)l,0max(m1
m
y
l
x
lm
1k1kkkk
XXSSXXFHDYminargX αλ
75
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 76: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/76.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Алгоритм Fast Robust SR
Fast Robust SR
Допущения:
PSF камеры постоянна
Модель движения – панорамирование
Тогда:
ZDFHXZHXDFXFHDXY~
kkkkkk
76
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 77: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/77.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Алгоритм Fast Robust SR
Задача разбивается на две подзадачи:
поиск размытого изображения:
деблюринг:
1k1kk
ZZDFYminargZ
Pl
Pl
P
)l,0max(m1
m
y
l
x
lm
1XXSSX'ZHXminargX αλ
77
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004.Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
![Page 78: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/78.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Сравнение
78
Nearest neighbor
![Page 79: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/79.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Сравнение
79
Bicubic
![Page 80: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/80.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Сравнение
80
Zomet method
![Page 81: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/81.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Сравнение
81
MDSP Robust SR
![Page 82: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/82.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Сравнение
82
MDSP Fast Robust SR
![Page 83: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/83.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Robust SR
Выводы
Требуется априорное знание PSF камеры
Простая модель движения (для быстрого метода)
83
![Page 84: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/84.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Static SR
Выводы
Точная физическая модель съемки
Не устойчивы во времени
Рассчитаны на offline-обработку (высокая временная сложность)
84
![Page 85: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/85.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
85
![Page 86: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/86.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Dynamic SR
Идея
Описать связь между LR и HR кадрами во времени с помощью фильтра Калмана:
Переход к задаче для размытого HR-кадра:
86
tC,0N)t(W;tC,0N)t(U
tWtXtHtDtY
tU1tXtFtX
Wu
tC,0NtV
tWtZtDtY
tV1tZtFtZ
v
S. Farsiu, M. Elad, and P. Milanfar Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequences. 2006.EURASIP Journal on Applied Signal Processing, No. Article ID 61859, pp. 1-15.
![Page 87: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/87.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Dynamic SR
Алгоритм
Для кадра t:
Очень высокая временная сложность
87
tM
~]DtKI[tM
1tZtDFtYtK1tZtFtZ
DtM~DtCDtM
~tK
tCtF1tMtFtM~
1T
w
T
v
T
скомпенсированный кадр
невязка
S. Farsiu, M. Elad, and P. Milanfar Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequences. 2006.EURASIP Journal on Applied Signal Processing, No. Article ID 61859, pp. 1-15.
![Page 88: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/88.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Dynamic SR
Алгоритм
Допущения:
– диагональные матрицы
панорамное движение
Тогда вычисления существенно упрощаются
Алгоритм не гарантирует восстановление всехHR-пикселей
Постобработка: интерполяция и деблюринг (как в Fast Robust SR)
88
tC,tC wv
S. Farsiu, M. Elad, and P. Milanfar Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequences. 2006.EURASIP Journal on Applied Signal Processing, No. Article ID 61859, pp. 1-15.
![Page 89: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/89.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Dynamic SR
Сравнение
89
LR видео
Сравнение с bicubic
S. Farsiu, M. Elad, and P. Milanfar Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequences. 2006.EURASIP Journal on Applied Signal Processing, No. Article ID 61859, pp. 1-15.
![Page 90: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/90.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus MDSP Dynamic SR
Выводы
Простая модель движения
Необходимость в постобработке
90
![Page 91: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/91.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
91
![Page 92: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/92.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Example-based SR
Идея
Использовать подход Example-based SR для видео
Эвристика для подавления мерцания:использовать те же прецеденты, что были использованы в некоторой окрестности в предыдущем кадре
92
Bishop C., Blake A., and Marthi B. 2003. Super-Resolution Enhancement of Video. In C. M. Bishop and B. Frey (Eds.), Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics.
![Page 93: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/93.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Example-based SR
Результаты
93
Низкие и средние частоты Ground-truth
![Page 94: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/94.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Example-based SR
Результаты
94
Низкие и средние частоты Ground-truth + аппроксимация высоких частот
![Page 95: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/95.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Example-based SR
Результаты
95
Ground-truth
![Page 96: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/96.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Example-based SR
Выводы
Добавляются не настоящие высокие частоты, а лишь нечто, их заменяющее
Зависимость от обучающей выборки
Высокая временная сложность поиска в БД
При появлении новых объектов эвристика не будет работать
96
![Page 97: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/97.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Outline
Постановка задачи Static SR
IBP Example-based SR Patch-based Blind SR MDSP Robust SR
Dynamic SR MDSP Dynamic SR Video Example-based SR Video Epitomes
97
![Page 98: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/98.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Идея
Видео можно разбить на 3-D кластеры, каждый из которых распределен по Гауссу
Эпитом – совокупность таких кластеров
С помощью эпитома можно решать различные задачи восстановления
98
Cheung V., Frey B. J., and Jojic N. 2005. Video Epitomes. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 42-49.
![Page 99: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/99.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Схема
1. Получение эпитома
Обучающая выборка выбирается случайно
Кластеризация: модификация алгоритма EM
99Процесс получения эпитома из видео
![Page 100: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/100.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Схема
2. Использование эпитома для итеративной генерации значений пикселей в проблемных областях
Шумоподавление
Super-resolution
Увеличение частоты кадров
Удаление объектов
Заполнение областей
100
Cheung V., Frey B. J., and Jojic N. 2005. Video Epitomes. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 42-49.
![Page 101: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/101.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Примеры работы
101
Шум: RGB-значения пикселей менялись на случайные с вероятностью 50%
Положение зашумленных пикселей известно
Cheung V., Frey B. J., and Jojic N. 2005. Video Epitomes. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 42-49.
![Page 102: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/102.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Примеры работы
102
Увеличение частоты кадров
Заполнение областей
![Page 103: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/103.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Примеры работы
103
Super-resolution
![Page 104: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/104.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Примеры работы
104
![Page 105: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/105.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus Video Epitomes
Выводы
Большая временная сложность: денойзинг 5 кадров 45×60 – 8 минут @Athlon64 3600+, Matlab-реализация
Для обучения необходимо подходящее видео
105
Cheung V., Frey B. J., and Jojic N. 2005. Video Epitomes. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 42-49.
![Page 106: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/106.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
Заключение
Рассмотрен ряд методов как статического, так и динамического SR
Для большинства методов характерна большая временная сложность
Многие методы требуют априорнуюинформацию о камере и применимы лишь для некоторых сценариев съемки
106
![Page 107: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/107.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
107
Список литературы
Irani M., and Peleg S. 1991. Improving Resolution by Image Registration,Journal of Computer Vision, Graphics, and Image Processing, vol. 53(3), pp. 231–239.
Jiang Z., Wong T.T., and Bao H. 2003. Practical Super-Resolution from Dynamic Video Sequences. In Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 549-554.
Freeman W. T., Jones T. R., and Pasztor E. C.. 2002. Example-Based Super-Resolution. In IEEE Computer Graphics and Applications, vol. 22(2), pp. 56–65.
Wang Q., Tang X., and Shum H. 2005. Patch Based Blind Image Super-Resolution. In Proceedings of IEEE Conference on Computer Vision, vol. 1, pp. 709-716.
S. Farsiu, M. D. Robinson, M. Elad, and P. Milanfar. 2004. Fast and robust multi-frame super-resolution, IEEE Transactions on Image Processing, vol. 13, no. 10, pp. 1327–1344.
S. Farsiu, M. Elad, and P. Milanfar Video-to-Video Dynamic Super-Resolution for Grayscale and Color Sequences. 2006. EURASIP Journal on Applied Signal Processing, No. Article ID 61859, pp. 1-15.
Bishop C., Blake A., and Marthi B. 2003. Super-Resolution Enhancement of Video. In C. M. Bishop and B. Frey (Eds.), Proceedings of the Ninth International Workshop on Artificial Intelligence and Statistics.
Cheung V., Frey B. J., and Jojic N. 2005. Video Epitomes. In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 42-49.
107
![Page 108: Обзор методовувеличения разрешения видео](https://reader031.vdocuments.us/reader031/viewer/2022020110/5499351fb47959047a8b45c5/html5/thumbnails/108.jpg)
CS MSU Graphics & Media Lab (Video Group)
Only for Maxus
?
108