Построение карт глубины и сопоставление стерео

Построение карт глубины и сопоставление стерео

Сергей Матюнин

Video GroupCS MSU Graphics & Media Lab

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

2

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Введение

Вход: стерео-изображение Ищем функцию смещения d(x,y)

(disparity) d(x,y)~1/D(x,y), где D(x,y) – глубина

Очищенное (rectificated) стерео

3

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV 2002.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

ВведениеСхема алгоритма

Вычисление функции стоимости

Суммирование стоимости

Вычисление/оптимизация карты смещения

Уточнение

4

Scharstein and Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. IJCV 2002.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

5

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantПлоский мир

Модель глубины: кусочно-постоянная функция

Правильное смещение максимизирует площадь сегмента сопоставления и наоборот

Сегментация и сопоставление – только совместное решение

6Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantПлоский мир

Распространение связности через горизонтальные границы

7Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slant Однозначность и наложения

Соответствие «один к одному» для пикселей

Если нашли соответствие (Ileft, Iright) то пары (Ileft’, Iright) и (Ileft, Iright’) отбрасываем

Пиксели, которые не попали в какую-либо пару, помечаем как наложение

8Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantАлгоритм для плоского мира

Построчная обработка Для всех возможных значений δx:

Сдвигаем IL на δx. Полученное I'L сопоставляем с IR

Если есть горизонтальная граница, разрываем связность с предыдущей строкой

Строим связанные компоненты Находим веса Обновляем карту смещений, учитывая

ограничения единственности

9Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantАлгоритм для не плоского мира

N пикселей одного изображения соответствуют M пикселям другого

Нужно сопоставлять не точки, а интервалы

10Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantАлгоритм для не плоского мира

Сначала растянуть изображение, потом искать соответствие

11Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantГоризонтальный наклон

Рассматриваем линейную зависимость между точками левого и правого изображений

и характеризуют горизонтальный наклон Максимизируем длину сегмента, содержащего точку

12Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantBirchfield and Tomasi method

13Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

аналогично– ,

, , ,

},d{dd

)}(xI,II)(x,I{d

)}(xI,II)(x,I{d

II

)}(x),I(x),I(x{II

)}(x),I(x),I(x{II

)(xI)(xI)(xI)(xI

RL

RRRLRRR

LLRRLLL

RR

LLLLLLL

LLLLLLL

RRRRLLLL

min

0max

0max

2

1

2

1max

2

1

2

1min

2

1

2

1

2

1

2

1

minmax

minmax

maxmin

max

min

RL xx и между разность

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantОднозначность

14Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantГоризонтальный наклон

Построчное сопоставление

Максимизация связности по строке

Сопоставление интервалов

Ограничения единственности и наложений

15Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantАлгоритм

Для всех возможных коэффициентов растяжения mL и смещений ΔL: Растянуть IL на mL. Получить I'L

Найти dL по ΔL из уравнения ΔL=( mL – 1 ) xL + dL

Сопоставить I'L с IR, используя dL

Найти связанные сегменты и их веса Обновить карту смещений, учитывая

ограничения единственности

Аналогично для коэффициентов mL и ΔL

16Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantВертикальный наклон

17

Изменения по горизонтали

Есть наложение

Нет горизонтального наклона

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantВертикальный наклон

18

Изменения по горизонтали

Нет наложения

Есть горизонтальный наклон

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantВертикальный наклон

19

Изменения по вертикали

Есть вертикальный наклон или разрыв

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantВертикальный наклон

20

Для надежности можно считать, что горизонтальная граница всегда признак разрыва

Если нет границы, то разрыв тоже может быть

Нужно использовать восстановление формы по текстуре, освещению и т. д.

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantРеализация

21

Скрипт для MATLAB

CPU Celeron 1.8 GHz

Cones – ~5 c

Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantОригинал

22Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantGround truth

23Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Connectivity-slantРезультат

24Ogale, Aloimonos. Shape and the stereo correspondence problem. IJCV 2005.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

25

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

26

AdaptingBPСхема метода

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

27

AdaptingBPColor segmentation

Mean shift color segmentation

Излишняя сегментация предпочтительна

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

28

AdaptingBPMean Shift

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

29

AdaptingBPSelf-adapting dissimilarity measure

N(x, y) – окно 3 × 3

Nx(x, y) – окно без правого столбца

Ny(x, y) – окно без нижней строкиA. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using

belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

AdaptingBPSelf-adapting dissimilarity measure

Итоговая метрика

определяется максимизацией количества надежных соответствий (проверка left-to-right и right-to-left)

По надежным соответствиям можно определить уровень шума

30

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

31

AdaptingBPАппроксимация плоскостями

Используем только надежные соответствия

Нужна устойчивость к выбросам

Оценка проводится последовательно

по горизонтальным линиям

по вертикальным линиям

для всего сегмента

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

32

AdaptingBPАппроксимация плоскостями

Оценка горизонтального наклона: Надежные соответствия внутри одного

сегмента на одной горизонтальной линии Гистограмма δd/δx

Сглаживание гистограммы Выбор максимума («голосование»)

Оценка вертикального наклона Аналогично

Используем наклон плоскости для устойчивой оценки смещения сегмента

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

33

AdaptingBPУточнение

Для каждого сегмента и плоскости вычисляем стоимость:

d – смещение для плоскости P Для каждого сегмента выбираем плоскость с

наименьшей стоимостью Группируем сегменты по плоскостям Повторяем оценку плоскостей для полученных

групп

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

34

AdaptingBPУстойчивая оценка плоскостей

Ищем разметку сегментов

– множество соседних сегментов– штраф (длина общей границы и

похожесть цветов) Loopy Belief Propagation

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

35

AdaptingBPРеализация

CPU Athlon64 2.21GHz

14 – 25 с

Большая часть – сегментация

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

36

AdaptingBPОригинал

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

37

AdaptingBPGround truth

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

38

AdaptingBPРезультат

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

39

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

40

Cooperative OptimizationСхема алгоритма

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

Сегментация

Mean Shift

Начальная оценка смещения

(Adaptive correlation window

matching)

Оценка плоскостей смещения

Кооперативная оптимизация

(Cooperative Optimization)

Стерео

Карта

смещений

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

41

Cooperative OptimizationНачальное приближение

Суммирование функции стоимости в окрестности с весами

Вес зависит от принадлежности к текущему сегменту

Для соседних сегментов вес ненулевой

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

42

Cooperative OptimizationRANSAC

Повторяем заданное количество раз:

Выбираем k случайных элементов из n исходных

Строим по ним модель

Считаем количество элементов, удовлетворяющих модели (inlier)

Модель с наибольшим количеством inlierбудет результатом

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

43

Cooperative OptimizationУстойчивость к выбросам

Сравнение RANSAC и алгоритма голосования

Голосование более устойчиво

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

Количество ошибок

Эксперимент

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

44

Cooperative OptimizationИдея

Разбиваем задачу на подзадачи

Оптимизируем отдельно

Поддерживаем постоянными общие параметры

Повторяем до сходимости

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

45

Cooperative Optimization

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

))()()1((min)(

)(...)()()( 21

xEwxExE

xExExExE

j

ij

ijiiix

i

n

сегмента каждого ддляОптимизаци

:сегментам по суммы виде в энергию емПредставля

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

46

Cooperative Optimization Функционал энергии

и – множества видимых пикселейq и p – сопоставленные пиксели

Если смещение не целочисленное, интерполируем

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

47

Cooperative Optimization Наложения

– штраф за наложение

– количество пикселей с наложением

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

48

Cooperative Optimization Гладкость

– множество пикселей границы

– соседний пиксель с

d(p) и d(q) – смещение p и q

– константа-штраф

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

49

Cooperative Optimization Функционал энергии

На каждой итерации находим локальный минимум

Метод Пауэлла

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

50

Cooperative Optimization Оригинал

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

51

Cooperative Optimization 1-я итерация: e=516622.0

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

52

Cooperative Optimization 4-я итерация: e=467576.0

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

53

Cooperative Optimization Ground Truth

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

54

Cooperative Optimization Реализация

VC8.0

CPU PM1.6G

Tsukuba – ~20 с

4 итерации

Сегментация – 8 с

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Содержание

Введение

Connectivity-slant

AdaptingBP

Cooperative Optimization

Сравнение

55

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

56

СравнениеОригинал

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

57

СравнениеGround truth

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

58

СравнениеConnectivity-slant

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

59

СравнениеAdaptingBP

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

60

СравнениеCoopRegion

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

61

СравнениеGround truth

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

62

Сравнение

http://vision.middlebury.edu/stereo/eval/

АлгоритмОшибка

Время работыTsukuba Venus Teddy Cones Среднее

AdaptingBP 1.11 0.10 4.22 2.48 4.23 14–25 с (осн. –

сегментация)

CoopRegion 0.87 0.11 5.16 2.79 4.4120 с (8 с –

сегментация)

DoubleBP 0.88 0.13 3.53 2.90 4.19

GC+occ 1.19 1.64 11.2 5.36 8.26

Connectivity-

slant1.77 3.00 - - - 5 с

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

Список литературы

Z. Wang, Z. Zheng. A Region Based Stereo Matching Algorithm Using Cooperative Optimization. CVPR 2008.

A. S. Ogale, Y. Aloimonos. Shape and the stereo correspondence problem. International Journal of Computer Vision, vol. 65, no. 3, 147-162, 2005.

D. Scharstein and R. Szeliski. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms. International Journal of Computer Vision, 2002.

A. Klaus, M. Sormann and K. Karner. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure. ICPR 2006.

C.Yang et al. Mean-shift analysis using quasi-newton methods. ICIP 2003.

Scharstein and Szeliski. Middlebury Stereo Evaluation. http://vision.middlebury.edu/stereo/eval/

63

CS MSU Graphics & Media Lab (Video Group)

Only for Maxus

64

Вопросы

?