progressive cut: description and conceptual implementation

Progressive Cut

Андрей Кошманский

Метод позволяет выделить желаемый объект на фоне

•  Пользователь отмечает штрихами объект и фон

•  После добавления штрихов алгоритм выделяет фон и объект

•  Пользователь уточняет объект и фон новыми штрихами

Метод позволяет выделить желаемый объект на фоне

Прародителем метода Progressive Cut является Graph Cut

•  Медленнее работает

•  Не рассматривает пользовательское намерение

•  Хуже сегментирует объект

В сегментации важно учитывать расположение штрихов

Первые штрихи Ошибки алгоритма Исправления пользователей

Progressive Cut превзошёл в эффективности Graph Cut

•  Не рассматривает «неинтересные» пользователю области

•  Учитывает расположение штрихов

•  Быстрее и точнее работает

Одна итерация Progressive Cut работает следующим образом

Строим уменьшенный граф Маркируем узлы (фон/объект) Считаем энергию

Минимизируем энергию

Уменьшенный граф исключает из рассмотрения «неинтересные» узлы

Результат сегментации на n-ном шаге Добавляем объектный штрихИсключаем

уже определенную часть объекта

Энергия – это «штрафы» за неправильное выделение объекта

Еполная = αЕцвета + βЕконтрастности + (1-α-β)Енамерения

Цветовой терм «штрафует» за несоответствие цвету штриха

Цветовой терм считается по формулам

- суммируются энергии всех узлов уменьшенного графа

- для каждого узла определяется соответствие цвету штриха

-  если точка пересечения штриха и изображения имеет один и тот же тип, «штраф» минимален

Нас интересуют только точки уменьшенного графа

Коэффициент доверия терму цвета

Все узлы уменьшенного графа

Текущая точка для вычисления

Соответствие цвета узла цвету штриха объектного (фонового) типа

Цвет текущего узла

Ковариационная матрица

Среднее значение

Вес компонентыКоличество компонентгауссовской смеси

Некоторая функция

Соответствие цвета узла цвету штриха объектного (фонового) типа

Цвет текущего узла

Ковариационная матрица

Среднее значение

Вес компонентыКоличество компонентгауссовской смеси

Некоторая функция?

??

?

Соответствие цвета определяется гауссовской функцией

Цвет текущего узлаДисперсия цвета штриха (стандартное отклонение?)

Среднее значение цвета штриха

Большие значения соответствуют большему совпадению

•  Если средняя интенсивность = 150

•  Дисперсия = 20

«Штрафуем» точки, не соответствующие по цвету штриху своего типа

Чем могут являться компоненты гауссовской смеси?

Цвет текущего узла

Ковариационная матрица

Среднее значение

Вес компонентыКоличество компонентгауссовской смеси

Некоторая функция

? ?

Терм контрастности «штрафует» за резкие цветовые переходы в смежных узлах

X V

Больше разница цветов – больше «штраф»

- интересуют все смежные точки уменьшенного графа

- рассматриваются только смежные точки разных маркировок

Терм пользовательского намерения «штрафует» за отдаленность от штриха

X

Слишком удалённые от штриха пиксели вряд ли имеют к нему отношение

- разница между маркировками текущей и предыдущей итераций

- расстояние между текущей точкой и точкой штриха

- все точки штриха

- все узлы ум. графа, имевшие противоположную штриху маркировку на пред. ит.

- параметр: чем больше, тем меньше «штраф» за расстояние

Итак, мы умеем:

•  Строить уменьшенный граф изображения

•  Считать для него энергию

•  … но как её минимизировать?

Для минимизации энергии можно использовать

•  Алгоритм Форда-Фалкерсона

•  Алгоритм Эдмондса-Карпа

•  Иные алгоритмы нахождения максимального потока

Примерная реализация заключается в следующем

1.  Делим изображение на 2 части

2.  Заполняем разными маркировками и сравниваем

3.  При отсутствии улучшений завершаем вычислительную ветку

4.  Если есть улучшение – оставляем лучший вариант маркировки, переходим к [1] рекурсивно

5.  Останавливаем ветку, если больше делить нельзя

Средняя скорость работы Progressive Cut – 0.14 с*

*при примерном размере картинки в 500х500 точек

Для подготовки использовались публикации

1.  Progressive Cut (Chao Wang): https://www.researchgate.net/publication/221571580_Progressive_cut

2.  Fast Approximate Energy Minimization via Graph Cuts (Yuri Boykov, Olga Veksler, Ramin Zabih):http://www.cs.cornell.edu/rdz/papers/bvz-iccv99.pdf