Download - 2012 10-19 image-videoanalysis_lecture05
![Page 1: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/1.jpg)
Анализ изображений и видео
Наталья Васильева [email protected] HP Labs Russia
19 октября 2012, Computer Science Center
Лекция 5: Построение признаков и сравнение изображений: локальные признаки
![Page 2: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/2.jpg)
2 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Признаки изображений
Признаки
Глобальные Локальные
Описывают картинку целиком: − средняя яркость; − среднее значение по
красному каналу; − …
Описывают часть картинки: − средняя яркость верхней левой
четверти; − среднее значение по красному
каналу в окрестности центра изображения;
− …
Обычно, вычисляются по всем пикселям изображения
Сегментация, поиск точек интереса, построение признаков по окрестностям точек интереса
![Page 3: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/3.jpg)
3 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Когда глобальные признаки не работают?
![Page 4: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/4.jpg)
4 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение: локальные признаки
• Хотя глобальные признаки отличаются, можно найти сопоставимые фрагменты изображений
• Как выбирать фрагменты? • Как описывать фрагменты?
![Page 5: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/5.jpg)
5 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Как сопоставлять фрагменты?
1. Сканирование (scanning) Полный перебор (точно не пропустим пару сопоставимых фрагментов)
Полный перебор (медленно) Слишком много пар
![Page 6: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/6.jpg)
6 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Как сопоставлять фрагменты?
1. Выборочное сравнение фрагментов (sparse matching) Быстрее: меньше сравнений
Изолированные фрагменты (нет пересекающихся пар) Нет гарантии, что всегда будут найдены все пары Как искать «ключевые» точки???
Ключевые точки Точки интереса Точки внимания Особые точки Точечные особенности “salient” “keypoints” “representative”
![Page 7: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/7.jpg)
7 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Какими должны быть «особые» фрагменты?
1. Их должно быть немного • существенно меньше, чем пикселей на изображении
2. Информативные, репрезентативные, уникальные • Если окрестности двух точек не отличимы, будет сложно понять, какую из
них сопоставить искомому фрагменту 3. Повторяемые
• Одна и та же точка должна находится на изображении вне зависимости от геометрических и фотометрических изменений объекта съемки
4. Локальные • Небольшого размера, устойчивы к частичному перекрыванию другим
объектом
![Page 8: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/8.jpg)
8 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Сравнение изображений при помощи локальных признаков: основные шаги
1. Локализация особых точек
2. Выделение особых фрагментов – окрестности ключевых точек, инвариантные к изменению масштаба
3. Построение векторов признаков для найденных фрагментов
4. Сопоставление наборов локальных признаков для двух изображений
Fig. credit: K. Grauman, B. Leibe
![Page 9: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/9.jpg)
9 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Повторяемость особых точек
• Необходимо, чтобы хотя бы часть особых точек первого изображения была обнаружена на втором
• При этом обнаружение особых точек должно происходить независимо для каждого изображения
Нет совпадающих особых точек – нет возможности сопоставить изображения!
Slide credit: K. Grauman
![Page 10: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/10.jpg)
10 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Информативность, репрезентативность
• Желательна однозначность в сопоставлении фрагментов
• Желательна инвариантность к геометрическим и фотометрическим трансформациям объекта на разных изображениях
?
![Page 11: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/11.jpg)
11 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Геометрические и фотометрические трансформации изображения
Геометрические:
• Поворот
• Поворот + изменение масштаба
• Афинные преобразования
Фотометрические • Афинные преобразования интенстивности (I → a I + b)
![Page 12: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/12.jpg)
12 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Угловые точки в качестве особых
• Просто обнаружить, используя маленькое окно • Смещение окна в окрестности угловой точки в любом направлении приводит к
изменению набора интенсивностей окна (алгоритм Моравика) • В окрестности угловой точки – два направления градиентов (алгоритм Харриса)
![Page 13: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/13.jpg)
13 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
dxdf
dydf
![Page 14: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/14.jpg)
14 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Детектор Харриса – освновная идея
• Для каждого окна смотрим на собственные числа ковариационной матрицы градиентов пикселей
• Собственные вектора этой матрицы показывают «основные направления» данных
• Величина собственных чисел указывает на «степень выраженности» соответствующего направления
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
-0.08 -0.06 -0.04 -0.02 0 0.02 0.04 0.06 0.08-0.08
-0.06
-0.04
-0.02
0
0.02
0.04
0.06
0.08
Нет «больших» собственных чисел 1 «большое» собственное число 2 «больших» собственных числа
![Page 15: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/15.jpg)
16 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Computer Vision : CISC 4/689
Изменение интенсивности при сдвиге на [u,v]:
Детектор Харриса: математика
[ ]2
,( , ) ( , ) ( , ) ( , )
x yE u v w x y I x u y v I x y= + + −∑
Intensity Shifted intensity
Window function
or Window function w(x,y) =
Gaussian 1 in window, 0 outside
![Page 16: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/16.jpg)
17 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
[ ]( , ) ,u
E u v u v Mv
≅
Для небольших сдвигов [u,v] можем аппроксимировать:
2
2,
( , ) x x y
x y x y y
I I IM w x y
I I I
=
∑
где M - матрица 2×2, состоящая из частных производных от интенсивности:
Детектор Харриса: математика
Это приводит к приближению:
∑ +≈yx
yx vyxIuyxIyxwvuE,
2)),(),()(,(),(
vyxIuyxIyxIyvxuI yx ),(),(),(),( ++≈++
![Page 17: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/17.jpg)
18 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
[ ]( , ) ,u
E u v u v Mv
≅
Угол характеризуется большим изменением E во всех направлениях вектора [u,v]: анализ собственных значений матрицы М
λ1, λ2 – собственные значения M
Slide credit: Computer Vision : CISC 4/689
Детектор Харриса: математика
Measure of corner response:
( )2det traceR M k M= −
1 2
1 2
dettrace
MM
λ λλ λ
== +
(k – эмпирическая константа, k = 0.04-0.06)
![Page 18: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/18.jpg)
19 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
λ1
λ2 “Corner”
“Edge”
“Edge”
“Flat”
• R зависит только от значений собственных чисел ,
• R принимает большие значения в угловых точках
• R принимает отрицательные значения, большие по модулу на контуре
• |R| мало в плоском регионе
R > 0
R < 0
R < 0 |R| small
Slide credit: Computer Vision : CISC 4/689
Детектор Харриса: математика
λ2
λ1
![Page 19: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/19.jpg)
20 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Алгоритм Харриса
Алгоритм: • Найти точки с большим значением R (R > threshold) • Выбрать среди них точки локального максимума R
Slide credit: Computer Vision : CISC 4/689
![Page 20: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/20.jpg)
21 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Computer Vision : CISC 4/689
Пример
![Page 21: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/21.jpg)
22 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Вычисляем значение R
Slide credit: Computer Vision : CISC 4/689
Пример
![Page 22: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/22.jpg)
23 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Выделяем точки с R>threshold
Slide credit: Computer Vision : CISC 4/689
Пример
![Page 23: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/23.jpg)
24 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Оставим точки локального максимума R
Slide credit: Computer Vision : CISC 4/689
Пример
![Page 24: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/24.jpg)
25 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Slide credit: Computer Vision : CISC 4/689
Пример
![Page 25: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/25.jpg)
26 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Harris Detector: Summary
Average intensity change in direction [u,v] can be expressed as a bilinear form: Describe a point in terms of eigenvalues of M: measure of corner response A good (corner) point should have a large intensity change in all directions, i.e. R should be large positive
[ ]( , ) ,u
E u v u v Mv
≅
( )21 2 1 2R kλ λ λ λ= − +
Slide credit: Computer Vision : CISC 4/689
![Page 26: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/26.jpg)
27 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Свойства детектора Харриса
• Инвариантность к повороту
• Инвариантность к сдвигу интенсивности I → I + b
• Не инвариантен к изменению масштаба!
Все точки – точки контура
Угол
![Page 27: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/27.jpg)
28 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Рассмотрим фрагменты (например, круги) разного размера на разных изображениях Для двух изображений найдутся соответствующие масштабы, при которых фрагменты будут выглядеть похоже
Fine/Low Coarse/High
Slide credit: Computer Vision : CISC 4/689
Инвариантность к изменению масштаба
![Page 28: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/28.jpg)
29 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Задача: как выбрать размер фрагмента независимо для каждого изображения???
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
![Page 29: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/29.jpg)
30 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение: • Выберем функцию, заданную на фрагменте изображения, инвариантную к
изменению масштаба – значение функции одинаково для сопоставимых фрагментов, даже если они разного масштаба (например, средняя интенсивность)
• В каждой точке изображения посмотрим на эту функцию, как на функцию от изменения размера фрагмента
scale = 1/2
f
region size
Image 1 f
region size
Image 2
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
![Page 30: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/30.jpg)
31 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Решение:
scale = 1/2
f
region size/scale
Image 1 f
region size/scale
Image 2
Найти лоакльный максимум такой функции
Наблюдение: точка локального максимума инвариантна к изменению маштаба
s1 s2
Важно: размер фрагмента, на котором достигается локальный максимум, находится для каждого изображения независимо!
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
![Page 31: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/31.jpg)
32 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Characteristic Scale
• Точка локального максимума - characteristic scale • S1/S2 равно соотношению масштабов между изображениями
![Page 32: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/32.jpg)
33 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
“Хорошая” функция для определения соотношения масштабов:
f
region size
bad
f
region size
bad
f
region size
Good !
Инвариантность к изменению масштаба
Slide credit: Computer Vision : CISC 4/689
![Page 33: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/33.jpg)
34 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale Invariant Detection
Functions for determining scale
2 2
21 22
( , , )x y
G x y e σπσ
σ+
−=
( )2 ( , , ) ( , , )xx yyL G x y G x yσ σ σ= +
( , , ) ( , , )DoG G x y k G x yσ σ= −
Kernel Imagef = ∗Kernels:
where Gaussian
Note: both kernels are invariant to scale and rotation
(Laplacian)
(Difference of Gaussians)
Slide credit: Computer Vision : CISC 4/689
![Page 34: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/34.jpg)
35 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Laplacian-of-Gaussian (LoG)
![Page 35: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/35.jpg)
36 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian (DoG)
![Page 36: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/36.jpg)
37 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Build Scale-Space Pyramid
All scales must be examined to identify scale-invariant features An efficient function is to compute the Difference of Gaussian (DOG) pyramid (Burt & Adelson, 1983) (or Laplacian)
Blur
Resample
Subtract
Blur
Resample
Subtract
Blur
Resample
Subtract
Slide credit: Computer Vision : CISC 4/689
![Page 37: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/37.jpg)
38 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Harris-Laplacian1 Find local maximum of: • Harris corner detector in space (image
coordinates) • Laplacian in scale
scale
x
y
← Harris →
← L
apla
cian
→
• SIFT (Lowe)2 Find local maximum of: – Difference of Gaussians in space
and scale
scale
x
y
← DoG →
← D
oG →
Key point localization
Slide credit: Computer Vision : CISC 4/689
![Page 38: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/38.jpg)
39 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale Invariant Detection: Summary
Given: two images of the same scene with a large scale difference between them
Goal: find the same interest points independently in each image
Solution: search for maxima of suitable functions in scale and in space (over the image)
Methods:
1. Harris-Laplacian [Mikolajczyk, Schmid]: maximize Laplacian over scale, Harris’ measure of corner response over the image
2. SIFT [Lowe]: maximize Difference of Gaussians over scale and space
![Page 39: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/39.jpg)
40 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
We know how to detect points Next question: How to match them?
?
Point descriptor should be: 1. Invariant 2. Distinctive
Локальные признаки
![Page 40: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/40.jpg)
41 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT: main steps
1. Scale-space peak selection • Using Difference-of-Gaussians (DoG)
2. Keypoint localization • Elimination of unstable keypoints
3. Orientation assignment • Based on keypoint local image patch
4. Keypoint descriptor • Based upon the image gradients in keypoint local neighbourhood
![Page 41: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/41.jpg)
42 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale space
Build an image pyramid with resampling between each level
![Page 42: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/42.jpg)
43 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian
2=σ
21 σσ −
The input image is convolved with Gaussian function:
21 =σ 42 =σ
![Page 43: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/43.jpg)
44 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Difference-of-Gaussian
![Page 44: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/44.jpg)
45 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT keypoints
Maxima and minima of DoG applied in scale-space:
1) Extrema detection for the same scale 2) Check if it is stable for different scales
![Page 45: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/45.jpg)
46 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Scale-space extrema detection
![Page 46: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/46.jpg)
47 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 47/50
Keypoints orientation and scale
• Extract image gradients and orientations at each pixel
• Each key location is assigned a canonical orientation
• The orientation is determined by the peak in a histogram of local image gradient orientations
![Page 47: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/47.jpg)
48 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
SIFT descriptor
![Page 48: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/48.jpg)
49 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 49/50
Example
![Page 49: 2012 10-19 image-videoanalysis_lecture05](https://reader034.vdocuments.us/reader034/viewer/2022051817/54900732b4795963488b4ce6/html5/thumbnails/49.jpg)
50 © Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice.
Заключение
Глобальные признаки не всегда работают Вычисление локальных признаков
Определение особых точек Выделение особых фрагментов – инвариантность к масштабу! Построение векторов признаков Сопоставление локальных деcкрипторов пары изображений