fast template matching in non-linear tone-mapped images _iccv_2011_oral eyal david current: software...
TRANSCRIPT
Fast Template Matching in Non-Linear Tone-Mapped Images_ICCV_2011_oral
Eyal DavidCurrent: Software development at Intel Corporation. at Intel Corporation Past: teaching assistant at University of Haifa Military service in the Mamram unit Education: University of Haifa University of Haifa
Yacov Hel-OrCurrent: Professor at The Interdisciplinary Center, Herzliya Past: Research Engineer at Hewlett- Packard Labs Post-Doc at NASA Ames Research Center Post-Doc at Weizmann Institute of Science
Education: The Hebrew University
Hagit Hel-OrDepartment of Computer ScienceUniversity of Haifa ISRAEL
背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足
背景 模板或者模式匹配
是图像操作中最基本和基础的问题。
但是由于光照不同、相机参数不同、拍摄角度不同甚至因为拍摄器材而导致的模态不同都给匹配带来困难。
摘要 提出一种称作 Matching by Tone Mapping (MT
M) 的模式匹配方法，用于非线性色调映射的图像之间的匹配。
我们发现，当色调映射由固定的分段函数逼近的时候，在计算时间上与 Normalized Cross Correlation (NCC) 是差不多的。
实际上，对于非线性的映射来说 MTM 可以看作是 NCC 的一个泛化。当映射被约束为线性的时候， MTM 就是 NCC 。
MTM 对非线性色调映射具有不变性。实验表明，它具有高度区分能力和对噪声鲁棒的特性。
背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足
0 150
1. Normalized Cross Correlation (NCC)
θ
一般解释：
缺点：不适合非线性的色调变化
2. Mutual Information (MI) 互信息量
参考文献 “ Visual Correspondence Using Energy Minimization and Mutual Information”
color 1 2 3 4 5 6 7
1 1
2 1
3 0.1 0.9
4 1
5 1
6 1
7 1
( , )H w p
p
w
w
p
互信息量很小
即：一种颜色值始终对着另外一种颜色值
缺点：计算时间随着 size 增大而增大
背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足
Matching by Tone Mapping
Binary mask
1
1
1
1
1
1
1
123456…
2 0 0
0 1 0
0 0 2
=
背景和摘要 一般方法复习 本文思路、创新点 实验结果和不足
Object Stereo — Joint Stereo Matching and Object Segmentation_CVPR_2011_Poster
Pushmeet KohliDaniel ScharsteinSudipta Sinha
Michael Bleyer
PostDoc Researcher at the Vienna University of Technology
Carsten RotherResearcher in the Computer Vision Group at Microsoft Research Cambridge/UKEditor: PAMI Area Chair: ECCV 2012, ICCV 2011, DAGM 2010, BMVC 2009/10Reviewer: Siggraph, CVPR, ECCV, ICCV, PAMI, IJCV, Eurographics, BMVC, DAGM, etc.
背景和摘要 本文提出的方法 实验结果
Stereo matching
Image segmentation
背景 结合图像分割（ image segmentation ）和立
体匹配（ stereo matching ）的立体方法的目前已经有很多高质量的研究成果。 http://vision.middlebury.edu/stereo/
但是这些立体方法基本采用 low-level 的分割方法去过分割一个图像（极端：单个像素）。
本文将这个结合的方法推向一个新的层面： Object-level ！！！
摘要 文章提出一种立体匹配（ stereo matching ）和物体分割（ object se
gmentation ）的结合方法。在本文中，一个 3D 场景由一些视觉上清晰可分的，空间上连贯的物体集合组成。每个物体有 3 个方面的特征：颜色模型，拟合该物体视差分布的 3D 平面， 3D 连接特性（本文提出）。
最近，图像分割很多用 Markov Random Field （ MRF ）方法，受此启发，我们采用基于物体层面的颜色模型作为一种软约束，对深度估计起到一个非常有的帮助。比如，在其中一个视角中一些完全被遮挡的区域的深度也能够被恢复出来（据作者了解，这在立体视觉中是一个新的想法）。
最后的模型用一个能量方程表示，通过 fusion move 优化得到解。 本文提出的方法能够得到高质量的立体匹配和物体分割的结果。该方
法不仅仅在立体匹配和物体分割邻域效果显著，在一些自动或者交互的基于物体的场景操作（ object-level scene manipulation ）中也可以发挥作用。
背景和摘要 本文提出的方法 实验结果
假设用公式表示合成能量方程优化每个像素的 label 以降低能量值
假设
每个物体在 3D 空间都是紧凑的。（ 1 ）邻域像素一般属于同个物体。（ 2 ）同个物体的深度变化一般是平滑的。（ 3 ）物体通常趋向于平面（非严格的平面）。
物体的 3D 连通性。本文的独创。 物体可见部分都有相似表观，这里只
采用颜色。 物体的 MDL原则。
绿点的视差
视差简单介绍
平面的表示对 点，有两种视差。p
Low-level 约束 平面
（ 2 ）根据所属物体的平面（ object plan ）计算得到的视差。
（ 1 ）初始化得到的视差。
Parallax model: 一个物体中每个点的两种视差的差值的一个模型表示。在该 model 上加约束。
不同视差用不同的颜色表示
( , ) ( , ) ( ) ( , ) ( ) ( , ) ( ) ( , )pc oc dc col par mdl conE F O E F O E O E F O E O E F O E O E F O
Energy function:
1. Photo consistency term : ( , )pcE F O
（ 深度平面集合， 物体类集合）F O
2. Object-coherency term :( )ocE O
3. Depth plan-coherency term :( , )dcE F O
鼓励邻域在同一个 object内，否则加惩罚。
4. Object-color term :( )colE O
5. Object-parallax term :( , )parE F O
6. Object-MDL term : ( )mdlE O
Object 数目越少越好
每个 object 对应一个 color model 。用混合高斯 GMM 表示。目的：鼓励同一个 object内的点的颜色尽量符合同一个分布。
即：上文两个平面表示的差。鼓励该差值小。迫使视差图变得平滑。
7. 3D connectivity prior :( , )conE F O
同一个 object label （物体标签）的两处，是不是属于同一个区域呢？
物体标签，颜色模型，物体平面模型
( , ) ( , ) ( ) ( , ) ( ) ( , ) ( ) ( , )pc oc dc col par mdl conE F O E F O E O E F O E O E F O E O E F O ！！！
Fusion Move
初始 proposal = 不同初始视差 * 不同 mean-shift 分割 * 不同的参数设置
一共 30 种初始 proposal 。
假设用公式表示合成能量方程优化每个像素的 label 以降低能量值
MRF Graph cut α-expansion or belief propagation or……
α-expansion一个初始解决方案 1 2( , ,..., )nX x x x
一个新的解决方案 *X
选择旧的还是新的，依据能量最小：
新方案的构造： (1 )m m m mx y x y
参考“ LogCut - Efficient graph cut optimization for Markov random fields”
是一个 label 定值
Fusion move ： Generalized α-expansion α 是一个 proposal
(1 )m m m m mx y x y x
背景和摘要 本文提出的方法 实验结果
谢谢