09 基于互相关的图像模板匹配

对应课件：2021-pho1-09-matching-cc.pptx.pdf。

1. 问题与模型#

对应点使双目匹配和三维重建成为可能（第 2—7 页；对应点和重建示意详见第 2—4 页）。模板匹配的任务是在大图中定位小模板，估计偏移（第 10—12 页）。

课件假定几何变化只有平移：

并允许辐射变化为亮度偏移和对比度缩放：

因此几何未知量为，辐射未知量为（第 13—14 页）。

SSD、SAD 与最大差分别为

它们不对亮度和对比度变化保持不变（第 15 页）。归一化互相关（NCC）使用协方差除以两侧标准差：

模板均值/方差的课件展开为

重叠区域的方差只需将换为；协方差为这两个各自减均值项的乘积和，再除以（第 16—20 页）。这一步消除了加性偏移和乘性缩放对相关系数的直接影响。

穷举搜索对每个偏移计算，取最大值；二维平移的搜索空间已是二维，若再加入旋转等参数，复杂度随维数指数增长（第 21—23 页）。粗到细策略通过图像金字塔从低分辨率层开始，把上一层匹配结果作为下一层的初始化（第 24 页）。

恒定模板、重复纹理、以及不相似内容会分别导致“处处同分”“多处高分”和“无匹配”；课件例子见第 25—29 页。CC 对平移、亮度、对比度有效，但不能处理遮挡，且假定两图噪声相等且不相关；旋转超过约 20 度或尺度差超过约 30% 时质量显著降低（第 30、43—44 页）。

NCC 的格点最大值只能给出整数偏移。以初值附近的 NCC 曲面拟合二次函数：

其中是待估的局部最大值（第 37—38 页）。按课件推导：

于是

其中梯度和 Hessian 的分量由局部算子章节的 Sobel 与二阶导数核计算（第 39—42 页）。课件指出，此法可达到约 1/10 像素精度（第 43、45 页）。