08 几何变换、插值与重采样

对应课件：2021-pho1-08-geometric-trans.pptx.pdf。

1. 几何变换的对象与表示#

几何变换用于：畸变校正（rectification）、将已校正图像映射到物体表面（rendering/texture mapping），以及配准两幅不同畸变的图像（registration）（第 2—4 页；示例图分别详见这些页）。每张图像拥有自己的坐标系：图像 在 ，图像 在 。

从 到 的坐标变换写作

其中左上标表示坐标系； 是二维坐标列向量，简写表示其两个分量均由 计算（第 5—7 页）。

平移与仿射例子#

平移是

更一般的仿射变换为

课件的数值例子取线性部分 ，平移为 ，即图像缩小为原来的 1/4，再向 方向各移动 10 像素（第 8—12 页）。

2. 非整数坐标与插值#

变换后的像素坐标通常不是整数，不能直接索引原图；为在输入与输出间赋予强度，必须插值。完成离散化与量化的过程称为重采样（第 13—14 页）。

最近邻、双线性、双三次#

• 最近邻（NN）：取最近像素的同一颜色值，相当于将位置取整（第 15 页）。速度最快、质量最低。
• 双线性：先沿 做线性插值，再沿 做线性插值，使用四个邻点（第 17—23 页）。
• 双三次：先沿 做三次插值再沿 做；结果取决于 16 个系数，产生三次样条插值（第 24—34 页）。速度最慢、质量最高。

课件的速度/质量比较见第 36 页，三种效果图见第 35、37—40 页。

双线性插值的严格展开#

设采样点在左上邻点 的局部坐标为 ，四个邻点为 。先后两次一维线性插值给出

按课件继续合并同类项：

因此它可写成双变量多项式 （第 20—23 页）。局部格点和强度图示详见第 18—23 页。

3. 前向与逆向 warping#

前向映射：遍历输入图 的每个像素并放到输出 ：

由于映射后点落在不规则位置，输出规则网格可能缺像素，需要从不规则黑点重建规则蓝点强度（第 42—46 页；过程图详见这些页）。

逆向映射：改为遍历输出图的每个像素，并在输入图中寻找其来源：

此时输出的每一个规则格点都有输入位置可供双线性或双三次插值。故课件结论是：前向方法会导致输出缺像素，总是使用逆向 warping（第 47—52 页）。复杂 warping、对齐后平均人脸的应用图示详见第 53—59 页。

4. 下采样、抗混叠与尺度#

将图像尺寸减半的简单方式是每隔一行、一列丢弃一个样本（第 60—62 页）。直接下采样会造成 aliasing 并丢失细节；先用二项式滤波平滑，再下采样可缓解该问题（第 63—67 页，效果图详见第 63—66 页）。所需平滑强度取决于核及其宽度，也取决于变换尺度（第 68 页）。

核宽度#

课件用标准差定义核宽度：

对方框核和二项式核，分别给出

（第 69—70 页。）

变换的局部平均尺度#

令 。课件定义

其中雅可比的平方范数按分量展开为

对 ，代入偏导数 ：

这正是课件第 71—72 页的推导。重采样的建议是： 时图像缩小，取 ； 时用双线性，要求高质量则用双三次； 时图像放大，使用双三次（第 73 页）。

5. 图像金字塔#

图像金字塔是一个图像列表；每一层尺寸为前一层的一半（第 74 页）。它把前述的平滑与下采样逐层组合。金字塔结构和实例分别详见第 74—76 页。

6. 复习要点#

• 几何变换改变坐标；插值负责在非整数位置重建强度。
• 双线性是四邻域加权平均，双三次使用 16 个系数以取得更高质量。
• 逆向 warping 保证每个输出像素有来源，便于直接插值。
• 下采样前需平滑以防混叠；局部尺度决定所需的平滑程度和插值选择。