02 相机基础与光的传播

来源：/home/gracekite/Documents/MyFiles/CV_Learning/Slides/T1/2021-pho1-02-camera.pptx.pdf
作者：Cyrill Stachniss（Photogrammetry & Robotics Lab）
页数：共 90 页
说明：本文档依据幻灯片内容整理，图片/示例图请参见原 PDF 对应页码。

1. 相机测量什么？#

相机输出由像素（pixel，即 picture element）组成的 2D 图像。
每个像素测量的是光强（light intensity）。
图像中的每个位置（像素）对应 3D 世界中的特定方向。
核心结论：每个像素测量的是来自某一方向的光量。

详见原 PDF 第 6 页。

2. 数码相机的组成#

数码相机的主要部件可分为光学部分与传感器部分：

部分	组件	作用
镜头与机身	Lens（镜头）	聚焦光线
	Aperture（光圈）	控制通光孔径
	Shutter（快门）	控制曝光时间
传感器芯片	Sensor（传感器）	将光转换为电信号
	A/D converter（模数转换器）	将模拟信号数字化
	Post-processing（后处理）	去马赛克、白平衡等

详见原 PDF 第 7 页。

2.1 传感器（Sensor）#

图像传感器将入射光转换为强度值。
由光敏单元阵列组成。
更大的感光单元可在相同时间内收集更多光。
更大的芯片生产成本更高，且需要更大、更贵的镜头。

常见传感器尺寸：Medium format、35 mm 全画幅、APS-H、APS-C、Four Thirds、1/1.6”、1/1.7”、1/1.8”、1/2.5” 等。

详见原 PDF 第 8–10 页。

3. 如何获取颜色信息？#

3.1 三芯片相机（Three-Chip Camera）#

使用三块分别带有红、绿、蓝滤光片的芯片。
光通过分光镜（beam splitter）分离到三片芯片上。
优点：每个颜色通道都有完整采样；缺点：成本高。

详见原 PDF 第 12 页。

3.2 单芯片相机（Single-Chip Camera）#

仅使用一块芯片获取 RGB 值。
每个像素覆盖一个小型彩色滤光片。
与三芯片设计相比：更便宜，但采样数更少，插值会降低质量。

详见原 PDF 第 13 页。

3.3 色彩滤镜阵列（Color Filter Array, CFA）#

单芯片上交替覆盖不同颜色的滤光片。
最常见的是 Bayer 模式。

Bayer 模式特点：

50% 绿色（G）
25% 红色（R），25% 蓝色（B）
人眼对亮度（luminance）高频细节非常敏感，而亮度主要由绿色值决定，因此绿色像素最多。

详见原 PDF 第 14–15 页。

3.4 其他 CFA 模式#

包括：monochrom、Bayer、Sony RGBE、Super-CCD EXR、RGBW、CYGM、CMYW 等。

详见原 PDF 第 16 页。

3.5 去马赛克（Demosaicing）#

对缺失的颜色值进行插值，以获得每个像素的完整 RGB 值，这一过程称为 demosaicing。
插值会引入误差，误差通常出现在边缘附近。

详见原 PDF 第 17–20 页。

4. 快门（Shutter）#

4.1 快门速度 / 曝光时间#

控制到达传感器的光量。
曝光时间越长 → 进光越多 → 图像越亮。
但长曝光会导致运动模糊（motion blur）。

4.2 卷帘快门（Rolling Shutter）#

快门逐行扫过图像区域。
同一行的像素同时记录。
对快速运动的物体或相机本身会产生畸变。
CMOS 相机中常见。

详见原 PDF 第 21–25 页。

4.3 全局快门（Global Shutter）#

整幅图像在完全相同的时刻记录。
无卷帘快门畸变。
更适合几何重建任务。
生产成本更高。

详见原 PDF 第 26–28 页。

5. 镜头与光圈（Lens & Aperture）#

详见原 PDF 第 29 页。

6. 光的传播模型#

物理中描述光传播的三种模型：

几何光学 / 射线光学（Geometric or ray optics）
波动光学（Wave optics）：基于 Maxwell 方程组
粒子 / 量子光学（Particle/quantum optics）：基于波粒二象性

详见原 PDF 第 31 页。

7. 几何光学（Geometric/Ray Optics）#

7.1 四条基本公理#

在均匀介质中，光线沿直线传播。
在两种均匀介质的分界面上，光发生反射（Fresnel reflection）或折射（Snell’s law）。
光路可逆。
相交的光线互不影响。

7.2 基本公式#

真空中光速：

不同介质中光速不同，每种介质有折射率。
介质中的光速：

光沿最快速度路径传播。

详见原 PDF 第 33–34 页。

7.3 针孔相机（Pinhole Camera）#

在胶片前放置带小孔的挡板，可阻挡大部分光线，减少模糊。
小孔称为光圈（aperture）。
若将小孔视为一个点，则空间中任一点只有一条光线能进入相机。
针孔相机是成像过程的简化模型。

详见原 PDF 第 35–37 页。

7.4 暗箱（Camera Obscura）#

Camera Obscura 在拉丁语中意为“暗室”。
1544 年 Reinerus Gemma-Frisius 首次出版了暗箱观测日食的插图。

详见原 PDF 第 38–39 页。

7.5 针孔相机模型公式#

设物点坐标为，像点坐标为，物距为，像距为，两三角形相似：

图像尺度（image scale）：

映射关系：

负号表示图像倒立。

针孔的问题：

孔很小 → 图像锐利，但需要较长曝光时间。
孔很大 → 曝光时间短，但图像模糊。
解决方案：用镜头代替针孔。

详见原 PDF 第 40–41 页。

8. 薄透镜相机#

8.1 薄透镜公式#

对于薄透镜：

其中：

：焦距
：物距（物体到透镜的距离）
：像距（透镜到像平面的距离）

详见原 PDF 第 42 页。

8.2 透镜对针孔的近似#

透镜只是针孔相机模型的一种近似。
物体上的对应点、像点、透镜中心应近似在一条直线上。
光线离透镜中心越远，误差越大。
可用光圈限制最大偏离距离，但这是可用光量与镜头价格之间的权衡。

详见原 PDF 第 43 页。

8.3 针孔 / 薄透镜的三个假设#

从物点发出的所有光线会聚于一点。
所有像点位于同一平面上。
从物点到像点的光线是直线。

这些假设常不成立，导致图像不完美。

详见原 PDF 第 44–45、57 页。

9. 光圈（Aperture）#

光圈相当于“针孔大小”。
f 数越小，光圈越大，进光量越多。
相邻 f 数之间进光量约相差一倍：例如从 f/2.8 到 f/4.0，进光量减半；从 f/5.6 到 f/8，进光量再减半。
光圈越小，离光轴越远的光线被遮挡，透镜误差越小。
光圈控制进光量和景深（depth-of-field）。

详见原 PDF 第 46–49 页。

9.1 景深（Depth-of-Field）#

景深指图像中看起来足够清晰的距离范围。
光圈越大（f 数越小），景深越浅；光圈越小（f 数越大），景深越大。

详见原 PDF 第 50–51 页。

10. 镜头（Lens）#

10.1 镜头的目标#

无畸变
清晰
对比度高

选择镜头取决于：视场角、物距、可用光量、价格。

10.2 常见镜头类型#

类型	特点
长焦镜头（telephoto）	窄视场角，透视畸变小，平行线保持平行
标准镜头（normal）	接近人眼视角
广角镜头（wide-angle）	视场角大（70°–120°），直线近似保持直线，但透视畸变明显
鱼眼镜头（fisheye）	视场角 ≥130°，世界中直线在图像中不再为直线

详见原 PDF 第 52–56 页。

11. 像差（Aberrations）#

像差是指实际成像偏离理想薄透镜映射的现象。

主要类型：

畸变（Distortion）：偏离矩形投影。常见：桶形畸变（barrel）、枕形畸变（pincushion）、胡子畸变（mustache）。
球面像差（Spherical aberration）：光线打到透镜边缘时折射增强，导致焦点不一致。
色差（Chromatic aberration）：玻璃的折射率随波长略有变化，不同波长光聚焦到不同点。
散光（Astigmatism）：竖直方向与水平方向焦点不同。
彗差（Coma / Comatic aberration）：斜入射光线结合球差与散光，形成彗星状光斑。
暗角（Vignetting）：图像边缘亮度下降，通常可由相机补偿。

详见原 PDF 第 58–64 页。

12. 波动光学（Wave Optics）#

将光视为由 Maxwell 方程组描述的电磁波。
可描述干涉（interference）和衍射（diffraction）。
可见光波长范围约为 400 nm 到 700 nm。
电磁波覆盖很宽的波长范围。

详见原 PDF 第 65–67 页。

12.1 频率与波长#

频率定义为：

其中为真空中光速，为波长。

在介质中：

其中为折射率。

详见原 PDF 第 68–69 页。

12.2 三个主要波段#

红（red）：
绿（green）：
蓝（blue）：

详见原 PDF 第 70 页。

12.3 近可见光谱应用#

红外光（）被叶绿素强烈反射，常用于植被监测。

12.4 高光谱图像（Hyperspectral Images）#

高光谱图像是三维数据立方体，即每个像素包含多个波长的信息。

详见原 PDF 第 71–72 页。

13. 粒子 / 量子光学（Particle/Quantum Optics）#

量子力学引入波粒二象性。
光的某些性质可用粒子描述。
该描述用于解释波动光学无法解释的现象。
适用于描述光与物质的相互作用。

13.1 光子（Photon）#

光子是基本粒子，是“光的量子”。
光子能量：

其中为 Planck 常数：

13.2 光子与光强#

量子光学可建模光与物质的相互作用。
相机芯片的每个传感器单元将光子转换为电荷。
光强与到达传感器（像素）的光子数成正比。

13.3 像素即光子计数器#

每个像素是一个光子计数器。
它记录曝光时间内通过“针孔”到达该像素的光子数量。
像素值越大 = 光子越多。

详见原 PDF 第 73–77 页。

14. 强度值与曝光三角#

14.1 影响强度值的因素#

外部因素：场景反射到相机的光量。

相机内部因素：

曝光时间（Tv / Shutter speed）
光圈大小（Av / Aperture）
芯片感光度（ISO）

14.2 曝光三角（Exposure Triangle）#

三者共同决定图像亮度，但各有代价：

参数	增大效果	副作用
光圈（f 数减小）	更亮	景深变浅
快门速度减慢	更亮	运动模糊
ISO 提高	更亮	传感器噪声增大

详见原 PDF 第 78–79 页。

15. 光照与反射率（Lighting and Reflectivity）#

光照至关重要。
光强取决于光源、材料反射特性以及相对位置。

详见原 PDF 第 81 页。

15.1 反照率（Albedo）#

衡量太阳辐射漫反射的指标。
取值范围为。
1 表示材料反射所有辐射；0 表示黑体。

详见原 PDF 第 82 页。

15.2 反射率与 BRDF#

BRDF（Bidirectional Reflectance Distribution Function，双向反射分布函数）是光散射的通用模型：

其中为入射方向，为反射方向，为波长。

它描述：从某一入射方向到达的各波长光，有多少被反射到另一方向。

详见原 PDF 第 83–84 页。

15.3 反射光公式#

离开表面某点、沿方向的光量为：

其中：

：反射光
：入射光
：BRDF

详见原 PDF 第 85 页。

16. 总结#

本幻灯片涵盖的核心知识点：

相机的基本组成
相机测量什么
哪些因素影响测量
描述光的三种物理模型（射线、波动、粒子）
针孔相机模型
像差
物体的反射率

详见原 PDF 第 88 页。

参考文献#

Förstner, Scriptum Photogrammetrie I, Chapters 2 & 3
Szeliski, Computer Vision: Algorithms and Applications, Chapters 2.2 & 2.3

详见原 PDF 第 89 页。