computer vision

Some Basic Concepts

自由度(Degrees of freedom)

自由度,大致有两种形式:

  1. 旋转的自由度
  2. 移动的自由度

在平面中,只有三个自由度,一个为面旋转,两个为前后及左右两个移动
在立体中,有六个自由度,三个为前后、上下及左右三个移动自由度和三个对应轴旋转的自由度,共六个自由度

坐标系变化

  1. 欧式变换(Euclidean)
    6个自由度,长度、夹角、体积均不发生改变,其中$R$为正交矩阵。
    变换矩阵 $\left[\begin{array}{cc}
    R & t\\
    0^{T} & 1
    \end{array}\right]$

  2. 相似变换(Similarity)
    相较于欧式变换,多了一个自由度,7个自由度。
    它允许物体进行均匀缩放,变换矩阵在旋转部分多了一个缩放因子$s$。
    变换矩阵 $\left[\begin{array}{cc}
    sR & t\\
    0^{T} & 1
    \end{array}\right]$

  3. 仿射变换(Affine)
    与欧式变换区别,仿射变换只要求$A$是一个可逆矩阵,而不必是正交矩阵。12个自由度
    仿射变换也叫正交投影,是指在几何中,对一个向量空间进行一次线性变换并接上一个平移,变换为另一个向量空间。
    变换矩阵 $\left[\begin{array}{cc}
    A & t\\
    0^{T} & 1
    \end{array}\right]$
    仿射变换的操作包括:平移、旋转、缩放、剪切(shearing)

  4. 射影变换 (Projective)
    射影变换是最一般的变换,$A$为可逆矩阵,左下角为缩放$a^{T}$。真实世界到相机照片的变换可以看成一个射影变换。15个自由度
    变换矩阵 $\left[\begin{array}{cc}
    A & t\\
    \alpha^{T} & \nu
    \end{array}\right]$

各种变换图

各种变换操作图

世界坐标系、相机坐标系和图像坐标系

世界坐标系一点到图像坐标系示意图如下:

示意图

世界坐标系下一点$P_{w}$,相机坐标系下点$P_{c}$,和图像坐标系下$p$对应关系如下

$\begin{array}{rl}
p_{uv} & =KR\left(P_{w}+t\right)\\
& =KP_{c}\\
& =\frac{1}{Z}\left(\begin{array}{ccc}
f_{x} & 0 & c_{x}\\
0 & f_{y} & c_{y}\\
0 & 0 & 1
\end{array}\right)P_{c}
\end{array}$

图像径向畸变和切向畸变

  1. 径向畸变
    由于现在相机都采用透镜成像原理,所以越原理光心地方畸变越大,因此形成了桶形畸变枕形畸变
  2. 切向畸变
    相机的组装过程中由于不能使透镜和成像面严格平行也会引入切向畸变。

本质矩阵和基础矩阵

  1. 本质矩阵(Essential Matrix)
    $E=t^{\land}R$
    其中$R$为旋转矩阵,$t$为平移向量

  2. 基础矩阵(Fundamental Matrix)
    $F=K^{-T}EK^{-1}$
    其中,$E$为本质矩阵,$K$为相机内参矩阵

单应性矩阵(Homography)

单应性变换,它描述了两个平面之间的映射关系。
单应矩阵通常描述处于共同平面上的一些点在两张图像之间的变换关系,也可以是真实世界的平面一些点到图像中的对应平面一些点变换关系。
单应性矩阵为一个$3\times3$矩阵$H$,其有