Калибровка камеры

Калибровка камеры — это задача получения внутренних и внешних параметров камеры по имеющимся фотографиям или видео, отснятыми ею.
Калибровка камеры часто используется на начальном этапе решения многих задач компьютерного зрения и в особенности дополненной реальности. Кроме того, калибровка камеры помогает исправлять дисторсию на фотографиях и видео.

Параметры модели камерыПравить

Как правило, для представления 2D-координат точки на плоскости используется вектор-столбец вида $[uv1{]}^{\mathrm{\top <!--\; \top \; -->}}$$[u\,v\,1]^{\top }$ , а для задания положения 3D-точки в мировых координатах — $[x_w{y}_w{z}_{w}1{]}^{\mathrm{\top <!--\; \top \; -->}}$$[x_{w}\,y_{w}\,z_{w}\,1]^{\top }$ . Нужно отметить, что эти выражения записаны в расширенной нотации однородных координат, которая является самой распространённой в робототехнике и задачах трансформации твёрдых тел. В частности, в модели камеры-обскуры матрица камеры используется для проецирования точек трёхмерного пространства на плоскость изображения:

$z_{c}{\begin{bmatrix}u\\v\\1\end{bmatrix}}=A{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\1\end{bmatrix}}$ 
где Zc - произвольный масштабный коэффициент

Параметры внутренней калибровкиПравить

$A={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}$ 

Матрица внутренней калибровки A содержит 5 значимых параметров. Эти параметры соответствуют фокусному расстоянию, углу наклона пикселей и принципиальной точке (точка пересечения плоскости изображения с оптической осью, совпадающая с центром фотографии. В реальных камерах, как правило, бывает немного смещена из-за оптических искажений). В частности, ${\mathrm{\alpha <!--\; \alpha \; -->}}_x$$\alpha _{x}$  и ${\mathrm{\alpha <!--\; \alpha \; -->}}_y$$\alpha _{y}$  соответствуют фокусному расстоянию, измеренному в ширине и высоте пикселя, $u_0$$u_{0}$  и $v_0$$v_{0}$  — координатам принципиальной точки, а $\mathrm{\gamma <!--\; \gamma \; -->}={\mathrm{\alpha <!--\; \alpha \; -->}}_y\ast <!--\; \ast \; -->\tan <!--\; \; -->\mathrm{\phi <!--\; \phi \; -->}$$\gamma ={\alpha _{y}}*\tan \varphi$ , где $\mathrm{\phi <!--\; \phi \; -->}$$\varphi$  — угол наклона пикселя. Нелинейные параметры внутренней калибровки, такие как коэффициенты дисторсии, также имеют важное значение, хотя и не могут быть включены в линейную модель, описываемую матрицей внутренней калибровки. Большинство современных алгоритмов калибровки камеры определяет их вместе с параметрами линейной части модели.
Параметры внутренней калибровки относятся только к камере, но не к сцене, поэтому они изменяются только в том случае, когда меняются соответствующие настройки камеры.

Параметры внешней калибровкиПравить

$\mathbf{\text{R}},T$${\textbf {R}},T$  (где $\mathbf{\text{R}}$${\textbf {R}}$  — вектор 1 × 3 или матрица 3 × 3 поворота, $\mathbf{\text{T}}$${\textbf {T}}$  — вектор 3 × 1 переноса) — параметры внешней калибровки, определяющие преобразование координат, переводящее координаты точек сцены из мировой системы координат в систему координат, связанную с камерой. Или, что эквивалентно предыдущему определению, параметры внешней калибровки задают положение камеры в мировой системе координат.
Параметры внешней калибровки связаны непосредственно с фотографируемой сценой, поэтому (в отличие от параметров внутренней калибровки) каждой фотографии соответствует свой набор этих параметров.

Модель камерыПравить

При использовании камеры свет из снимаемой сцены фокусируется и захватывается. Этот процесс уменьшает число измерений у данных, получаемых камерой, с трёх до двух (свет из трёхмерной сцены преобразуется в двухмерное изображение). Поэтому каждый пиксель на полученном изображении соответствует лучу света исходной сцены. Во время калибровки камеры происходит поиск соответствия между трёхмерными точками сцены и пикселями изображения.
В случае идеальной камеры-обскуры для задания такого соответствия достаточно одной матрицы проекции. Однако в случае более сложных камер искажения, вносимые линзами, могут сильно повлиять на результат. Таким образом, функция проецирования принимает более сложный вид и часто записывается как последовательность преобразований, например:
$x=I\times <!--\; \times \; -->Dist(E\times <!--\; \times \; -->X)$$x=I\times Dist(E\times X)$ , где

• $X=[x_w{y}_w{z}_{w}1{]}^{\mathrm{\top <!--\; \top \; -->}}$$X=[x_{w}\,y_{w}\,z_{w}\,1]^{\top }$  — координаты исходной точки сцены;
• $x=[uv1{]}^{\mathrm{\top <!--\; \top \; -->}}$$x=[u\,v\,1]^{\top }$  — координаты пикселя на изображении;
• $E=\left[{\begin{array}{*{20}{c}}R&T\\{0_{3}^{T}}&1\\\end{array}}\right]$  — матрица внешней калибровки (где $R$$R$  — матрица поворота 3 × 3, $T$$T$  — вектор переноса 3 × 1);
• $Dist$$Dist$  — функция применения дисторсии;
• $I={\begin{bmatrix}\alpha _{x}&\gamma &u_{0}\\0&\alpha _{y}&v_{0}\\0&0&1\end{bmatrix}}$  — матрица внутренней калибровки.

Алгоритмы калибровки камерыПравить

Существует несколько различных подходов к решению задачи калибровки.

1. Классический подход — алгоритм Roger Y. Tsai. Он состоит из двух этапов, на первом из которых определяются параметры внешней калибровки, на втором — внутренней калибровки и дисторсии.
2. «Новая гибкая технология калибровки камеры», которая была разработана Zhengyou Zhang и основана на использовании плоского калибровочного объекта в виде шахматной доски.
3. Автокалибровка — получение калибровочных данных непосредственно по изображениям, причём в сцене не требуется присутствие специальных калибровочных объектов.

Алгоритм калибровки одной камеры, а также алгоритм стереокалибровки реализован в библиотеке OpenCV.

АвтокалибровкаПравить

Основные шаги данного метода:

1. Поиск особых точек на всех изображениях. Для этой цели может использоваться, например, уголковый детектор Харриса.
2. Поиск точечных соответствий между изображениями. Для этого можно, например, воспользоваться сравнением SIFT-дескрипторов найденных особых точек. В результате на каждом изображении находится набор пикселей, которые соответствуют одним и тем же трёхмерным точкам сцены.
3. После этого с помощью алгоритма Bundle Adjustment на основе данных о точечных соответствиях производится одновременный поиск и параметров калибровки, и 3D-координат этих особых точек в сцене.

СсылкиПравить

• Программа калибровки камеры и исправления дисторсии с открытым исходным кодом, реализующая метод Zhengyou Zhang
• Инструмент для калибровки камеры, предназначенный для работы в MATLAB
• Калибровка камеры на OpenCV на C++