[發明專利]一種基于旋轉模型的主從攝像機系統的標定以及聯動方法

有效

• 申請號: 201510054819.0
• 申請日: 2015-02-03
• 公開（公告）號: CN104574425A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 賴世銘;王煒;張政;劉煜;張茂軍
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 胡偉華

1.一種基于旋轉模型的主從攝像機系統的標定以及聯動方法，其特征在于：包括標定過程和聯動過程，其中標定過程是指獲得映射關系的過程，包括以下四個步驟：

標定過程第一步：初步調整；采用人工操作或自動操作或兩者結合的方式，調整PTZ攝像機的云臺旋轉角度，使得PTZ攝像機的拍攝方向與魚眼攝像機拍攝方向基本一致，使得PTZ攝像機的畫面基本位于魚眼攝像機的畫面內，此時，記錄下PTZ攝像機的Pan旋轉角度α和Tilt旋轉角度β；

標定過程第二步：對魚眼圖像和PTZ攝像機圖像進行特征點匹配，得到匹配點集合的二維坐標形式其中m_f＝(x_f,y_f)^T是魚眼圖像中的特征點的二維圖像坐標，m_p＝(x_p,y_p)^T是PTZ攝像機圖像中的特征點的二維圖像坐標，N_fp是特征點對個數；

標定過程第三步：將二維圖像坐標變換成三維坐標，得到匹配點集合的三維坐標形式其中X_s1＝(x_s1,y_s1,z_s1)^T是魚眼圖像中的特征點的坐標的三維形式，X_s2＝(x_s2,y_s2,z_s2)^T是PTZ攝像機圖像中的特征點的坐標的三維形式；魚眼圖像中的特征點的二維圖像坐標m_f＝(x_f,y_f)^T到三維形式X_s1＝(x_s1,y_s1,z_s1)^T的變換公式為：

$\left\{\begin{array}{c}{x}_{s1}=\sin \mathrm{\α}\·x_f/r_f,\\ y_{s1}=\sin \mathrm{\α}\·y_f/r_f,\\ z_{s1}=\cos \mathrm{\α},\end{array}\right.$

其中，f為魚眼鏡頭的等效焦距；PTZ攝像機中的特征點的二維圖像坐標m_p＝(x_p,y_p)^T到三維形式X_s2＝(x_s2,y_s2,z_s2)^T的變換公式為：

$X_{s2}=\frac{{\left(\mathrm{KR}\right)}^{-1}\left(\begin{array}{c}{m}_p\\ 1\end{array}\right)}{\left|\right|{\left(\mathrm{KR}\right)}^{-1}\left(\begin{array}{c}{m}_p\\ 1\end{array}\right)\left|\right|},$

其中，K是PTZ攝像機的內參數矩陣，R是對應著云臺的旋轉矩陣，旋轉矩陣R的計算基于PTZ攝像機的Pan旋轉角度α和Tilt旋轉角度β：

$R=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\β}& -\sin \mathrm{\β}\\ 0& \sin \mathrm{\β}& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{ccc}\cos \mathrm{\α}& 0& -\sin \mathrm{\α}\\ 0& 1& 0\\ \sin \mathrm{\α}& 0& \cos \mathrm{\α}\end{array}\right).$

標定過程第四步：求解兩攝像機之間的旋轉關系R₁₂

魚眼攝像機所在三維坐標系O_s-x_s1y_s1z_s1到PTZ攝像機所在三維坐標系O_s-x_s2y_s2z_s2的映射關系為三維旋轉關系，即坐標系O_s-x_s1y_s1z_s1依次繞Y,X,Z軸分別旋轉α₁₂,β₁₂,γ₁₂弧度可與O_s-x_s2y_s2z_s2重合，那么

X_s2＝R₁₂X_s1,

其中，R₁₂為旋轉矩陣

$R_{12}=\left[\begin{array}{ccc}{\cos \mathrm{\γ}}_{12}& {-\sin \mathrm{\γ}}_{12}& 0\\ {\sin \mathrm{\γ}}_{12}& {\cos \mathrm{\γ}}_{12}& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& {\cos \mathrm{\β}}_{12}& {-\sin \mathrm{\β}}_{12}\\ 0& {\sin \mathrm{\β}}_{12}& {\cos \mathrm{\β}}_{12}\end{array}\right]\left[\begin{array}{ccc}{\cos \mathrm{\α}}_{12}& 0& {-\sin \mathrm{\α}}_{12}\\ 0& 1& 0\\ {\sin \mathrm{\α}}_{12}& 0& {\cos \mathrm{\α}}_{12}\end{array}\right].$

考慮映射誤差||X_s2-R₁₂X_s1||，最小化誤差平方和：

$\underset{{\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12}}{\min }f({\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12})=\underset{{\mathrm{\α}}_{12},{\mathrm{\β}}_{12},{\mathrm{\γ}}_{12}}{\min }\underset{i=1}{\overset{N_{\mathrm{fp}}}{\mathrm{\Σ}}}{\left|\right|X_{s2}^{\left(i\right)}-R_{12}{X}_{s1}^{\left(i\right)}\left|\right|}^2,$

采用萊文貝格－馬夸爾特方法對其進行求數值解，求出映射關系的α₁₂,β₁₂,γ₁₂；

完成標定過程后，啟動聯動過程；所述聯動過程是指基于映射關系實現魚眼攝像機和PTZ攝像機的精確聯動的過程，所述聯動過程包括以下步驟：

聯動過程第一步：用戶在監控軟件界面上，通過軟件的人機交互接口，指定魚眼攝像機的畫面中感興趣的區域，該區域為一個感興趣的點或者感興趣的一個矩形框，記錄下用戶感興趣的點的坐標或者用戶感興趣的矩形框中心的坐標m_f＝(x_f,y_f)^T_；

聯動過程第二步：首先，將m_f＝(x_f,y_f)^T轉換成三維坐標形式X_s1＝(x_s1,y_s1,z_s1)^T：

$\left\{\begin{array}{c}{x}_{s1}=\sin \mathrm{\α}\·x_f/r_f,\\ y_{s1}=\sin \mathrm{\α}\·y_f/r_f,\\ z_{s1}=\cos \mathrm{\α},\end{array}\right.$

其中，$r_f=\sqrt{{x_f}^2+{y_f}^2},\mathrm{\α}=\frac{r_f}{f},$f為魚眼鏡頭的等效焦距；

其次，利用標定過程第四步所求得的旋轉矩陣R_12，將X_s1＝(x_s1,y_s1,z_s1)^T變換至PTZ攝像機所在的坐標系，得到X_s2＝(x_s2,y_s2,z_s2)^T：

X_s2＝R₁₂X_s1

最后，根據X_s2算出PTZ攝像機的旋轉角度(α,β)：

$\left\{\begin{array}{c}\mathrm{\α}={\tan }^{-1}\frac{x_{s2}}{z_{s2}},\\ \mathrm{\β}={\tan }^{-1}\frac{y_{s2}}{\sqrt{x_{s2}^2+z_{s2}^2}}.\end{array}\right.$

聯動過程第三步：通過云臺的控制接口將PTZ攝像機的旋轉角度設置為(α,β)，PTZ攝像機畫面將朝向用戶在魚眼圖像中所指定的空間位置方向，此時聯動過程完成。