[發(fā)明專利]一種變焦攝像機標定方法

在審

• 申請?zhí)枺?/td>: 202010823145.7
• 申請日: 2020-08-17
• 公開（公告）號: CN111915685A
• 公開（公告）日: 2020-11-10
• 發(fā)明（設計）人: 孫忠海;王小凌;耿莽河
• 申請（專利權）人: 沈陽飛機工業(yè)（集團）有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉

1.一種變焦攝像機標定方法，其特征在于，步驟如下：

步驟一、建立變焦攝像機成像模型

對于定焦攝像機模型：

令從空間一點到某一平面的中心投影為攝像機坐標系的原點，考慮攝像機坐標系中z＝f平面，該平面被稱為像平面或焦平面；在攝像機模型下，空間一在攝像機坐標系下坐標為X＝(X,Y,Z)^T的物點被映射到連接該物點與攝像機中心的直線與像平面的交點上；

設C是攝像機中心，像平面被置于攝像機中心前方，p是攝像機的主軸和攝像機像平面的交點，被稱為主點；攝像機中心位于世界坐標系的中心；此時根據(jù)圖像中的相似變換關系得出由三維坐標系中的點到二維圖像點的映射關系為：

其中(p_x,p_y)^T為主點在攝像機像平面坐標系下的坐標；將三維點坐標及二維點坐標改用齊次坐標表示，此時，攝像機成像模型簡化表示為：

x＝K[I|0]X (2)

其中：

K被稱為標定矩陣，該矩陣僅與攝像機自身的參數(shù)有關，而和攝像機在三維空間中的具體位置、朝向無關；因此K也被稱為攝像機內部參數(shù)矩陣；當采取三維空間中攝像機坐標系以外的坐標系為世界坐標系時，世界坐標系和攝像機坐標系之間存在著平移和旋轉的關系；設是世界坐標系中一點的非齊次坐標表示，是該點在攝像機坐標系下的非齊次坐標表示，那么這兩坐標之間物點坐標的轉換關系如下：

結合攝像機坐標系下的目標成像模型，最終定焦攝像機的成像模型表示為

其中，是攝像機坐標系的原點；中X是世界坐標系中物點坐標；式(5)是針孔攝像機模型下，物點坐標到圖像坐標的表示；令則矩陣P共有9個自由度；攝像機標定矩陣K有3個，旋轉矩陣R有3個，攝像機坐標系原點在世界坐標系中的坐標有3個；K中的3個參數(shù)被稱為攝像機內部參數(shù)；R和表示了攝像機在世界坐標系下的朝向和位置，被稱為攝像機外部參數(shù)；

對于變焦攝像機：

在攝像機變焦過程中，其空間位置及方向不變，僅內部參數(shù)變化；攝像機變焦過程中，所有內部參數(shù)均表示為變焦參數(shù)z，對焦參數(shù)F和光圈參數(shù)A的函數(shù)；即：

其中，f_x(z,F,A)、f_y(z,F,A)均表示等效焦距，s(z,F,A)表示畸變參數(shù)，u₀(z,F,A)、v₀(z,F,A)均表示主點坐標，變焦參數(shù)z表示鏡頭變焦過程中采用傳感器直接獲取的相關參數(shù)；攝像機徑向畸變系數(shù)表示為r₁＝r₁(z,F,A),r₂＝r₂(z,F,A)；不考慮攝像機畸變的情況下，變焦攝像機成像模型表示為下式：

其中K(z,F,A)為攝像機內部參數(shù)矩陣；R為旋轉矩陣，I為單位矩陣，為攝像機中心在世界坐標系中的位置；X＝(X,Y,Z)^T為物點在世界坐標系中的坐標；

變焦攝像機模型與一般攝像機的成像模型相比；僅攝像機內部參數(shù)及畸變參數(shù)隨著攝像機變焦對焦和調整光圈發(fā)生變化；

變焦攝像機的標定過程包括對成像模型公式中的畸變參數(shù)s(z,F,A),等效焦距f_x(z,F,A),f_y(z,F,A)以及主點坐標u_x(z,F,A),v_y(z,F,A)進行標定；變焦攝像機的標定過程不同于定焦攝像機，這些參數(shù)均為變焦參數(shù)z的函數(shù)，而非固定值；

步驟二、變焦攝像機主點位置的標定

在式(7)所表示的變焦攝像機成像模型中，主點位置(u₀,v₀)根據(jù)日常使用場景中的變化程度視其為常量，不會隨攝像機焦距的改變而變化；主點位置標定過程中，直接固定攝像機位置，通過調整攝像機焦距獲得若干幅圖像，提取出每一幅圖像中的特征點，則圖像中同一特征點坐標的軌跡應為一直線，采用最小二乘法用直線擬合各特征點的軌跡；此時攝像機縮放中心即為特征點軌跡的交點；

采用光束平差法對各項參數(shù)進行優(yōu)化求解，具體如下：

攝像機變焦過程中其位置和方向并未改變，因此認為世界坐標系與攝像機坐標系重合；攝像機成像模型簡化為：

此處X_j為物點與攝像機中心的連線在攝像機坐標系下的方向向量；K(z_i)為對應于第i幅圖像的攝像機內部參數(shù)矩陣；為物點X_j在第i幅圖像中重投影點的齊次坐標；則只需用光束平差法求解下式：

式中，(u₀,v₀)使用圖像的縮放中心坐標作為初值；為實際測量的第j個特征點在第i幅圖像中的位置；設f_x＝f_y并且選擇出現(xiàn)在所有圖像中的兩個特征點，以兩特征點的圖像距離為焦距初值；X_j取任意圖像上的像點，根據(jù)初始化的主點坐標和攝像機焦距，通過式(9)計算出初值；

步驟三、變焦攝像機等效焦距標定

采用一種含附加約束條件的自標定法對攝像機焦距進行標定，具體如下：

設攝像機拍攝圖像的過程中，攝像機中心的位置不變；當被拍攝景物距離攝像機足夠遠時攝像機中心的位移忽略不計；因此攝像機中心的位置不變的條件很容易得到滿足；此時，根據(jù)式(7)，得到：

則對于兩幅圖像上共同的物點，有如下關系：

即兩幅圖像中對應特征點由以單應性矩陣H＝KR₁₂K^-1聯(lián)系起來；該矩陣通過在兩幅圖像中提取至少4對特征點進行求解；式中R₁₂為兩攝像機坐標系之間的旋轉矩陣；利用R₁₂是酉矩陣的性質，能夠得到如下方程：

(KK^T)H^-T＝H(KK^T) (12)

為解出矩陣KK^T，至少需要2個單應性矩陣H，因此至少需要拍攝三幅圖像；求解出矩陣KK^T后，即能通過cholesky分解求得內部參數(shù)矩陣K；同樣，此時求得的值僅為接下來的光束平差法提供優(yōu)化的初值；

由于設拍攝各圖像的過程中，攝像機中心位置不變；因此直接令世界坐標系的原點位于攝像機中心，則攝像機成像模型簡化為下式：

其中K為攝像機內部參數(shù)矩陣，R_i為拍攝第i幅圖像時攝像機的旋轉矩陣；與標定主點的過程相同，分別為從攝像機中心指向第j個特征點的方向向量以及該點在第i幅圖像中的重投影圖像位置；使用光束平差法求解下式即得到攝像機內外參數(shù)的最優(yōu)估計值：

式中{R_i}包含三個自由度，其初始值通過在圖像之間僅發(fā)生純旋轉的前提下進行線性求解；將相機固定在兩軸伺服轉臺上，通過讀取拍攝各圖像時的轉臺的方位、俯仰角度直接求解{R_i}，具體方法如下：

首先對固定在轉臺上攝像機的運動過程進行建模如下：

1)攝像機首先繞y軸旋轉，然后繞新的x軸旋轉，使z軸指向目標方向；此步驟對應轉臺的方位、俯仰軸的調節(jié)；

2)攝像機繞新的z軸旋轉，使x,y軸方向與目標方向重合；

通過第1)步的旋轉使攝像機的z軸指向空間的任意方向；設攝像機繞y,x,z軸旋轉的角度為(α,β,γ)且α∈[-π,π],β∈[-π/2,π/2]；則對應此旋轉過程的旋轉矩陣為：

當攝像機z軸的空間指向已知時，(α,β)由z軸在空間指向的方向向量唯一確定，設d＝(d₁,d₂,d₃)^T為世界坐標系中表示z軸指向的單位方向向量；則α,β的求解方法如下：

以下直接表示為：α＝M_α(d),β＝M_β(d)；

設測量設備的坐標系與世界坐標系之間的轉換矩陣為R_co；測得拍攝各幅圖像時攝像機z軸指向在測量設備坐標系中表示為單位向量d_zi，則世界坐標系下方向向量為d_i＝R_cod_zi；

考慮第2)步的旋轉，攝像機成像模型中的旋轉矩陣表示為以下形式：

R＝R(α,β,γ)＝R(M_α(d),M_β(d),γ) (17)

攝像機成像模型為：

x＝KR(M_α(d),M_β(d),γ)X (18)

含有附加約束的攝像機自標定方法表示為如下形式：

其中R_co為測量設備坐標系和世界坐標系之間的旋轉矩陣；d_i為由測量設備獲得的測量設備坐標系下拍攝第i幅圖像時攝像機z軸的單位方向向量；γ_i為拍攝第i幅圖像時，攝像機繞其z軸轉動的角度，K為內部參數(shù)矩陣，X_j為物點在世界坐標系中的方向向量；為第j個特征點在第i幅圖像中的圖像坐標；

由于攝像機被固定在兩軸伺服轉臺上，其沿自身z軸的旋轉角度始終為零，因此該旋轉角度忽略；d_i根據(jù)拍攝第i幅圖像時轉臺的方位俯仰直接計算獲得；

此時(14)中的{R_i}已全部求得。