[發明專利]基于靶標松姿態約束的景深畸變模型標定方法

有效

• 申請號: 202111073247.2
• 申請日: 2021-09-14
• 公開（公告）號: CN113781581B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 李肖;李偉;袁新安;殷曉康;趙建明;趙建超
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 楊植

1.一種基于靶標松姿態約束的景深畸變模型標定方法，其特征在于，步驟如下：

第一步，圖像采集

整個相機景深畸變模型標定實驗系統主要由一個相機、一個鏡頭和一個靶標組成；用于相機景深畸變模型中參數標定的靶標為平面板，其上布置有直線和角點兩類特征，兩兩直線的交點為角點；在加工時保證兩兩角點之間的距離已知；圖像采集是相機景深畸變模型參數求解的前提；首先，打開安裝有鏡頭的相機，設置相機采集幀頻、曝光時間、焦距、分辨率，調節對焦距離后完成鏡頭對焦；其次，將靶標在相機前面擺放多個姿態，不需要靶標與鏡頭光軸垂直，僅需保證靶標姿態能覆蓋相機的視場和景深，并且角點和直線都能成像即可；每擺放完一個靶標姿態后，使靶標處于靜止狀態，并利用相機采集靶標圖像，最終采集獲得多個姿態下的靶標圖像；

第二步，景深畸變模型標定

(1)相機成像模型

相機成像模型描述物方空間點與像方圖像點之間的一一映射關系，記物方空間點的齊次坐標為(x,y,z,1)^T，其在圖像上的無畸變投影點的齊次坐標為(u,v,1)^T；因為靶標平面和圖像平面均為二維平面，則相機成像模型表達為：

其中，s為比例因子，為內參數矩陣，C₀＝(c_x,c_y)^T為圖像的畸變中心，f_x、f_y為u、v方向上的等效焦距；f_x＝f/d_x，f_y＝f/d_y，d_x和d_y為像元在水平和垂直方向上的物理尺寸；r₁和r₂為世界坐標系和相機坐標系間旋轉變換矩陣的前兩個列向量，t為世界坐標系和相機坐標系間的平移向量；H＝s·M·[r₁?r₂?t]為單應性矩陣，表述靶標平面和圖像平面兩個平面之間的轉換關系；f為鏡頭焦距；

(2)相機景深畸變模型

制造和裝配工藝缺陷導致鏡頭產生徑向畸變和偏心畸變，使得直線在圖像上的投影為曲線；采用多項式來表達相機鏡頭畸變模型，公式如下：

其中，為畸變圖像點坐標，δ_u、δ_v是圖像點在u、v方向上的畸變函數，為圖像點的畸變半徑，k₁和k₂分別為第一階和第二階徑向畸變參數，p₁和p₂分別為第一階和第二階偏心畸變參數；

鏡頭畸變大小跟景深位置密切關聯，考慮到物距不同所引起的成像畸變不同，將物距與畸變模型聯系起來建立相機景深畸變模型，其表達式為：

其中，為放大參數，滿足分別為對焦物距為s_n、s_m、和s_k的對焦平面上的第i階徑向畸變參數；和分別是對焦物距為s_n和s_m的兩個對焦平面上的第i階偏心畸變參數，進一步得到如下公式：

其中，g為經驗參數，和為鏡頭對焦于物距為s時，處于物距s_k處的離焦平面的第i階徑向畸變參數和偏心畸變參數，為位于對焦于無窮遠處的對焦平面的第i階偏心畸變參數，將公式(4)結果推廣到處于任意物距s_n、s_m和s_k的離焦平面，得到由公式(5)表示的各離焦平面間的畸變參數關系式：

其中，和為當對焦于物距s時，處于物距為s_n的離焦平面上的第i階徑向畸變參數和偏心畸變參數；和為當對焦于物距s時，處于物距為s_m處的離焦平面上的第i階徑向畸變參數和偏心畸變參數；公式(5)中的徑向畸變參數以及偏心畸變參數不依賴于對焦距離s和對焦平面上的畸變參數，這樣就建立了鏡頭的相機景深畸變模型；

(3)相機景深畸變模型標定

1)內參數標定

以所有靶標圖像中心區域上角點之間的已知距離為約束，利用張正友2000年發表論文“A?flexible?new?technique?for?camera?calibration”中的方法標定相機的內參數矩陣進而通過f_x＝f/d_x得到鏡頭焦距f；

2)直線點物距求解

鏡頭畸變會使得物方直線在圖像上扭曲為曲線，即直線上的點在鏡頭畸變作用下的成像會呈曲線分布，根據這一事實利用直線點求解畸變參數；首先，利用灰度重心法定位圖像上直線點的像素坐標，灰度重心法用公式(6)表示為：

其中，f(u,v)是坐標為(u,v)^T的像素點的灰度值，Θ為過(u,v)^T點在直線垂直方向上的像素點的集合，為定位的直線點的像素坐標；

由公式(5)知，畸變參數求解要求直線點物距已知，為此，在定位直線點的基礎上計算直線點的物距；假設圖像上定位到的某一個直線點p的坐標為令其中p′＝(p_x,p_y,p_z)^T；經過單應性矩陣H作用后直線點坐標為則該靶標圖像上直線點p的物距用公式(7)表示為：

3)相機景深畸變模型參數求解

物方直線在鏡頭畸變的作用變成曲線所產生的直線度變化用徑向畸變參數和偏心畸變參數來表達；假設一條直線上有n個直線點，第j個直線點為Ω_j＝(u_j,v_j)^T，j＝1,2,...,n，這些直線點所確定的回歸直線方程表達為：

其中，為回歸直線與u的夾角，γ為點到回歸直線的距離，則點到回歸直線距離的平方可表示為：

其中，α＝a-c，

在此基礎上，標定相機景深畸變模型；首先，假設相機共采集了η′張靶標處于不同姿態下的圖像，第η張圖像有l_η條直線，第η張圖像的第i′條直線上檢測出了N_η,j個直線點，^ηΩ_i′為第η張圖像第i′條直線上所有直線點的集合，^ηΩ_i′,j和分別為第η張圖像第i′條直線上第j個直線點以及該直線點的物距；隨后，以點到回歸直線的距離最小為目標，將公式(5)所示的景深畸變模型帶入公式(2)和公式(9)中，優化求解畸變參數建立的最小化目標函數表示為：

公式(5)為具有任意物距的直線點的徑向畸變參數和偏心畸變參數，該兩類畸變參數與其他兩個直線點的物距、徑向畸變參數、偏心畸變參數以及鏡頭的焦距f有關；為進行求解，在景深內選定兩個直線點，物距分別為s_k和s_m；然后，以所有靶標圖像上的直線點的像素坐標^ηΩ_i′,j、直線點的物距已經標定出的焦距f為輸入量，通過Levenberg–Marquardt算法優化公式(10)所示的目標函數，進而求得景深畸變模型參數至此就在靶標擺放姿態松約束的條件下完成了景深畸變模型各個參數的求解。