[發明專利]一種基于廣義統一模型的折反射相機自標定方法

有效

• 申請號: 201410102724.7
• 申請日: 2014-03-19
• 公開（公告）號: CN103886595A
• 公開（公告）日: 2014-06-25
• 發明（設計）人: 項志宇;戴行;周炎兵
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林懷禹

1.一種基于廣義統一模型的折反射相機自標定方法，其特征在于，該方法包括以下步驟：

步驟1)在同一場景不同位置使用折反射相機獲取兩幅左右成像清晰的折反射全景圖,要求兩圖中有場景重復的部分，不需要對環境做特殊的設置，也不需要任何標定模板；

步驟2)提取左右兩圖的SIFT特征點，并進行特征點匹配，得到圖像上n對匹配的特征點對和i=1..n，n對特征點對中存在誤配點；

步驟3)初始化廣義統一模型的內參；

步驟4)使用極幾何計算出本質矩陣E，在計算E的過程中使用RANSAC提高精度，同時去除外點；

步驟5)使用非線性優化Levenberg?Marquardt方法，最小化特征點的重投影誤差，從而優化出內參；

步驟6)重新回到步驟4)，循環步驟4)和步驟5)，不斷的優化內參，同時得到更多的內點，直到重投影誤差小于所設定的閾值，優化出魯棒和精確的結果。

2.根據權利要求1所述的一種基于廣義統一模型的折反射相機自標定方法，其特征在于：步驟3)中所述要初始化廣義統一模型的內參，首先使用廣義統一模型對折反射相機進行建模；

折反射相機廣義統一模型由虛擬的單位球，虛擬視點，歸一化平面和成像平面П_p組成；以單位球中心C_m為原點建立坐標系F_m，以虛擬光心C_p為原點建立坐標系F_p，兩坐標系相互平行，歸一化平面為F_p中的z＝1平面，歸一化平面上的點通過徑向失真和透視變換投影到成像平面П_p；

折反射相機廣義統一模型，有兩個坐標系，以虛擬光心C_p為原點建立坐標系F_p，和以單位球中心C_m為原點建立坐標系F_m，原點C_p在F_m坐標系中的坐標為ξ＝(ξ1,ξ2,ξ3)^T；

空間點X_m在世界坐標系F_w中的表示為(X_m)_W＝(x_w,y_w,z_w)，通過以下前向投影過程，即成像過程如下：

(1)空間點從世界坐標系F_w轉換到F_m坐標系，其中R_w和T_w為世界坐標系和F_m坐標系的轉換關系，此時空間點在F_m坐標系中的坐標為(Xm)Fm=(xm,ym,zm)T;]]>

(2)將投影到單位球面上坐標為(x_s,y_s,z_s)^T，

(3)轉換到F_p坐標系下其中ξ＝(ξ1,ξ2,ξ3)^T，(Xs)Fp=(Xs)Fm+ξ=(xs+ξ1,ys+ξ2,zs+ξ3)T;]]>

(4)將投影到歸一化平面的m_u坐標為(x,y,1)^T，mu=1λ(Xs)Fp=(xs+ξ1zs+ξ3,ys+ξ2zs+ξ3,1)T=h((Xs)Fm),]]>其中λ＝z_s+ξ3，h()為折反射投影函數；

(5)在歸一化平面上加入徑向失真以彌補真實系統中透視相機鏡頭的失真，徑向失真函數為徑向畸變函數L(ρ)＝1+k₁ρ²+k₂ρ⁴+k₃ρ⁶，其中，k₁,k₂,k₃為失真系數，失真后的點m'_u＝(x',y',1)^T，其中x'＝x*L(ρ),y'＝y*L(ρ)；

(6)通過透視變換將歸一化平面上的點m'_u投影到成像平面П_p上點p坐標為(u,v,1)^T，p=(u,v,1)T=Kmu′=f1ηf1ηαu00f2ηv0001mu′=k(mu′);]]>其中k()為透視投影函數，f₁，f₂是相機的焦距，(u₀,v₀)是相機的主點，α是偏斜，η是鏡面參數；此處的K為歸一化平面到成像平面的透視變換矩陣，不再將折反射系統看成是一個獨立的鏡面和一個獨立的相機，而是將之視為一個整體，內參矩陣K包含了相機和鏡面的參數，f₁，f₂和η無法單獨得到，只能得到γ₁＝f₁η，γ₂＝f₂η；

從圖像上的點p反向推導出相應的單位球面上的點的方向的過程稱為后向投影過程：

(1)從圖像點p＝(u,v,1)^T映射到歸一化平面上的點m'_u，m′_u＝K^-1p＝(x,y,1)^T；

(2)對m′_u去除徑向畸變，徑向畸變函數L(ρ′)＝1+k₁ρ^′2+k₂ρ^′4+k₃ρ^′6，k₁,k₂,k₃為失真系數，去失真后的點m_u＝(x,y,1)^T，其中x=x'/L(ρ′),y＝y′/L(ρ′)

(3)從歸一化平面上的點m_u映射到單位球面上的點其中h()是投影函數，h^-1()是投影函數的逆函數；

由前向投影過程中的步驟(4)(3)(2)解出從圖像點到空間射線的后向投影方程(Xs)Fm=ξTK-1p+(ξTK-1p)2-(pTK-TK-1p)(ξTξ-1)pTK-TK-1pK-1p-ξ,]]>此處未加入去除徑向畸變，因為徑向畸變非線性，加入徑向畸變以后后向投影公式過于復雜，實際使用當中在初始化階段忽略徑向畸變，在優化過程中分步進行后向投影的計算而不是利用后向投影方程一次性得出。

通過移動折反射相機，在不同的位置采集空間點的成像，空間點X_m在世界坐標系F_w中的表示為(X_m)_W＝(x_w,y_w,z_w)，在不同位置折反射相機中成像，成像過程如前面前向投影所述，在兩幅圖上形成的成像點分別為p₁＝(u₁,v₁,1)^T和p₂＝(u₂,v₂,1)^T，根據后向投影方程計算出p₁和p₂對應的和射線和都經過空間點X_m，得到：其中本質矩陣E＝T₁₂×R₁₂，其中R₁₂和T₁₂為第一個相機和第二個相機之間的坐標轉換關系；接著得到廣義統一模型的極幾何公式：

(ξTK-1p2+(ξTK-1p2)2-(p2TK-TK-1p2)(ξTξ-1)p2TK-TK-1p2K-1p2-ξ)E(ξTK-1p1+(ξTK-1p1)2-(p1TK-TK-1p1)(ξTξ-1)p1TK-TK-1p1K-1p1-ξ)=0;]]>

廣義統一模型含有需要標定的參數為，k₁,k₂,k₃，ξ＝(ξ1,ξ2,ξ3)^T，γ₁，γ₂，[u₀,v₀]和α；

其次，為了獲取模型的初值，先假設折反射全向相機為單一視點模型，設k₁≈k₂≈k₃≈α≈ξ1≈ξ2≈0，γ₁≈γ₂＝γ，所需要估計的內參為ξ3、γ、u₀、v₀，實驗表明ξ3對系統參數的初值計算影響不大，設ξ3＝1，主點[u₀,v₀]的初始值估計，先提取圖像中鏡面邊緣，再取圖像中鏡面的中心為主點的初值；

將K=γ0u00γv0001]]>和ξ＝[0,0,1]^T帶入極幾何公式得到(2p2TK-TK-1p2K-1p2-ξ)E(2p1TK-TK-1p1K-1p1-ξ)=0,]]>將K-1pj=[uj-u0γ,vj-v0γ,1]T=[ucjγ,vcjγ,1]T(j=1,2)]]>帶入得到[γuc2,γvc2,γ22-uc22+vc222]E[γuc1,γvc1,γ22-uc12+vc222]T=0,]]>設E=e1e2e3e4e5e6e7e8e9,]]>重新整理后得到多項式特征值問題[D₀+γD₁+γ²D₂+γ³D₃+γ⁴D₄]e＝0，其中

D0=[0,0,0,0,0,0,0,0,uc22uc12+uc22vc12+uc12vc22+vc22vc12]]]>

D1=[0,0,-2uc2vc12-2uc2uc12,0,0,-2uc12vc2-2vc2vc12,-2uc22uc1-2uc1vc22,-2uc22vc1-2vc22vc1,0]]]>

D2=[4uc2uc1,4uc2vc1,0,4uc1vc2,4vc2vc1,0,0,0,-uc22-uc12-vc22-vc12]]]>

D₃=[0,0,2u_c2,0,0,2v_c2,2u_c1,2v_c1,0]

D₄=[0,0,0,0,0,0,0,0,1]

e＝[e₁,e₂,e₃,e₄,e₅,e₆,e₇,e₈,e₉]

該多項式特征值問題通過9個特征值點對解出e和γ，使用RANSAC來提高精度,求得γ的初值。