[發明專利]雙目立體測量系統多視角測量中的自定位方法

有效

• 申請號: 201110307750.X
• 申請日: 2011-10-10
• 公開（公告）號: CN102506757A
• 公開（公告）日: 2012-06-20
• 發明（設計）人: 張麗艷;石春琴;葉南;孫楠
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G01B11/245
• 分類號: G01B11/245
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 葉連生

1.一種雙目立體測量系統多視角測量中的自定位方法，其特征在于包括以下過程：

步驟1：兩測量視角之間圖像特征匹配集的建立

雙目立體測量系統在兩個不同視角進行測量時，左右相機共拍攝4幅圖像，通過對兩兩圖像進行特征點提取和匹配，獲取相應的同名對應點集合，其中同名對應點表示同一空間點在不同圖像上的投影點；

對于多視角測量中的兩個視角，不失一般性稱為視角1和視角2，記在視角1測量時左、右相機拍攝的圖像分別為和在視角2測量時左、右相機拍攝的圖像為和這里上標代表視角，下標l、r代表左、右相機；

建立與之間的同名對應點集合與之間的同名對應點集合為和之間的同名對應點集合和之間的同名對應點集合和之間的同名對應點集合以及和之間的同名對應點集合

步驟2：兩測量視角之間幾何變換的初始估計

雙目立體測量系統進行兩視角測量時，雙目立體結構中兩個相機的內部參數和相對位姿已經過標定，而雙目立體結構在兩個不同測量視角之間的位姿是未知的，需要計算能表征相應位姿關系的幾何變換矩陣；

集合中的一個元素即一個同名匹配點對記為集合中的元素記為已標定的左、右攝像機的內部參數矩陣分別記為A_l、A_r，則在圖像畸變已經做過校正的條件下，根據現有的針孔成像模型，可得圖像特征點在各自攝像機坐標系下的三維坐標：

這里代表特征點在左攝像機坐標系取得三維坐標，代表特征點在左攝像機坐標系取得三維坐標，代表特征點在右攝像機坐標系取得三維坐標，代表特征點在右攝像機坐標系取得三維坐標，分別表示圖像點的齊次坐標，κ_l和κ_r為非零尺度因子；為方便闡述也表述為也表述為根據多視圖幾何理論，左相機在兩個視角處拍攝的同名匹配點滿足：

(ql2)TEl-lql1=0---(3)]]>

其中E_l-l為表征左相機在兩個測量視角之間相對位姿的本質矩陣，(g)T這里表示對向量進行轉置；同理，右相機在兩個測量視角下拍攝的同名匹配點滿足：

(qr2)TEr-rqr1=0---(4)]]>

其中E_r-r為表征右相機在兩個測量視角之間的位姿關系的本質矩陣；由于雙目立體測量系統在不同視角進行測量時，兩個相機的相對位姿保持不變，因此兩個相機在兩次測量中的幾何變換關系是一致的，即可以記為：

E＝E_l-l＝E_r-r?????????????????(5)

因此，可以聯立式(3)和式(4)中的兩個方程，得到：

(q²)^TEq¹＝0????????????????????(6)

其中q¹和q²為同名匹配點對，且的每個匹配點對都通過(6)式共同構成關于E矩陣的方程組；上述q¹代表和q²代表和p¹代表和p²代表和

由于這里的本質矩陣E可由兩個視角間的旋轉矩陣R和平移向量T＝[t_x?t_y?t_z]^T來表示：

E=R·0-tztytz0-tx-tytx0---(7)]]>

因此只要有5個以上的同名匹配點對即可求解，即只要就可以求解出E矩陣，這里|·|表示集合所含元素的個數；

對求得的E矩陣進行分解，得到立體傳感器在測量視角1和視角2之間的旋轉矩陣R和歸一化的平移向量T′；

步驟3：兩測量視角之間平移尺度求解

步驟2只得到了歸一化的平移向量T′，本步驟確定它與實際的平移向量T之間相差的固定比例因子s；對于集合中的匹配點對若集合中存在即存在則根據雙目立體系統的標定參數，由重建實際場景中的三維點坐標，記為同時根據上面求出的位姿R、T′，重建歸一化的三維坐標同樣，若集合和中的特征點對存在則根據雙目立體系統的標定參數，由重建實際場景中的三維點坐標同時根據上面求出的位姿R、T′，重建歸一化的三維坐標上述和X′_l-l是建立在左攝像機坐標系下的三維坐標，而對于攝像機坐標系下的X′_r-r也可由雙目立體結構的外部幾何參數信息轉換到坐標系下，以下不做特別說明X′_r-r也表示坐標系下的三維坐標；這樣，可以得到實際場景中的三維點集和歸一化三維點集{X′_i|i＝1，L，m}＝{X′_l-l}U{X′_r-r}，這兩個點集之間的尺度同樣相差比例因子s；因此，s可以由式(8)確定：

s=Σi=1m||Xi-1mΣi=1mXi||Σi=1m||Xi′-1mΣi=1mXi′||---(8)]]>

這里||·||表示求向量的模長，m是并集中元素的個數；要使式(8)有意義，需滿足至此，將s與歸一化平移向量T′相乘，就可獲得不同測量視角之間立體傳感器的絕對平移向量

T＝sT′??????????????????(9)

步驟4：兩視角立體傳感器相對位姿優化

本步驟進一步利用多視角測量中重建出的三維特征點及其在各幅圖像中的像點與立體傳感器相對位姿之間的幾何約束關系，以步驟2和步驟3中獲得的結果R、T作為初值，兩步優化確定立體傳感器的最終相對位姿；

第一步優化以集合中的所有匹配點對建立最小化目標函數：

min(Σi=1nll||pl-l2i-p^l-l2i(R,T)||+Σi=1nrr||pr-r2i-p^r-r2i(R,T)||)---(10)]]>

其中，分別是中的匹配像點經雙目立體模型重建出的三維點再投影到圖像上的圖像坐標，和是在圖像上識別出的相應特征點的真實圖像坐標，n_ll、n_rr為集合中元素的個數，優化變量R、T的初值已由步驟3得到；

第二步優化是為了進一步提高測量系統的拼合精度，將特征點的三維坐標也松弛為優化變量，同時為了盡量利用更多的約束提高迭代結果的可靠性，將能夠對兩個測量視角之間的相對位姿起有效約束作用的集合中的同名匹配點對均重建出三維坐標點，并將這些三維坐標點分別投影到和圖像上，相應的再投影誤差都計入本次優化過程，最小化目標函數

min(Σj=14Σi=1N||pji-p^ji(R,T,Xi)||)---(11)]]>

其中Xⁱ，i＝1，2，L，N是視角1和視角2下重建出的所有三維特征點，是Xⁱ再投影到第j幅圖像上的圖像坐標，這里的第j幅圖像(j＝1，L，4)依次代表圖像和(11)式的目標函數中R，T，Xⁱ是優化變量，其中R和T的初始值由上一步優化的結果得到，而各三維特征點坐標的初始值Xⁱ由相應的匹配點對重建所得；如果Xⁱ點在第j幅圖像上未提取出相應的圖像點，即不存在，則(11)式中取也就是該點在第j幅圖像上的再投影誤差不計入目標函數；

目標函數式(10)和式(11)采用非線性優化方法迭代求解最終得到優化后的旋轉矩陣R和平移向量T；

步驟5：多視角立體傳感器相對位姿的整體優化

在利用步驟1～步驟4的方法確定了兩兩視角之間相對位姿參數后，進行k個視角相對位姿的整體優化，以進一步減小拼合的累積誤差，整體優化的目標函數為

min(Σj=12kΣi=1N||pji-p^ji(R2-1,T2-1,R3-1,T3-1,L,Rk-1,Tk-1,Xi)||)---(12)]]>

其中Xⁱ，i＝1，2，L，N是各個視角下重建出的所有三維特征點，是Xⁱ再投影到第j(j＝1，2，L，2k)幅圖像上的圖像坐標，是Xⁱ點在圖像j上識別出的真實圖像坐標，R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1分別是視角2，3，...，k相對于視角1的旋轉矩陣和平移向量。(12)式目標函數中的R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1和Xⁱ是優化變量，其中R^2-1，T^2-1，R^3-1，T^3-1，L，R^k-1，T^k-1的初始值已由兩視角拼合步驟得到，而各三維特征點坐標的初始值Xⁱ也已由相應的匹配點對重建所得。如果Xⁱ點在第j幅圖像上未提取出相應的圖像點，即不存在，則(12)式中取pji=p^ji(R2-1,T2-1,R3-1,T3-1,L,Rk-1,Tk-1,Xi);]]>

目標函數式(12)采用非線性優化方法迭代求解。