[發明專利]基于雙目結構光的水下三維重建方法

有效

• 申請號: 202110358060.0
• 申請日: 2021-04-02
• 公開（公告）號: CN113129430B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 胡業琦;董軍宇;范浩;杜秀瑞;解志杰;賈振霖
• 申請（專利權）人: 中國海洋大學
• 主分類號: G06T17/00
• 分類號: G06T17/00
• 代理公司: 青島海昊知識產權事務所有限公司 37201
• 代理人: 邱岳

1.基于雙目結構光的水下三維重建方法，其特征是包括以下步驟：

S1.相機參數標定：首先設定相機焦距、光圈，使其在拍攝過程中保持不變；通過張正友標定法在空氣中獲得相機的內外參，以雙目相機以左相機的光心為世界坐標系原點，標定得到右相機的外參；相機中心到保護殼玻璃的距離為h，光線在水介質中的折射率為n，通過棋盤格標定板在水中標定：

將水下相機和棋盤格標定板的位置相對固定，并分別在空氣中和水中拍攝固定位置的同一標定板；

在空氣中對水下相機標定時，可同時計算出棋盤格標定板上的角點在相機坐標系下的準確位置，將這些已知位置的角點作為水下折射模型參數標定的關鍵點；取位于相機光軸附近的兩個角點P₁，P₂作為關鍵標定點，其中，兩個關鍵標定點在相機坐標下的真實深度值為Z_r1，Z_r2，其已在空氣中準確標定；已知兩個關鍵標定點對應的虛擬深度值為Z_v1，Z_v2，其在X、Y軸方向上的坐標值與真實點相同，可通過針孔透視模型計算得到；可得到水下折射模型參數h，n的代數表達式：

S2.圖像采集：采用雙目工業相機和DLP投影光機，該投影光機可以投射一系列編碼結構光的圖像，本方法采用10位格雷碼編碼結構光，包括10張橫向正格雷碼，10張橫向逆格雷碼，10張縱向正格雷碼，10張縱向逆格雷碼，共40張；

圖像采集步驟為：

將目標物體置于水中，使用投影光機按順序向目標物體投射格雷碼條紋圖；

每投射一張格雷碼條紋圖，左右目相機就分別捕捉一張圖像，雙目相機依次捕捉投射出的一系列格雷碼條紋圖的目標物體圖像，直至40張格雷碼條紋圖投射結束，關閉雙目相機和投影光機；

在此過程中，因為本方法使用的是雙目相機，左相機采集到40張帶有格雷碼條紋的目標物體圖像，同時右相機也會采集到40張，因此共80張圖像；

S3.圖像矯正：對獲得的圖像進行畸變矯正；

S4.圖像二值化：在采集到的80張物體圖像數據中，首先對左相機采集到的圖像進行二值化操作，即逐像素的比較拍到的正格雷碼條紋圖像——記圖像的像素值為A，則A(i,j)表示圖像中位置(i,j)處的像素值，與逆格雷碼條紋圖像——記圖像的像素為B，則B(i,j)表示圖像中位置(i,j)處的像素值的像素值大小，若A(i,j)B(i,j)則該正格雷碼條紋的二值化圖像S(i,j)＝1，若A(i,j)B(i,j)則S(i,j)＝0，若A(i,j)＝B(i,j)，表示該位置沒有被投射到條紋圖，屬于無效區域，因此不對該像素位置進行二值化操作，從而將得到20張二值化操作后的圖像——縱向正格雷碼條紋圖10張、橫向正格雷碼條紋圖10張；

右相機圖像也可得到20張二值化操作后的圖像；

S5.解碼：此步驟將二值化后的圖像從二進制解碼到十進制，最終得到4張解碼圖；

S6.對應點匹配：縱向格雷碼條紋可以對圖像列方向上的像素進行唯一編碼，橫向格雷碼條紋圖可以對圖像行方向上的像素進行唯一編碼，同時使用縱向、橫向格雷碼條紋即可對每一個像素進行唯一編碼；

假設左目相機拍到的圖像有像素點(p,q)，則左目圖像縱向格雷碼條紋解碼圖的值為DLZ(q)，左目圖像橫向格雷碼條紋解碼圖的值為DLH(p)；右目相機拍得的圖像像素點為(u，v)，右目圖像縱向格雷碼條紋解碼圖的值為DRZ(v)，右目圖像橫向格雷碼條紋解碼圖的值為DRH(u)；

若DLZ(q)＝DRZ(v)，且DLH(p)＝DRH(u)，則(p,q)(u,v)為一對匹配像素點；

左目圖像中的每個像素點有了唯一編碼，右目圖像中的每個像素也具有唯一編碼，且在右目圖像中有唯一像素點與左目圖像對應，由此，可以確定左圖像中目標物體的每個像素點所對應于右圖像中目標物體的像素點；

S7.水下雙目立體成像

步驟S6獲得了左右目圖像的所有匹配點，在雙目立體成像過程中，本方法將世界坐標系原點建立在左相機的光心上，具體步驟如下：

7.1假設(x_l,y_l)為左目相機下的圖像坐標系，(x_r,y_r)為右目相機下的圖像坐標系，(x′_l,y′_l)為左目相機歸一化平面上的圖像坐標系，(x'_r,y'_r)為右目相機歸一化平面上的圖像坐標系，f為相機的焦距，則(x′_l,y′_l)、(x'_r,y'_r)如下

7.2根據水下折射模型進行修正，其中(X_L,Y_L,Z_L)為物體點在左目相機建立的世界坐標系下的三維坐標，(X_R,Y_R,Z_R)為物體點在右目相機建立的世界坐標系下的三維坐標，δ_l與δ_r為中間變量，則

7.3求解出物體點在左目相機建立的世界坐標系下的三維坐標

設(X_L,Y_L,Z_L)與(X_R,Y_R,Z_R)的旋轉矩陣為R，平移矩陣為T，則且以左目相機光心建立的世界坐標系為世界坐標系，(X^W,Y^W,Z^W)＝(X_L,Y_L,Z_L)：

即

3*3旋轉矩陣3*1平移矩陣展開得，

進一步展開可得

由此等式，可以解出(X^W,Y^W,Z^W),得到物體點在世界坐標系下的三維坐標。