[發明專利]基于激光三角法的旋轉水下物體三維重建方法

有效

• 申請號: 202110293078.7
• 申請日: 2021-03-18
• 公開（公告）號: CN112991533B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 范浩;董軍宇;朱志浩;亓冠棋;亓琳;楊健;王祥龍;吳闖
• 申請（專利權）人: 中國海洋大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/80;G06T7/521
• 代理公司: 青島海昊知識產權事務所有限公司 37201
• 代理人: 張中南;邱岳

1.基于激光三角法的旋轉水下物體三維重建方法，其特征是包括以下步驟：

S1.水下相機參數標定

將相機(1)與激光器(2)分別通過支架(3)固定在轉軸(4)上，首先保持相機(1)與激光器2在拍攝過程中相對位置保持不變；然后從不同角度拍攝標定板，標定相機的內參、外參以及畸變參數；

S2.轉軸標定

進行轉軸標定，將相機坐標系下的物體表面三維坐標轉到轉軸坐標系；

(K1)固定標定板，相機繞轉軸旋轉，拍攝一組連續的照片；

(K2)求得相機光心在標定板坐標系下的三維坐標：

P＝R*Pw+T (1)

Pw＝R^-1(P-T) (2)

P表示相機光心在相機坐標系的三維坐標，Pw表示相機光心在標定板坐標系下的三維坐標；R表示旋轉矩陣，T表示平移矩陣，均通過S1的標定而得到；因此公式1即Pw經過旋轉、平移之后得到P；

因為相機光心在相機坐標系下的坐標為原點，所以公式2進一步表示為公式3：

Pw＝R^-1*(-T) (3)

(K3)定義轉軸坐標系：以第一幀時刻的轉軸坐標系為絕對轉軸坐標系，其他時刻為相對轉軸坐標系；根據不同時刻下光心的位置擬合出一個空間圓，確定出圓心和半徑；并定義圓心和相機光心的連線為x軸，空間圓所在平面的法向量為y軸，根據叉乘確定Z軸；

(K4)旋轉軸坐標系定義在標定板坐標系時的關系：

旋轉矩陣R，平移矩陣T可以通過相機標定得到，R^-1和T^-1就可以通過公式(2)求得；

Pw＝R^-1(P-T) (2)

(K5)轉軸坐標系定義在標定板坐標系時的關系：

轉軸坐標系是定義在標定板坐標系下的，可以通過三維空間幾何坐標變換矩陣求得：

設原相機坐標系Oxyz的原點為(0,0,0)，新的轉軸坐標系O’x’y’z’原點在原相機坐標系下的坐標為(x0,y0,z0)，相對原坐標系其單位坐標矢量為：

U′x＝(U′x1,U′y1,U′z1)

U′y＝(U′x2,U′y2,U′z2)

U′z＝(U′x3,U′y3,u′z3)

將標定板坐標系下的坐標轉換成新的轉軸坐標系下的坐標，可由以下兩步完成，第一步，平移標定板坐標系，使其原點與轉軸坐標系的原點(x0,y0,z0)重合；

平移矩陣為：

第二步，利用前述單位坐標矢量構造坐標旋轉矩陣

有了從原相機坐標系到標定板坐標系的旋轉矩陣R和平移矩陣T，又有了從標定板坐標系到轉軸坐標系的旋轉矩陣R1和平移矩陣T1，就可得到從相機坐標系變換到轉軸坐標系的旋轉矩陣R2和平移矩陣T2，從而完成物體表面三維點從相機坐標系到旋轉軸坐標系的轉換，從而將相機的光心假設在旋轉軸中心，完成旋轉軸標定；

S3.水下激光平面標定：進行水下拍攝時，首先開啟激光線，取激光線上任意兩點的像素坐標(u1，v1)、(u2，v2)；根據從歸一化平面坐標系轉換到像素坐標系的公式(4)、(5)，反向求得兩點在歸一化坐標系下的坐標：

其中，u為像素橫坐標，v為像素縱坐標，Cx，Cy表示圖像的中心像素坐標和圖像原點像素坐標之間相差的橫向和縱向像素數，(Xc，Yc，Zc)表示相機坐標系下的坐標，為歸一化坐標系下的橫坐標，為歸一化坐標系下的縱坐標，fx和fy是相機在x、y方向的焦距；

通過公式(6)和(7)可以得到歸一化平面坐標系坐標；

通過S1的標定，得到的旋轉矩陣R和平移矩陣T是從標定板坐標到相機坐標系的外參，

其中，

[Xc,Yc,Zc]^T表示激光線上的點在相機坐標系下的坐標，[Xw,Yw,Zw]^T表示激光線上的點在的世界坐標系下的坐標，R是旋轉矩陣，T是平移矩陣；

所以可以得到從相機坐標系-標定板坐標系的轉換

其中，

因為標定板平面在世界坐標系下的Zw＝0，所以公式(9)等號右側中，旋轉矩陣的逆矩陣第三行與右側矩陣相乘后為0，即：

r31*Xc+r32*Yc+r33*Zc–(r31*Tx+r32*Ty+r33*Tz)＝0 (10)

公式(10)即標定板平面在相機坐標系下的平面方程，

令r31＝A，r32＝B，r33＝C，D＝(r31*Tx+r32*Ty+r33*Tz)，該平面方程可簡化為：

AXc+BYc+CZc+D＝0 (11)

根據小孔成像原理：

其中，X'是物理平面上的橫坐標，Y'是物理平面上的縱坐標，fx和fy是相機在x、y方向的焦距，得到：

將公式(14)、(15)代入公式(11)所示的標定板平面在相機坐標系下平面方程中：

得到

又由公式(12)、(13)的變形：

得到：

將公式(6)、(7)得到的歸一化坐標系下坐標代入，可得：

因此求得Zc即可通過公式(6)、(7)分別求出Xc和Yc，得到前述步驟提取的激光線像素點在相機坐標系下的三維坐標，通過多個點的三維坐標就可以擬合出激光平面在相機坐標系下的平面方程:

A₁Xc+B₁Yc+C₁Zc+D＝0 (21)

S4.水下圖像采集和處理：

打開相機和激光器，使其一直處于開啟狀態，由于相機與線激光器設置在旋轉軸上，每旋轉一個間隔角度，相機拍攝到一張線激光打在待重建物體的照片，從而實現了旋轉掃描；提取圖片中激光線上所有點的像素坐標；

再利用水下相機折射模型進行矯正：

假設n為水的折射率，h為相機原點到玻璃界面的距離，(X_c,Y_c,Z_c)為相機坐標系下的真實點的三維坐標，(X_v,Y_v,Z_v)為水下折射的虛點坐標，兩者之間的關系使用以下關系表示：

X_c＝X_v (22)

Y_c＝Y_v (23)

將上述關系式代入公式(21)激光平面在相機坐標系下的平面方程，從而得到物體在激光線上的點在相機坐標系下的三維坐標；再旋轉掃描物體整個前表面，從而得到物體前表面在相機坐標系下的三維坐標；

S5.水下激光旋轉掃描三維成像

坐標變換需要做的是將同一物體點在多個視角下對應的像素點進行關聯，選擇第一幀的轉軸坐標系為世界坐標系，將其他幀的轉軸坐標系轉換到第一幀轉軸坐標系中，變換到第一幀轉軸坐標系下；

當儀器繞Y軸進行旋轉時，

假設從X-Z平面變換到X’-Z’坐標系，可以通過分量形式來求旋轉矩陣：

X＝X’cosθ+Z’sinθ (25)

Z＝-X’sinθ+Z’cosθ (26)

轉換成矩陣的形式：

通過S2的轉軸標定步驟可以得到相機坐標系與相對應的轉軸坐標系之間的平移矩陣T2，因此可以通過其他幀的平移矩陣T2與公式(27)所示的旋轉矩陣將每一幀圖像統一到第一幀圖像的坐標系下；從而對步驟S4得到的物體表面真實點三維坐標實現了拼接；

S6.點云重建

將物體表面真實點三維坐標轉換為點云數據并進行點云填充，完成物體表面三維重建。