[發明專利]一種基于雙目視覺的模型點云及三維表面重建方法

在審

• 申請號: 202110488784.7
• 申請日: 2021-04-28
• 公開（公告）號: CN113160335A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 張洪鑫;馬少尉;姜航航
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06K9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于雙目視覺的模型點云及三維表面重建方法，其特征在于，包括以下步驟：

(1)雙目相機標定：通過張正友標定法進行雙目相機標定；

(2)雙目圖像立體校正：雙目相機標定結束后，采用Bouguet立體校正算法對雙目圖像進行立體校正；

(3)圖像采集；

(4)圖像特征提取與匹配：采用基于尺度不變特征變換(SIFT)的特征檢測算法進行圖像特征提取。采用最鄰近匹配算法進行圖像特征匹配，借助RANSAC算法可以對誤匹配的特征點展開有效地篩選，使特征點的提取更加地準確無誤；

(5)計算相機姿態：運用三角測量算法，對(3)中匹配的圖像特征信息求解，得出每幅圖像當時所對應的相機位姿狀態；

(6)左右圖像生成各自的三維點云：利用三維點云軟件Geomagic Control X 64從四個不同的角度顯示了左右圖像集生成的三維點云；

(7)點云模型修正：通過光束平差法對整體結構的點云以及相機姿態進行優化；

(8)多視圖點云融合：采用基于多視圖的點云融合算法合并各個部分點云，得到最終的目標結構三維點云模型；

(9)模型紋理映射：為了獲取高度真實感的物體模型，對(7)中獲取的三維點云模型進行紋理映射。

2.根據權利要求1所述的一種基于雙目視覺的模型點云及三維表面重建方法，其特征在于，所述步驟(4)中，采用基于尺度不變特征變換(SIFT)的特征檢測算法進行圖像特征提取。采用最鄰近匹配算法進行圖像特征匹配，借助RANSAC算法可以對誤匹配的特征點展開有效地篩選，使特征點的提取更加地準確無誤。

3.根據權利要求1所述的一種基于雙目視覺的模型點云及三維表面重建方法，其特征在于，所述步驟(6)中，解答出正確的相機姿態矩陣之后，在保證觀測點坐標與對應圖像的預測坐標兩坐標之間的誤差平方和降到最小的條件下，將匹配到的正確的圖像特征點對應的三維點坐標通過三角測量算法計算得出，借此，最佳的三維點坐標便能夠求解出來，其目標函數如下：

其中，X為三維坐標。u_i為觀測到的圖像點。K為內參變量矩陣，P_i為該圖像所對應的相機姿態。

4.根據權利要求1所述的一種基于雙目視覺的模型點云及三維表面重建方法，其特征在于，所述步驟(7)中，通過光束平差法對整體結構的點云以及相機姿態進行優化，借助定義一個代價函數從而達到優化的目的，此函數以三維點云和相機姿態作為待優化參數，通過迭代算法修正點云坐標及相機姿態，從而使映射誤差最小，目標函數如下：

所有圖像的映射矩陣KP_i，皆為自由度為11的一個3×4的矩陣，生成的三維點云中每個點坐標的自由度為3，假定針對目標結構的三維重建過程中，其中涉及到m幅圖像和n個三維點，由此可以計算出其參數個數為11m+3n，也就是說，采用常用的非線性最小二乘算法在其非線性優化過程中對上述參數進行優化。對于上述目標函數，在將其轉換為矩陣形式時，該矩陣的階數為(11m+3n)²。

5.根據權利要求1所述的一種基于雙目視覺的模型點云及三維表面重建方法，其特征在于，所述步驟(9)中，為了獲取高度真實感的物體模型，對獲取的三維點云模型進行紋理映射。借助平滑以及簡化算法對網格結構展開一系列的優化，將模型進行展開以獲取三維模型與二維紋理間的相互對照關系，最終進行紋理合成及圖案填充。