[發明專利]一種三維建模數據采集裝置及其三維建模方法

在審

• 申請號: 201910075601.1
• 申請日: 2019-01-25
• 公開（公告）號: CN109801365A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: 李昂
• 申請（專利權）人: 上海小萌科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/80;G06T5/00;H04N5/232
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種三維建模數據采集裝置，包括標準光源可調的燈箱(11)，所述燈箱(11)內部設置有相機(12)，所述燈箱(11)內部還設置有轉盤(13)，其特征在于，所述轉盤(13)上設置有標定板(14)，所述標定板(14)為黑點白底平板，所述黑點為圓點，且數量為64個。

2.根據權利要求1所述的三維建模數據采集裝置，其特征在于，所述轉盤(13)為數控轉盤。

3.根據權利要求1所述的三維建模數據采集裝置，其特征在于，所述相機(12)為數碼相機。

4.一種如權利要求1-3任一所述的三維建模數據采集裝置的三維建模方法，其特征在于，包括數據采集和算法流程；

所述數據采集方法包括以下步驟：

1)調整并固定住相機(12)的位置；

2)把標定板(14)單獨放置于轉盤(13)上；

3)控制轉盤分N次旋轉一周，每次拍攝一張標定圖像；

4)轉盤復位，取下標定板(14)，放置待測物體；

5)重復步驟3)，獲得N張物體圖像；

所述算法流程包括以下步驟：

1)獲得相機的內部參數；

2)前景提取；

3)相機標定；

4)模型雕刻和內部挖空處理；

5)模型優化；

6)顏色注冊和網格生成；

7)模型渲染。

5.根據權利要求4所述的三維建模數據采集裝置的三維建模方法，其特征在于，所述N設為24～40。

6.根據權利要求5所述的三維建模數據采集裝置的三維建模方法，其特征在于，所述算法流程包括以下步驟：

1)獲得相機的內部參數，所述內部參數包括相機的內部矩陣和畸變參數；

2)前景提取，采用了基于深度學習的Mask R-CNN神經網絡，以及谷歌開源的DeepLabv3+工程對所述數據采集方法中，對所述數據采集方法中采集標定圖像和物體圖像進行前景提取；

3)相機標定，下面的公式顯示了標定板(14)上每個圓點的三維坐標到相應的相機(12)圖像齊次坐標的映射關系：

P_2d＝K(R(P_3d+T)) ①

其中R是一個3×3旋轉矩陣，表示標定板(14)坐標到相機(12)三維坐標的旋轉：T是一個3×1平移矩陣，表示標定板(14)到相機(12)之間的坐標平移；K是在步驟1)中獲得該相機(12)的內部矩陣，把三維的相機(12)坐標轉換為圖像上的二維坐標；所述標定板(14)上有64個圓點，列出一個由64個方程組成的方程組，解PnP問題得到R和T；反之，圖像坐標也能推導出標定板(14)坐標，從上述公式推導出圖像坐標到以標定板(14)為參考的外部三維空間的映射：

P₃＝R′P_C-T ②

其中定義一條在連接3D點到相機(12)中心點的直線上的線段，m是一個定義線段長度的尺寸；

4)模型雕刻和內部挖空處理，首先限定物體所在的區域，以所述標定板(14)坐標為參考，在一個封閉的三維空間中創造一些原始三維坐標點云；然后根據相機(12)的標定參數和前景圖像，從每個角度去掉非物體點云，使用公式①把點云中的每個點映射到圖像上的一個點；根據前景圖像判斷這個點是否為物體上的一點，遍歷所有位置拍攝的圖像中所有的點，去掉非物體點云，根據每個點的鄰域信息，使用了Marching cube算法去掉26領域連接點；

5)模型優化，通過水平集雙邊濾波和非線性幾何優化對結構進行了保留特征的平滑優化；

6)顏色注冊和網格生成，根據公式①找到每個三維點和圖像上的二維點的對應關系，通過對應關系把圖像的顏色直接賦予三維點；

不同角度拍攝的圖片的覆蓋范圍有重疊，則根據相機(12)到點的距離d把像素顏色的加權平均值賦予點云，即

其中

7)模型渲染，首先進行目標相機的內參標定，并使用標定板獲得以場景平面為參考的相機旋轉和平移，在VTK環境中進行相應的設置，之后把模型載入環境中，根據要求對角度和位置進行調整，并適當調整光照；其次判斷放進去的模型彼此是否重疊，并去掉重疊的模型，把不重疊的模型的截圖融合在一張大圖上，施加鏡頭畸變效果；最后根據截圖中物體的位置信息求得標注框的boundingbox參數。