[發明專利]一種基于機器學習的結構光三維重建方法

在審

• 申請號: 202011329583.4
• 申請日: 2020-11-24
• 公開（公告）號: CN112330814A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 楊濤;彭磊;姜軍委;李曉曉;李歡歡;周翔
• 申請（專利權）人: 革點科技（深圳）有限公司
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于機器學習的結構光三維重建方法，其特征在于，包含以下步驟：

(一)確定投射條紋圖的組合方案；(二)投射并采集條紋圖；(三)分類得到類別圖；(四)回歸得到表示圖；(五)使用表示圖重建三維點云信息。

2.如權利要求1所述的結構光三維重建方法，其特征在于，所述步驟(一)如下：條紋圖投影組合方案，至少包含一個正弦條紋圖或者余弦條紋圖；條紋圖投影組合方案是多個不同頻率、相位進行的組合,或者是條紋圖與偽隨機點陣編碼、最小編碼、網格編碼的組合。

3.如權利要求1所述的結構光三維重建方法，其特征在于，所述步驟(二)中，數字圖像采集設備相對于投射器件具有一定的夾角或者空間位置的偏移，并工作在同一波段，依次采集投射在物體表面的結構光信息。

4.如權利要求1所述的結構光三維重建方法，其特征在于，所述步驟(三)中，通過分類算法，將結構光信息進行像素級的分類，以將其所包含的相位信息映射到一個類別空間，得到整型的類別圖；所述分類算法的特征在于，其是基于學習的分類算法；為了提高精度，一種備選方案是采用多個分類器進行串聯或者并聯；所述基于學習的分類算法訓練的真值使用相移法計算得到的絕對相位Φ進行變換得到。

5.如權利要求1所述的結構光三維重建方法，其特征在于，所述步驟(四)如下：

以步驟(四)步中整型的類別圖為輸入，構建卷積網絡進行回歸，進一步得到浮點型的表示圖；表示圖的訓練真值為使用相移法計算得到的絕對相位Φ。所述回歸過程的訓練是在完成分類過程訓練之后，凍結特征提取和分類網絡參數后，僅僅更新特征回歸網絡的參數訓練得到。

6.如權利要求1所述的結構光三維重建方法，其特征在于，所述步驟(五)中，需要首先標定獲得系統的參數；然后使用表示圖進行重建。

7.如權利要求2所述結構光三維重建方法，其特征在于，結構光編碼組合方式是在根據Z向精度要求，XY向分辨率要求，速度要求，物體表面特征因素進行確定的。

8.如權利要求2所述結構光三維重建方法，其特征在于，結構光編碼組合方式至少有一張是條紋結構光，用下式進行表示：

其中，A^p和B^p分別為投射條紋圖的背景和調制度，為相位信息并且有：

其中，f₀是投影結構光的條紋頻率。

9.如權利要求4所述結構光三維重建方法，其特征在于，使用深度卷積網絡提取特征，然后使用softmax分類器進行分類，使用交叉損失熵作為訓練的損失函數。

10.如權利要求6所述結構光三維重建方法，其特征在于，所述步驟(五)中重建方法是：

在將分類圖定義為和絕對相位Φ存在直接映射關系的一種表示的前提下，在上一步的基礎上，利用下式重建深度Z：

其中b為基線距，f為焦距，α和β為和類別空間取值范圍相關的、確定的系數；C_r為表示圖；

此時，X和Y的信息可以根據系統標定得到的內外參數和Z進行計算，從而建立三維點云：

其中，x,y是相機坐標系坐標。