[發明專利]一種基于深度學習的端到端散斑投影三維測量方法

有效

• 申請號: 202010982857.3
• 申請日: 2020-09-18
• 公開（公告）號: CN112419386B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 尹維;左超;陳錢;馮世杰;孫佳嵩;胡巖;陶天陽
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 岑丹

1.一種基于深度學習的端到端散斑投影三維測量方法，其特征在于，包括如下步驟：

步驟一：投影儀投影、雙目相機同步采集散斑圖案，對散斑圖案進行立體校正；

步驟二：基于共享權重的特征提取子網絡對散斑圖案進行處理得到設定尺寸的低分辨率的3維特征張量；

步驟三：將特征張量輸入到顯著性物體檢測子網絡中檢測散斑圖中的前景信息，生成全分辨率的有效掩膜圖；

步驟四：根據兩個視角的特征張量以及候選視差范圍生成4維匹配成本體，將4維匹配成本體輸入三維卷積層濾波實現成本聚合，通過視差回歸得到初始視差圖；

步驟五：根據有效掩膜圖和初始視差圖得到最終視差圖。

2.根據權利要求1所述的基于深度學習的端到端散斑投影三維測量方法，其特征在于，步驟二基于共享權重的特征提取子網絡對散斑圖案進行處理得到設定尺寸的低分辨率的3維特征張量的具體過程為：尺寸大小為H×W，散斑圖案經過3個具有相同輸出通道數的卷積層得到尺寸為32×H×W的張量；

經過1個具有步長為2的卷積層得到尺寸為32×H/2×W/2的張量；連續經過3個殘差塊得到尺寸為32×H/2×W/2的張量；

經過16個殘差塊得到尺寸為64×H/2×W/2的張量；

經過6個殘差塊得到尺寸為128×H/2×W/2的張量；

尺寸為128×H/2×W/2的張量然后分別經過大小為(5,5)、(10,10)、(20,20)、(40,40)的平均池化層與卷積層進行不同尺度的降采樣，并使用雙線性插值得到原分辨率的張量；

并將原分辨率的張量與尺寸為64×H/2×W/2的張量、尺寸為128×H/2×W/2的張量在特征通道上進行拼接，得到尺寸為320×H/2×W/2的張量；

經過兩個卷積層得到尺寸為32×H/2×W/2的張量。

3.根據權利要求2所述的基于深度學習的端到端散斑投影三維測量方法，其特征在于，步驟三將特征張量輸入到顯著性物體檢測子網絡中檢測散斑圖中的前景信息，生成全分辨率的有效掩膜圖的具體過程為：尺寸為32×H/2×W/2的張量經過3個殘差塊得到尺寸為64×H/2×W/2的張量；經過一個反卷積層得到尺寸為32×H×W的張量；經過3個殘差塊得到尺寸為32×H×W的張量；通過一個不含激活操作的卷積層得到尺寸為1×H×W的張量；經過一個Sigmoid層得到最終全分辨率的有效掩膜圖。

4.根據權利要求2所述的基于深度學習的端到端散斑投影三維測量方法，其特征在于，步驟四中使用兩個視角的特征張量根據候選視差范圍生成的4維匹配成本體具體為：

Cost(1:32,D_i-D_min+1,1:H,1:W-D_i)＝Feature_left(1:32,1:H,1:W-D_i)

Cost(33:64,D_i-D_min+1,1:H,1:W-D_i)＝Feature_right(1:32,1:H,D_i:W)

其中，Feature_left和Feature_right為兩個視角的特征張量，32×H/2×W/2為兩個視角的特征張量的尺寸，[D_min,D_max]為視差范圍，D_i為候選視差。

5.根據權利要求1所述的基于深度學習的端到端散斑投影三維測量方法，其特征在于，通過視差回歸得到初始視差圖的過程為：

匹配成本體經過Softmax層，通過視差回歸得到初始視差圖，如下式所示：

其中，[D_min,D_max]為視差范圍，Softmax(·)代表Softmax操作，Disparity代表通過視差回歸得到初始視差圖，Cost為經過成本濾波后的4維匹配成本體；

使用雙線性插值得到原分辨率的初始視差圖。

6.根據權利要求1所述的基于深度學習的端到端散斑投影三維測量方法，其特征在于，步驟五根據有效掩膜圖和初始視差圖得到的最終視差圖，如下式所示：

Disparity_final(x,y)＝Disparity(x,y)*Mask(x,y)

式中，Disparity為初始視差圖，Mask為有效掩膜圖。