[發明專利]一種基于深度預測和增強子網絡的高質量深度估計方法

有效

• 申請號: 201810207285.4
• 申請日: 2018-03-14
• 公開（公告）號: CN108510535B
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 葉昕辰;李豪杰;李陽;段祥越
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06N3/04;G06N3/08
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 陳玲玉

1.一種基于深度預測和增強子網絡的高質量深度預測方法，其特征在于，包括如下步驟：

1)準備初始數據：初始數據包括用來訓練的彩色圖和對應的深度圖，以及用來測試的彩色圖和對應的深度圖；

2)深度預測子網絡的構建：

2-1)利用擴張率為2的空洞卷積取代ResNet-101(101層殘差網絡)中最后兩個下采樣層；在特征圖分辨率不下降的情況下增大感受野的大小；

2-2)利用四個擴張率不同的空洞卷積代替ResNet-101最后的全連接層實現空間金字塔結構；所述不同擴張率分別為6、12、18、24；不同擴張率的空洞卷積有效準確的實現對不同尺度物體的覆蓋，從而提高對不同尺寸物體深度預測的準確度，同時大大提高了時間效率；

3)深度增強子網絡的構建：利用遞進的卷積神經網絡結構替代常見的線性插值和上采樣結構，接在深度預測子網絡的后面實現深度圖分辨率的恢復；

3-1)利用高頻濾波器提取彩色圖像的高頻信息，并利用多層卷積提取特征，作為深度增強子網絡的輸入之一，幫助深度增強子網絡在進行分辨率恢復時進行邊緣優化；

3-2)深度圖輸入分支為卷積神經網絡結構，包括三個相同結構的上采樣模塊，每個模塊包括一個卷積層、一個標準的跳躍結構和一個反卷積層；每個模塊將分辨率擴大到原來分辨率的兩倍；

3-3)將兩個輸入分支連接在一起，再經過一次卷積操作，得到最后的輸出；

4)基于步驟(2)和步驟(3)得到卷積神經網絡進行訓練。

2.根據權利要求1所述的一種基于深度預測和增強子網絡的高質量深度預測方法，其特征在于，步驟4)中基于步驟(2)和步驟(3)得到卷積神經網絡進行訓練，具體包括以下步驟：

4-1)首先對深度預測、深度增強子網絡進行分開訓練，分別得到收斂的訓練模型；

4-2)然后，設計一種損失函數用于促使預測深度圖逼近實際深度圖，公式如下：

式中L表示所要求的損失函數，表示深度預測子網絡得到的低分辨的深度圖，d_s表示與對應的實際深度圖，表示深度增強網絡得到的高分辨率的深度圖，d表示與對應的實際深度圖，λ表示平衡系數，定義域為(0，1]，N表示每次訓練的圖片數量，i表示當前圖片索引，定義域為[1，N]，||·||₂表示2范數；利用上式聯合訓練深度預測、深度增強子網絡,優化整個網絡。