[發明專利]基于深度學習的單目深度估計方法

有效

• 申請號: 201910957758.7
• 申請日: 2019-10-10
• 公開（公告）號: CN110738697B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 林立雄;黃國輝;汪青;何炳蔚;張立偉;陳彥杰
• 申請（專利權）人: 福州大學
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06F18/2135;G06F18/25;G06N3/0464;G06N3/084
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 丘鴻超;蔡學俊

1.一種基于深度學習的單目深度估計方法，其特征在于，基于用于單目深度估計的無監督卷積神經網絡結構,包括：編碼器、多尺度特征融合模塊、門控自適應解碼器和細化單元；

包括以下步驟：

步驟S1：數據集預處理，生成單目原始圖像和其對應真實深度圖像的訓練集和測試集，對單目原始圖像進行數據增強；

步驟S2：構造卷積神經網絡的損失函數，輸入訓練集圖像，使用反向傳播算法計算損失函數損失值，通過反復迭代減小誤差進行參數學習，使預測值逼近真實值，以獲得卷積神經網絡的最佳權重模型；

步驟S3：加載步驟S2已訓練好的權重模型，將測試集輸入所述用于單目深度估計的無監督卷積神經網絡，獲得深度預測圖像；

所述步驟S1具體包括以下步驟：

步驟S11：對原始數據集進行分類，生成訓練集和測試集以及兩者的標簽文件，訓練集和測試集均包括原始圖像和相對應的真實深度圖像，標簽文件包括單目原始圖像和真實深度圖像的序號、文件目錄；

步驟S12：重新調整訓練集圖像大??；

步驟S13：對訓練集圖像進行隨機的水平翻轉；

步驟S14：對訓練集圖像進行隨機的角度旋轉；

步驟S15：分別將訓練集中的單目原始圖像和真實深度圖像調整至不同大小；

步驟S16：對訓練集中的單目原始圖像進行主成分分析；

步驟S17：對訓練集中的單目原始圖像進行圖像亮度、對比度和飽和度變換；

步驟S18：對訓練集中的單目原始圖像進行歸一化處理，歸一化參數為平均值和標準差；

在步驟S2中，所述構造卷積神經網絡的損失函數，是使用單目原始圖像和其對應真實深度圖像作為卷積神經網絡的輸入，其中單目原始圖像用于生成包含深度預測值的深度預測圖像，真實深度圖像用于計算損失函數，最后將深度預測值和真實圖像深度值同時作為損失函數的輸入；

所述損失函數由三個損失項組成，即：L＝L_d+L_grad+L_normal，其中：

L_d為深度重建誤差，用于計算深度預測值與真實深度之間的差值，即：p∈Ω，其中p定義為像素在圖像中的坐標，N為圖像的總像素數量，d_p表示真實圖像深度值，表示深度預測值，e_p表示深度預測值與真實圖像深度值之間的L1范數，α為參數值，取0.5，θ為圖像像素所屬區域；

L_grad為圖像梯度損失函數，即圖像梯度g的L1范數：其中g_x和g_y分別為e_p在x和y分量上的導數；L_normal為圖像表面法線損失函數，用于測量深度預測圖像的表面法線相對于真實深度圖像的準確性，即：

其中中間參數

2.根據權利要求1所述的基于深度學習的單目深度估計方法，其特征在于：所述編碼器采用ResNet-50網絡結構，共有五層，每一層網絡依次執行卷積、正則化、激活、池化操作，每層網絡對輸入圖像進行一次下采樣，使用ReLU激活函數

所述多尺度特征融合模塊將來自編碼器的低分辨率圖像通過子像素卷積轉為高分辨率圖像，作為細化單元的輸入：首先對編碼器第二至五層網絡的輸出進行子像素卷積，放大倍數分別為2、4、8、16倍，然后將四層圖像融合，進行卷積、正則化、激活，使用ReLU激活函數所述門控自適應解碼器有五層，每層網絡使用子像素卷積對圖像依次進行上采樣，上采樣放大倍數為2倍，其中第三、四、五層網絡采用門控單元對圖像特征進行篩選；

所述細化單元，融合來自門控自適應解碼器和多尺度特征融合模塊的輸出，按維數1拼接，再執行兩次卷積核大小為5，步長為2，填充值為2的卷積操作，每次卷積后需對圖像進行歸一化和激活處理，最后使用卷積將輸出圖像的通道數置為1，得到深度預測圖像。

3.根據權利要求2所述的基于深度學習的單目深度估計方法，其特征在于：所述子像素卷積的方法具體包括以下步驟：設輸入圖像的分辨率為H*W*C；其中，H、W、c分別表示圖像的高度、寬度和通道數；對于由L層組成的網絡，首先進行L-1次卷積運算，生成C*r²張分辨率為H*W圖像；再通過隨機運算生成分辨率為rH*rW*C的高分辨率圖像。