[發明專利]一種基于卷積殘差學習的單目圖像深度估計方法和系統

有效

• 申請號: 202011221345.1
• 申請日: 2020-11-06
• 公開（公告）號: CN112396645B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 胡靜;張美琦;張旭陽;陳智勇;沈宜帆;高翔
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/543
• 分類號: G06T7/543;G06V10/80;G06V10/82;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍;李智

本發明公開了一種基于卷積殘差學習的單目圖像深度估計方法和系統，屬于圖像處理領域。利用預訓練的致密神經網絡對單目二維圖像進行多尺度特征提取；將提取的多尺度特征通過特征金字塔結構和反卷積操作進行融合；將融合得到的多尺度特征通過上采樣得到初始深度圖；最后將初始深度圖和原始參考圖像串接進行卷積操作學習深度殘差，生成細化的深度預測圖像。本發明在深度圖估計中引入特征金字塔結構，充分考慮圖像的多尺度特征，利用反卷積操作對多尺度特征進行上采樣。另外，將通過反卷積得到的初始深度圖像和原始的參考圖像連接來學習深度殘差，然后再將初始深度圖添加回來以生成細化的深度信息圖，使得到的預測深度圖像信息更豐富，細節更明顯。

技術領域

本發明屬于圖像處理領域，更具體地，涉及一種基于卷積殘差學習的單目圖像深度估計方法和系統。

背景技術

通過從深度圖中重建模型網格，是目前深度圖融合算法中重建效果最好的方法之一。對每個運動視角下捕獲的RGB圖像估計其對應深度值，直接影響到基于深度圖融合的三維目標重建的效果，因此，利用構建一個高效準確的深度圖預測網絡框架進行三維目標重建具有很大的研究意義。

全卷積網絡模型簡單來說，就是包含編碼-解碼(Encoder-Decoder)兩個模塊，通過編碼網絡模塊對單目圖像提取特征，再利用一系列串聯的上反卷積層作為解碼網絡預測圖像深度信息。因此，在全卷積網絡中如何從二維RGB圖像中提取足夠的結構特征信息和準確預測像素深度信息是圖像深度估計尤其關鍵的步驟。

王泉德等人2020年提出一種端對端訓練的單目圖像深度估計網絡模型，該模型加入了由圖像編碼器各層到對應圖像解碼器各層的跳層結構，實現多尺度的特征融合。但是其使用跳層結構進行多尺度特征融合，并直接利用反卷積得到深度圖，該方法存在結構細節信息丟失、預測誤差大等問題。

發明內容

針對現有技術的缺陷和改進需求，本發明提供了一種基于卷積殘差學習的單目圖像深度估計方法和系統，其目的在于通過將反卷積得到的初始深度圖像和大小調整后的參考圖像連接來學習深度殘差，然后再將初始深度圖添加回來以生成細化的深度信息圖。

為實現上述目的，按照本發明的第一方面，提供了一種基于卷積殘差學習的單目圖像深度估計方法，該方法包括：

訓練階段：采用訓練集訓練深度估計模型，所述訓練集中的訓練樣本為單目圖像，標簽為對應深度圖；所述深度估計模型包括：

致密神經網絡，用于提取多尺度特征，其輸入為單目圖像，輸出為N個尺度不同、通道數不同的特征圖，N個特征圖按照特征尺度從大到小依次為第一特征圖C₁、第二特征圖C₂、…、第N特征圖C_N，這些特征圖由下而上，通道增加一倍并且尺度減小一倍；

多尺度特征融合模塊，用于利用特征金字塔對N個特征圖進行融合，其輸入為N個尺度不同、通道數不同的特征圖，輸出為多尺度融合特征圖；

上采樣優化模塊，用于利用反卷積層對多尺度融合特征圖進行上采樣操作，其輸入為多尺度融合特征圖和原始單目圖像，輸出為與原始單目圖像尺度相同的初始深度圖像；

卷積殘差學習模塊，用于將初始深度圖像和原始單目圖像連接為特征向量，利用四個串聯的卷積層對連接后的特征向量進行深度殘差學習，得到輪廓特征圖，然后將初始深度圖與輪廓特征圖相同位置的像素直接相加，其輸入為初始深度圖像和原始單目圖像，輸出為相加得到的優化深度圖；

應用階段：將目標單目圖像輸入至訓練好的深度估計模型，得到目標單目圖像的優化深度圖。