[發明專利]一種基于卷積殘差學習的單目圖像深度估計方法和系統

有效

• 申請號: 202011221345.1
• 申請日: 2020-11-06
• 公開（公告）號: CN112396645B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 胡靜;張美琦;張旭陽;陳智勇;沈宜帆;高翔
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/543
• 分類號: G06T7/543;G06V10/80;G06V10/82;G06K9/62
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 胡秋萍;李智

1.一種基于卷積殘差學習的單目圖像深度估計方法，其特征在于，該方法包括：

訓練階段：采用訓練集訓練深度估計模型，所述訓練集中的訓練樣本為單目圖像，標簽為對應深度圖；所述深度估計模型包括：

致密神經網絡，用于提取多尺度特征，其輸入為單目圖像，輸出為N個尺度不同、通道數不同的特征圖，N個特征圖按照特征尺度從大到小依次為第一特征圖C₁、第二特征圖C₂、…、第N特征圖C_N，這些特征圖由下而上，通道增加一倍并且尺度減小一倍；

多尺度特征融合模塊，用于對N個特征圖進行融合，其輸入為N個尺度不同、通道數不同的特征圖C₁～C_N，輸出為多尺度融合特征圖，具體包括：

特征金字塔網絡，其輸入為N個尺度不同、通道數不同的特征圖C₁～C_N，輸出為N個通道數相同、尺度不同的特征圖，金字塔自下而上依次為第一金字塔融合特征圖P₁、第二金字塔融合特征圖P₂、…第N金字塔融合特征圖P_N；

反卷積特征融合模塊，用于利用反卷積層對每個金字塔融合特征圖進行上采樣操作，得到N個通道數相同、尺度相同的反卷積融合特征圖S₁、S₂…S_N后，將反卷積融合特征圖S₁、S₂…S_N沿特征通道維度進行連接，并利用卷積層對連接后的特征圖進行平滑操作，其輸入為N個金字塔融合特征圖，輸出為平滑得到的1個指定通道數的多尺度融合特征圖；

上采樣優化模塊，用于利用反卷積層對多尺度融合特征圖進行上采樣操作，其輸入為多尺度融合特征圖和原始單目圖像，輸出為與原始單目圖像尺度相同的初始深度圖像；

卷積殘差學習模塊，用于將初始深度圖像和原始單目圖像連接為特征向量，利用四個串聯的卷積層對連接后的特征向量進行深度殘差學習，得到輪廓特征圖，然后將初始深度圖與輪廓特征圖相同位置的像素直接相加，其輸入為初始深度圖像和原始單目圖像，輸出為相加得到的優化深度圖；

應用階段：將目標單目圖像輸入至訓練好的深度估計模型，得到目標單目圖像的優化深度圖。

2.如權利要求1所述的方法，其特征在于，所述致密神經網絡采用DenseNet121網絡。

3.如權利要求1或2所述的方法，其特征在于，所述致密神經網絡末端不包含池化層和全連接層。

4.如權利要求1或2所述的方法，其特征在于，卷積殘差學習模塊中的四個串聯的卷積層，前面三個卷積層均為conv+BN+ReLU，stride＝1，最后一個卷積層為conv，stride＝1。

5.如權利要求1或2所述的方法，其特征在于，輸入的單目圖像為單目二維RGB圖或者灰度圖。

6.一種基于卷積殘差學習的單目圖像深度估計系統，其特征在于，包括：計算機可讀存儲介質和處理器；

所述計算機可讀存儲介質用于存儲可執行指令；

所述處理器用于讀取所述計算機可讀存儲介質中存儲的可執行指令，執行權利要求1至5任一項所述的基于卷積殘差學習的單目圖像深度估計方法。