[發明專利]RGB-D圖像的多尺度融合深度圖像增強方法及裝置

在審

• 申請號: 202110290784.6
• 申請日: 2021-03-18
• 公開（公告）號: CN113033645A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 賴水長;過潔;郭延文
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 馮艷芬

1.一種RGB-D圖像的多尺度融合深度圖像增強方法，其特征在于該方法包括：

(1)建立多尺度融合網絡模型，所述多尺度融合網絡模型包括深度圖像處理分支、RGB圖像處理分支和多尺度融合預測分支，所述深度圖像處理分支用于從深度圖像中提取特征信息，所述RGB圖像處理分支用于從與深度圖像成對的RGB圖像中提取特征信息，所述多尺度融合預測分支用于將深度圖像處理分支和RGB圖像處理分支提取到的特征信息按照從低尺度到高尺度的順序逐步融合，預測增強的深度圖像；

(2)獲取若干包括深度圖像和對應RGB圖像的圖像對作為樣本，將深度圖像增強后的參考深度圖像作為樣本標簽，輸入建立好的多尺度融合網絡模型，進行網絡訓練；

(3)將待增強的深度圖像和對應的RGB圖像輸入訓練好的多尺度融合網絡模型，得到增強后的圖像。

2.根據權利要求1所述的RGB-D圖像的多尺度融合深度圖像增強方法，其特征在于：步驟(1)中所述深度圖像處理分支具體為殘差學習網絡，包括依次連接的第一卷積模塊、第二殘差模塊、第三殘差模塊和第四殘差模塊，四個模塊的尺度依次降低1/2。

3.根據權利要求2所述的RGB-D圖像的多尺度融合深度圖像增強方法，其特征在于：步驟(1)中所述RGB圖像處理分支具體為全卷積網絡，所述全卷積網絡包括依次連接的第一卷積模塊、第二卷積模塊、第三卷積模塊和第四卷積模塊，四個模塊的尺度依次降低1/2，每個卷積模塊均內含三個卷積層和一個最大池化層，第一個卷積層都為空洞卷積，中間兩個卷積層為卷積核。

4.根據權利要求3所述的RGB-D圖像的多尺度融合深度圖像增強方法，其特征在于：步驟(1)中所述多尺度融合預測分支包括依次連接的第一卷積模塊、第二卷機模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊和第六卷積模塊，第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊的尺度依次2倍數增大，第五卷積模塊和第六卷積模塊與第四卷積模塊尺度相同，

其中，所述第一卷積模塊包括兩個卷積層，分別輸入所述深度圖像處理分支中第四殘差模塊的輸出和所述RGB圖像處理分支的第四卷積模塊的輸出，所述第二卷積模塊包括兩個卷積層和一個轉置卷積層，兩個卷積層分別輸入所述深度圖像處理分支的第三殘差模塊的輸出和所述RGB圖像處理分支的第三卷積模塊的輸出，所述第三卷積模塊包括兩個卷積層和一個轉置卷積層，兩個卷積層分別輸入所述深度圖像處理分支的第二殘差模塊的輸出和所述RGB圖像處理分支的第二卷積模塊的輸出，所述第四卷積模塊包括兩個卷積層和一個轉置卷積層，兩個卷積層分別輸入所述深度圖像處理分支的第一卷積模塊的輸出和所述RGB圖像處理分支的第一卷積模塊的輸出。

5.根據權利要求4所述的RGB-D圖像的多尺度融合深度圖像增強方法，其特征在于：步驟(2)進行網絡訓練時采用的損失函數為：

式中，L表示總損失，表示數據損失，表示結構保留損失，y表示樣本中的真實深度圖像，表示模型預測的深度圖像，分別表示從大到小的圖像尺度，具體依次為所述深度圖像處理分支的第一卷積模塊、第二殘差模塊、第三殘差模塊和第四殘差模塊的尺度，ω_l表示不同尺度l的權重系數，表示l尺度的預測深度圖像，y_l表示l尺度的真實深度圖像，H表示輸入圖像的高度，W表示輸入圖像的寬度，分別表示y、中第i行第j列的像素與其左邊和上邊的鄰近像素的差值，即梯度值。

6.一種RGB-D圖像的多尺度融合深度圖像增強裝置，包括處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于：所述處理器執行所述程序時實現權利要求1-5中任意一項所述的方法。