[發明專利]RGB-D圖像的多尺度融合深度圖像增強方法及裝置

在審

• 申請號: 202110290784.6
• 申請日: 2021-03-18
• 公開（公告）號: CN113033645A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 賴水長;過潔;郭延文
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 馮艷芬

本發明公開了一種RGB?D圖像的多尺度融合深度圖像增強方法及裝置。本發明包括：(1)通過雙分支逐步融合的方案，使RGB圖像和深度圖像輸入可以在深度預測中相互補充，用深度確保圖像大體結構完整，用彩色填充缺失像素值；(2)通過分析真實數據的噪聲分布，設計了一種混合多尺度損失函數，保證即使在真實圖像數據有噪聲的情況下，高質量的清晰圖像仍舊可以生成。本發明能夠合理利用RGB圖像和深度圖像各自的特征，確保彩色圖像所得到的特征信息對深度圖像的修復起到輔助作用，最終預測完整的深度圖像，顯著提高了深度圖像的質量。

技術領域

本發明涉及圖像處理技術，尤其涉及一種RGB-D圖像的多尺度融合深度圖像增強方法及裝置。

背景技術

深度圖像增強技術可以劃分為兩類，一類是在硬件層面，提高設備質量、精度或是改進設計方案，從而獲得更高質量的深度圖像。另一類是從軟件層出發，根據圖像處理原理來設計算法對深度圖像進行增強。改善硬件需要考慮成本和物理因素限制的問題，而提升軟件算法的開發成本低且無需考慮諸多限制，優勢更為明顯。

近幾年，深度學習在傳統RGB圖像增強領域取得了令人矚目的進步，有很多想法被應用在深度圖像增強領域。Jeon等人選擇拉普拉斯金字塔深度網絡作為基礎網絡結構，提出了LapDEN，該方法可以從原始深度圖像中生成干凈清晰的深度圖像，但對于原始圖像中的大面積空洞及物體邊緣無法做到準確的恢復。而Zhang等人提出了使用3D重建從RGB-D流生成深度圖像數據集，與LapDEN的工作相反，他們主要專注于估計較大的未觀察到的深度值，但無法從低質量的RGB-D圖像中消除噪聲和空洞。這些方法都是致力于增強RGB-D攝像機捕獲的深度圖像質量的，但對深度噪聲、深度空洞和深度不連續性這幾個關鍵性問題仍沒做到好的解決。

發明內容

發明目的：本發明針對現有技術存在的問題，提供一種可解決深度噪聲、深度空洞和深度不連續性問題的RGB-D圖像的多尺度融合深度圖像增強方法及裝置。

技術方案：本發明所述的RGB-D圖像的多尺度融合深度圖像增強方法包括：

(1)建立多尺度融合網絡模型，所述多尺度融合網絡模型包括深度圖像處理分支、RGB圖像處理分支和多尺度融合預測分支，所述深度圖像處理分支用于從深度圖像中提取特征信息，所述RGB圖像處理分支用于從與深度圖像成對的RGB圖像中提取特征信息，所述多尺度融合預測分支用于將深度圖像處理分支和RGB圖像處理分支提取到的特征信息按照從低尺度到高尺度的順序逐步融合，預測增強的深度圖像；

(2)獲取若干包括深度圖像和對應RGB圖像的圖像對作為樣本，將深度圖像增強后的參考深度圖像作為樣本標簽，輸入建立好的多尺度融合網絡模型，進行網絡訓練；

(3)將待增強的深度圖像和對應的RGB圖像輸入訓練好的多尺度融合網絡模型，得到增強后的圖像。

進一步的，步驟(1)中所述深度圖像處理分支具體為殘差學習網絡，包括依次連接的第一卷積模塊、第二殘差模塊、第三殘差模塊和第四殘差模塊，四個模塊的尺度依次降低1/2。

進一步的，步驟(1)中所述RGB圖像處理分支具體為全卷積網絡，所述全卷積網絡包括依次連接的第一卷積模塊、第二卷積模塊、第三卷積模塊和第四卷積模塊，四個模塊的尺度依次降低1/2，每個卷積模塊均內含三個卷積層和一個最大池化層，第一個卷積層都為空洞卷積，中間兩個卷積層為卷積核。

進一步的，步驟(1)中所述多尺度融合預測分支包括依次連接的第一卷積模塊、第二卷機模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊和第六卷積模塊，第一卷積模塊、第二卷積模塊、第三卷積模塊、第四卷積模塊的尺度依次2倍數增大，第五卷積模塊和第六卷積模塊與第四卷積模塊尺度相同，