[發明專利]深度圖像的超分辨率重建方法、裝置、設備及存儲介質

在審

• 申請號: 201710557157.8
• 申請日: 2017-07-10
• 公開（公告）號: CN107392852A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 王旭;溫煒杰;江健民
• 申請（專利權）人: 深圳大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 深圳青年人專利商標代理有限公司44350
• 代理人: 吳桂華

本發明適用計算機技術領域，提供了一種深度圖像的超分辨率重建方法、裝置、設備及存儲介質，該方法包括：對輸入的低分辨率深度圖和對應的高分辨率彩色圖進行預處理，以獲取低分辨率深度圖的高頻信息圖像和低頻信息圖像、以及高分辨率彩色圖的高頻信息圖像，對獲取的兩個高頻信息圖像分別進行特征提取和全卷積操作，生成高頻全卷積特征圖，對低分辨率深度圖的高頻全卷積特征圖進行放大，然后和高分辨率彩色圖的高頻全卷積特征圖進行全卷積特征融合，并對得到的融合圖像進行重建，根據重建后高頻圖像的尺寸對低分辨率深度圖的低頻信息圖像進行放大，然后與重建后高頻圖像進行疊加，得到高分辨率深度圖像，從而提高了深度圖像的超分辨率重建效率。

技術領域

本發明屬于計算機技術領域，尤其涉及一種深度圖像的超分辨率重建方法、裝置、設備及存儲介質。

背景技術

深度圖像記錄了三維場景中物體到相機成像平面的距離信息，可用于虛擬視點繪制，實現自由視點等功能，給人們提供沉浸式的體驗。然而，受制于目前硬件技術等限制，深度相機所捕獲的深度圖像分辨率較低，而且在3D場景中我們往往需要與彩色圖像分辨率一致的深度圖像，比如在制作多視角3D視頻以及裸眼3D電視的技術中。因此，為了在三維場景中更加精確地重建物體的深度信息，還原更真實的場景，需要一種高效可行的圖像超分辨率方法對所采集的低分辨率深度圖像進行超分辨率重建。

目前，針對圖像的超分辨率的相關工作主要可以大致分為四類：第一類方法為經典濾波方法，即設計一種上采樣的濾波器對低分辨率深度圖進行濾波。Yang等人提出通過比較中間像素和其周圍相鄰區域的色彩相似性對每個深度圖小塊用聯合雙邊濾波器去給平滑區域加上對應的權重，但經典的濾波方法都存在過于固定的問題，一旦確定了某種濾波方式，則對應的濾波器結構就固定了下來，因此，該無法很好地去自適應其它的一些未考慮到的條件和場景。第二類方法是將深度圖像超分辨率看作函數優化問題，如Diebel等人提出了用馬爾可夫隨機場來表示該問題，但這種基于函數優化求解圖像超分辨率的方法都需要明確地規劃這個優化問題，這使得最終超分辨率效果與選擇的優化函數有極大的關系，而現如今這種方法已發展得較為成熟，在效果上難以有顯著的提升。第三類方法是字典學習的方式，通過稀疏編碼的方法找到低分辨率和高分辨率深度塊之間的關系，用少量的數據表示高維的特征。Yang等人提出尋求一種高分辨率和低分辨率之間的關系系數來得到高分辨圖像的方法，但基于稀疏編碼的超分辨率方法不僅重建時間長，無法做到實時性且還需要做額外的正則化，實現起來較為復雜。

第四類方法是基于卷積神經網絡的方法，主要是利用低分辨率和高分辨率圖像塊之間的先驗知識進行超分辨率重建。該方法與第三種字典學習的方法區別在于不需要明確地學習某個字典，例如Osendorfer等人提出通過卷積字典的推動，用卷積的稀疏編碼方法來實現圖像超分辨率；Dong等人則提出一個簡單端到端的超分辨率卷積神經網絡(SRCNN)來重建圖像，并取得了較好的效果；Christian等人采用生成對抗神經網絡(SRGAN)，在對圖像恢復的效果中考慮到了人類視覺的主觀感受；Mehdi等人采用深度殘差網絡(Res-Net)對圖像進行超分辨率。但以上基于卷積神經網絡的方法基本是對彩色圖像進行超分辨率，針對深度圖像超分辨率的網絡并不多見，只有Hui等人針對深度圖像提出的一個彩色圖指導的超分辨率卷積神經網絡(MSG-Net)，然而，這種方法為了尋求良好的融合策略，會使網絡結構復雜化，以至于網絡參數過多，導致網絡訓練出現難以收斂、訓練時間長等情況。綜上所述，現有的低分辨率深度圖像超分辨率重建方法無法同時提高深度圖像重建效果和深度圖像重建速率，導致深度圖像的超分辨率重建效率不高。

發明內容

本發明的目的在于提供一種深度圖像的超分辨率重建方法、裝置、設備及存儲介質，旨在解決由于現有技術難以在保證深度圖像重建效果的同時，提高深度圖像重建速率，導致深度圖像的超分辨率重建效率不高的問題。

一方面，本發明提供了一種深度圖像的超分辨率重建方法，所述方法包括下述步驟：