[發明專利]基于多源深度殘差網絡的深度圖像超分辨率方法及裝置

在審

• 申請號: 201911349902.5
• 申請日: 2019-12-24
• 公開（公告）號: CN111105354A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 盧濤;郝曉慧;張彥鐸;胡記偉;魏明;許若波;陳沖;周強;郎秀娟;王宇;魏博識;王彬;吳志豪
• 申請（專利權）人: 武漢工程大學;武漢烽火技術服務有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 張宇

本發明公開了一種基于多源深度殘差網絡的深度圖像超分辨率方法及裝置，屬于深度圖像超分辨率領域。由于彩色圖像擁有豐富的紋理信息，本發明利用紋理信息豐富的彩色圖像引導深度圖像進行重建。因為殘差信息代表圖像的高頻信息，因此本發明首先將高分辨率圖像下采樣至目標低分辨率圖像，并且在雙分支網絡中分別提取輸入的低分辨率彩色圖像和深度圖像的殘差信息，然后將提取到的彩色圖像和深度圖像的殘差信息在融合網絡中進行融合，最后利用融合后的殘差信息和輸入的低分辨率深度圖像對高分辨率深度圖像進行重建。通過本發明提升了網絡的重建性能，使得重建后的深度圖像有較高質量的紋理信息。

技術領域

本發明屬于深度圖像超分辨率技術領域，更具體地，涉及一種基于多源深度殘差網絡的深度圖像超分辨率方法及裝置。

背景技術

深度圖像超分辨是一種特定領域的超分辨率方法，該方法從一張或多張輸入的低分辨率(Low Resolution，LR)圖像中重建高分辨率(High Resolution，HR)深度圖像，被廣泛應用在三維重建、三維電視、機器人目標感知等計算機視覺領域。

在深度圖像中，像素值代表了物體與相機之間的距離，因此深度圖像中的紋理信息在距離識別中起著重要的作用。然而，由于深度傳感器的限制，深度圖像的分辨率和質量往往低于相應的高分辨率彩色圖像。因此，從低分辨率圖像中恢復高分辨率深度圖像對計算機視覺至關重要。

一般來說，現有的超分辨率方法大多可以直接應用于單張深度圖像的超分辨率任務。然而，考慮到深度圖像的特殊性，人們提出了各種增強深度圖像邊緣的方法。例如，為了獲得高質量的信息提出了一種邊緣引導的深度圖像超分辨率方法；利用加權分析表示模型指導深度圖像增強的方法。除上述方法之外，一些基于RGBD圖像融合的深度圖像SR重建方法被提出，例如，利用高階正則化融合彩色和深度信息。

最近，卷積神經網絡在超分辨率任務上表現出了良好的性能。例如：SRCNN使用卷積神經網絡的圖像超分辨率，它提供了低分辨率和高分辨率圖像之間的端到端映射，但其訓練收斂速度太慢，得到的高頻信息不夠準確。因此，VDSR利用更深層次的殘差網絡架構來追求精確的高頻細節渲染。而對于深度圖像，一些方法使用生成式對抗網絡(GAN)同時進行彩色圖像和深度圖像超分辨率任務。雖然它們利用GAN對紋理信息進行了重建，但是生成的梯度信息并不穩定。除此之外，有的方法使用多尺度卷積神經網絡(MS-Net,MSG-Net)將彩色和深度圖像融合到特征域中。此方法雖然有效地改善了深度圖像的邊緣質量，但是為深度圖像創建了冗余細節，而且彩色和深度在特征域的融合抑制了超分辨率重建過程中的高頻信息的產生。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提出了一種基于多源深度殘差網絡的深度圖像超分辨率方法及裝置，由此解決如何提升網絡的重建性能，使得重建后的深度圖像有較高質量的紋理信息的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于多源深度殘差網絡的深度圖像超分辨率方法，包括：

(1)分別將高分辨率深度圖像和高分辨率彩色圖像下采樣至對應的目標低分辨率深度圖像和目標低分辨率彩色圖像，將所述高分辨率深度圖像與對應的所述目標低分辨率深度圖像輸入深度圖像超分辨率網絡進行訓練，以提取所述目標低分辨率深度圖像的殘差信息，將所述高分辨率彩色圖像與對應的所述目標低分辨率彩色圖像輸入彩色圖像超分辨率網絡進行訓練，以提取所述目標低分辨率彩色圖像的殘差信息；

(2)將所述目標低分辨率深度圖像的殘差信息和所述目標低分辨率彩色圖像的殘差信息進行拼接后，在殘差融合網絡進行融合，得到融合后的殘差信息；

(3)利用所述融合后的殘差信息和所述目標低分辨率深度圖像來重建高分辨率深度圖像，得到最終的高分辨率深度圖像。

優選地，步驟(1)包括：