[發明專利]基于多源深度殘差網絡的深度圖像超分辨率方法及裝置

在審

• 申請號: 201911349902.5
• 申請日: 2019-12-24
• 公開（公告）號: CN111105354A
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 盧濤;郝曉慧;張彥鐸;胡記偉;魏明;許若波;陳沖;周強;郎秀娟;王宇;魏博識;王彬;吳志豪
• 申請（專利權）人: 武漢工程大學;武漢烽火技術服務有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 張宇

1.一種基于多源深度殘差網絡的深度圖像超分辨率方法，其特征在于，包括：

(1)分別將高分辨率深度圖像和高分辨率彩色圖像下采樣至對應的目標低分辨率深度圖像和目標低分辨率彩色圖像，將所述高分辨率深度圖像與對應的所述目標低分辨率深度圖像輸入深度圖像超分辨率網絡進行訓練，以提取所述目標低分辨率深度圖像的殘差信息，將所述高分辨率彩色圖像與對應的所述目標低分辨率彩色圖像輸入彩色圖像超分辨率網絡進行訓練，以提取所述目標低分辨率彩色圖像的殘差信息；

(2)將所述目標低分辨率深度圖像的殘差信息和所述目標低分辨率彩色圖像的殘差信息進行拼接后，在殘差融合網絡進行融合，得到融合后的殘差信息；

(3)利用所述融合后的殘差信息和所述目標低分辨率深度圖像來重建高分辨率深度圖像，得到最終的高分辨率深度圖像。

2.根據權利要求1所述的方法，其特征在于，步驟(1)包括：

(1.1)分別將高分辨率深度圖像和高分辨率彩色圖像下采樣至對應的目標低分辨率深度圖像和目標低分辨率彩色圖像；

(1.2)將所述高分辨率深度圖像分為若干高分辨率深度圖像塊，將對應的所述目標低分辨率深度圖像分為若干低分辨率深度圖像塊，將所述高分辨率彩色圖像分為若干高分辨率彩色圖像塊，將對應的所述目標低分辨率彩色圖像分為若干低分辨率彩色圖像塊；

(1.3)將各高分辨率深度圖像塊與對應的各低分辨率深度圖像塊輸入深度圖像超分辨率網絡進行訓練，以提取各低分辨率深度圖像塊的殘差信息，將各高分辨率彩色圖像塊與對應的低分辨率彩色圖像塊輸入彩色圖像超分辨率網絡進行訓練，以提取各低分辨率彩色圖像塊的殘差信息；

(1.4)將各低分辨率深度圖像塊的殘差信息進行融合得到所述目標低分辨率深度圖像的殘差信息，將各低分辨率彩色圖像塊的殘差信息進行融合得到所述目標低分辨率彩色圖像的殘差信息。

3.根據權利要求2所述的方法，其特征在于，由提取第j個低分辨率彩色圖像塊的殘差信息，由提取第j個低分辨率深度圖像塊的殘差信息，其中，表示彩色圖像超分辨率網絡第20層的權重，表示深度圖像超分辨率網絡第20層的權重，表示彩色圖像超分辨率網絡第19層產生的特征圖，表示深度圖像超分辨率網絡第19層產生的特征圖，表示彩色圖像超分辨率網絡第20層的偏置項，表示深度圖像超分辨率網絡第20層的偏置項。

4.根據權利要求1至3任意一項所述的方法，其特征在于，步驟(2)包括：

(2.1)由Concat函數將所述目標低分辨率深度圖像的殘差信息和所述目標低分辨率彩色圖像的殘差信息進行拼接得到拼接后的殘差圖；

(2.2)在殘差融合網絡中，將所述拼接后的殘差圖中不同通道的每個像素進行組合，得到融合后的殘差信息。

5.根據權利要求4所述的方法，其特征在于，由得到融合后的殘差信息，其中，f^Ca(X^C,X^D)表示拼接后的殘差圖，表示殘差融合網絡中第2層的權重矩陣，為殘差融合網絡中第1層生成的特征圖，為殘差融合網絡中第二層的偏置項，X^C表示與高分辨率彩色圖像大小相同的低分辨率彩色圖像，X^D表示與高分辨率深度圖像大小相同的低分辨率深度圖像。

6.根據權利要求5所述的方法，其特征在于，步驟(3)包括：

由Y(X^D)＝R^F(f^Ca(X^C,X^D))+X^D得到最終的高分辨率深度圖像。

7.根據權利要求3所述的方法，其特征在于，所述彩色圖像超分辨率網絡的損失函數為：其中，為第j個高分辨率彩色圖像塊，為第j個低分辨率彩色圖像塊。

8.根據權利要求7所述的方法，其特征在于，所述深度圖像超分辨率網絡的損失函數為：其中，為第j個高分辨率深度圖像塊，為第j個低分辨率深度圖像塊。