[發明專利]一種圖像超分辨率處理方法及裝置

在審

• 申請號: 202010111550.6
• 申請日: 2020-02-24
• 公開（公告）號: CN113298705A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 藍玉海;左俊;閆智海;徐杰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 陳斌

1.一種圖像超分辨率處理方法，其特征在于，包括：

獲取輸入圖像的一個或多個層級的中間特征圖，其中所述中間特征圖隨層級增加分辨率減小；

對分辨率最小的中間特征圖進行細節還原，生成中間還原特征圖；

基于所述中間還原特征圖，按照分辨率從小到大依次與所述一個或多個層級的中間特征圖進行融合重建，生成還原圖像，所述還原圖像與所述輸入圖像的分辨率相同；

對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像，所述輸出圖像的分辨率大于所述輸入圖像的分辨率。

2.如權利要求1所述的方法，其特征在于，所述獲取輸入圖像的一個或多個層級的中間特征圖，包括：

獲取輸入圖像的Y通道數據的一個或多個層級的中間特征圖。

3.如權利要求2所述的方法，其特征在于，所述方法還包括：

對所述輸入圖像的U、V通道數據進行插值放大，生成所述輸出圖像的U、V通道數據；

對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像，包括：

對所述還原圖像的Y通道數據和所述輸入圖像的Y通道數據進行融合重建，生成所述輸出圖像的Y通道數據；

根據所述輸出圖像的U、V通道數據和所述輸出圖像的Y通道數據，合成所述輸出圖像。

4.如權利要求1所述的方法，其特征在于，所述獲取輸入圖像的一個或多個層級的中間特征圖，包括：

基于卷積神經網絡獲取輸入圖像的一個或多個層級的中間特征圖。

5.如權利要求1所述的方法，其特征在于，對所述分辨率最小的中間特征圖進行細節復原，生成中間還原特征圖，包括：

基于神經網絡模型將所述分辨率最小的中間特征圖還原為所述中間還原特征圖。

6.一種圖像超分辨率處理裝置，其特征在于，包括：

提取單元，用于獲取輸入圖像的一個或多個層級的中間特征圖，其中所述中間特征圖隨層級增加分辨率減小；

還原單元，用于對分辨率最小的中間特征圖進行細節還原，生成中間還原特征圖；

重建單元，用于基于所述中間還原特征圖，按照分辨率從小到大依次與所述一個或多個層級的中間特征圖進行融合重建，生成還原圖像，所述還原圖像與所述輸入圖像的分辨率相同；

所述重建單元，還用于對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像，所述輸出圖像的分辨率大于所述輸入圖像的分辨率。

7.如權利要求6所述的裝置，其特征在于，所述提取單元在獲取輸入圖像的一個或多個層級的中間特征圖時，具體用于：

獲取輸入圖像的Y通道數據的一個或多個層級的中間特征圖。

8.如權利要求7所述的裝置，其特征在于，所述重建單元，還用于：

對所述輸入圖像的U、V通道數據進行插值放大，生成所述輸出圖像的U、V通道數據；

所述重建單元對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像時，具體用于：

對所述還原圖像的Y通道數據和所述輸入圖像的Y通道數據進行融合重建，生成所述輸出圖像的Y通道數據；

根據所述輸出圖像的U、V通道數據和所述輸出圖像的Y通道數據，合成所述輸出圖像。

9.如權利要求6所述的裝置，其特征在于，所述提取單元在獲取輸入圖像的一個或多個層級的中間特征圖時，具體用于：

基于卷積神經網絡獲取輸入圖像的一個或多個層級的中間特征圖。

10.如權利要求6所述的裝置，其特征在于，所述還原單元在對所述分辨率最小的中間特征圖進行細節復原，生成中間還原特征圖時，具體用于：

基于神經網絡模型將所述分辨率最小的中間特征圖還原為所述中間還原特征圖。