[發明專利]一種圖像超分辨率處理方法及裝置

在審

• 申請號: 202010111550.6
• 申請日: 2020-02-24
• 公開（公告）號: CN113298705A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 藍玉海;左俊;閆智海;徐杰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 陳斌

本申請涉及圖像處理技術領域，公開了一種圖像超分辨率處理方法及裝置，用以解決圖像超分辨率處理在終端設備的實時性和功耗問題。該方法包括：獲取輸入圖像的一個或多個層級的中間特征圖，其中所述中間特征圖隨層級增加分辨率減小；對分辨率最小的中間特征圖進行細節還原，生成中間還原特征圖；基于所述中間還原特征圖，按照分辨率從小到大依次與所述一個或多個層級的中間特征圖進行融合重建，生成還原圖像，所述還原圖像與所述輸入圖像的分辨率相同；對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像，所述輸出圖像的分辨率大于所述輸入圖像的分辨率。

技術領域

本申請涉及圖像處理技術領域，尤其涉及一種圖像超分辨率處理方法及裝置。

背景技術

圖像超分辨率(超分)處理是近幾年迅速發展起來的一項圖像放大和畫質修復技術，即通過硬件或軟件的方法提高原有圖像的分辨率，同時盡可能地恢復圖像細節和修復畫質損傷。對于視頻超分辨率處理而言，可以理解為針對視頻的每一幀圖像進行圖像超分辨率處理，如對于每一幀圖像，可以通過一幀或多幀低分辨率的圖像來得到一幀高分辨率的圖像。在實時通信(real-time communication，RTC)多方通話、RTC直播拉流、或帶寬受限或網絡狀況不好的RTC兩方通話等場景，采用圖像超分辨率處理技術，可以通過在發送端降低圖像分辨率進行傳輸，在接收端進行分辨率放大和畫質提升，顯著降低視頻傳輸過程中的碼流大小以及數據量，保證RTC質量。

現有圖像超分辨率處理的技術方案如圖1所示，輸入的RGB圖像經過卷積神經網絡的提取，得到若干的中間特征圖。最后通過全局的跨連接，融合輸入圖像以及中間特征圖，通過重建得到輸出的RGB超分圖像。從圖1中可以看出，整個圖像超分辨率處理過程中，除了最后一步的重建過程，圖像或中間特征圖的分辨率都是保持不變的。這就導致參與卷積神經網絡計算的數據量非常龐大，在算力受限的手機、電視盒子等終端設備應用時，因計算的數據量非常龐大，會給終端設備帶來功耗增加等問題，并易引起嚴重的發熱。并且在RTC領域，由于實時性的要求，需要每幀圖像的處理時延不能高于傳輸幀率的倒數，否則會違背“生成-消費的平衡”原則，出現對圖像進行圖像超分辨率處理的速度，小于圖像傳輸的速度，導致丟幀甚至卡頓。因此，圖像超分辨率處理如果要真正實現在RTC等場景中的廣泛應用，需要解決圖像超分辨率處理在終端設備的實時性和功耗問題。

發明內容

本申請提供一種圖像超分辨率處理方法及裝置，用以解決圖像超分辨率處理在終端設備的實時性和功耗問題。

第一方面，本申請實施例提供一種圖像超分辨率處理方法，該方法包括：獲取輸入圖像的一個或多個層級的中間特征圖，其中所述中間特征圖隨層級增加分辨率減小；對分辨率最小的中間特征圖進行細節還原，生成中間還原特征圖；基于所述中間還原特征圖，按照分辨率從小到大依次與所述一個或多個層級的中間特征圖進行融合重建，生成還原圖像，所述還原圖像與所述輸入圖像的分辨率相同；對所述還原圖像和所述輸入圖像進行融合重建，生成輸出圖像，所述輸出圖像的分辨率大于所述輸入圖像的分辨率。