[發明專利]圖像超分模型及訓練方法、圖像超分方法、圖像處理方法

在審

• 申請號: 202310360610.1
• 申請日: 2023-04-06
• 公開（公告）號: CN116385266A
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 郭建君
• 申請（專利權）人: 北京蔚領時代科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/08;G06N3/048;G06N3/0464;G06N3/0475
• 代理公司: 北京智丞瀚方知識產權代理有限公司 11810
• 代理人: 楊樂

一種圖像超分模型，包括：卷積模塊：進行卷積運算；激活函數計算模塊：使用激活函數對卷積模塊的輸出進行變換計算；像素清洗模塊：將通道進行合并得到輸出圖像。圖像超分模型的訓練方法，包括以下步驟：輸入低分辨率圖像；使用所述模型進行處理；輸出目標圖像；計算目標函數；判斷目標函數是否小于等于閾值。一種圖像超分方法，包括以下步驟：輸入圖像；使用所述訓練方法得到的推理模型對輸入圖像進行處理；輸出圖像。一種圖像處理方法，包括：確定目標區域；提取邊框坐標；劃分圖像超分任務；對每個任務進行圖像超分處理；輸出圖像。使用本發明的模型和方法，可以以較小計算量輸出高質量的超分圖片，可以安裝于中低端硬件且發熱量小。

技術領域

本發明涉及一種圖像質量超分領域，尤其涉及圖像超分模型及訓練方法、圖像超分方法、圖像處理方法。

背景技術

隨著移動硬件設備顯示分辨率越來越高，要求待顯示的圖像分辨率也隨之提高，受制于原有圖像分辨率原因，在移動設備上顯示時，對于分辨率較低的圖像需要增加分辨率，以匹配移動設備的顯示分辨率，獲得更清晰的顯示效果，例如，將原來1080p圖像進行像素×2或×4處理等，這種技術稱為圖像超分。在相關技術中，如果想要將超分模型部署在移動端，由于移動端硬件設備的限制，需要將超分模型的計算量以及參數量控制在一定范圍內，即使這樣部署在移動端尤其是中低端機型時仍會出現嚴重發熱現象。同時，通常會因為圖像渲染機制的原因，低分辨率圖片進行超分后渲染出來的大尺寸圖片相比于原生的高分辨圖片存在嚴重的質量下降，包括鋸齒問題、模糊問題等。另外，由于畫面渲染機制的問題，不同區域的質量也不一樣。而傳統的方案將圖片中所有區域同等對待，對特定需要清晰顯示的區域（例如重要的文字等）無法有效地有針對性地進行超分修復。

專利文獻CN113409192A公開了一種超分辨率芯片，包括：算法存儲硬件模塊，用于存儲已燒錄的初始超分辨率算法；更新接口，用于獲取用戶個性化圖像；更新硬件模塊，分別與所述更新接口和算法存儲硬件模塊相連，用于將各所述用戶個性化圖像作為訓練樣本進行超分辨率學習，得到目標超分辨率算法，以及基于所述目標超分辨率算法對所述算法存儲硬件模塊中存儲的已燒錄的初始超分辨率算法進行更新。上述相關技術中的模型計算量大，不能針對特定區域進行針對性處理。

發明內容

本發明要解決上述相關技術中存在的圖像超分導致圖像質量不佳、對特定區域不能進行針對性處理的問題，以較小的計算量提供高質量超分處理的圖像超分模型及其訓練方法、基于所述圖像超分模型的圖像超分方法、基于所述圖像超分方法的圖像處理方法。

針對上述存在的局限性，本發明提出了一種圖像超分模型，所述圖像超分模型10包括：

卷積模塊11，所述卷積模塊11由以下一項或多項并行支路組成：

3×3卷積核、1×1卷積核、串行的1×1卷積核與3×3卷積核、串行的1×1卷積核與x方向上Sobel邊緣算子、串行的1×1卷積核與y方向上Sobel邊緣算子、串行的1×1卷積核與拉普拉斯邊緣算子、串行的1×1卷積核與高斯算子；

所述卷積模塊11按照預設的輸入通道數和輸出通道數進行卷積運算；

激活函數計算模塊12：使用預設的激活函數對所述卷積模塊11的輸出進行變換計算；

像素清洗模塊13：按照預設的規則和輸入圖像的通道數，將所述激活函數計算模塊12的輸出進行通道合并得到輸出圖像；所述輸出圖像的通道數等于所述輸入圖像的通道數。

進一步地：

所述模型在運行時，使用所述卷積模塊11進行M次卷積運算；

所述M次卷積運算中第i次卷積運算，其輸入通道數等于第i-1次卷積運算的輸出通道數；其輸出通道數等于第i+1次卷積運算的輸入通道數；第M次卷積運算的輸出通道數等于目標放大倍數×目標放大倍數×輸入圖像的通道數；其中，2≤i≤M-1；