[發明專利]圖像處理方法、電子設備及計算機程序產品

在審

• 申請號: 202111101722.2
• 申請日: 2021-09-18
• 公開（公告）號: CN114022354A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 北京曠視科技有限公司;北京邁格威科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本發明提供了一種圖像處理方法、裝置及電子設備，該方法包括：獲取待處理圖像；通過多特征提取神經網絡對待處理圖像進行高頻特征預測處理，得到具有不同高頻特征的多個輸出圖像；其中，任意兩個輸出圖像之間的相似度小于第一相似度；將多個輸出圖像進行融合，得到待處理圖像對應的高頻圖像；其中，高頻圖像的分辨率高于待處理圖像。基于對多個具有不同高頻特征的輸出圖像得到的高頻圖像，可以有效提高高頻圖像的精度。

技術領域

本發明涉及圖像處理技術領域，尤其是涉及一種圖像處理方法、電子設備及計算機程序產品。

背景技術

超分辨率(SR，Super-Resolution)是給出一張低分辨率圖像來恢復出一張高分辨率圖像的視覺任務。近年來，CNN超分辨率逐漸取代了反向投影、稀疏表示和字典學習等傳統方法，成為主流超分辨率方法。

因為一個低分辨率圖像中的內容辨識度很低，可能應對很多甚至無窮的高分辨率的形態，因此，超分辨率是一個不適定(ill-posed)。傳統的直入直出的單分支方法，對低分辨率圖像直接進行學習，容易產生比較模糊的輸出，有些基于GAN的方法將單分支網絡加入了GAN loss想產生和高分辨率圖像(HR，High-Resolution)相似的高頻紋理，但是其本質還是只能獲得單一高頻特征的輸出，并且生成的紋理不可控，導致輸出的結果的精度不高。

發明內容

有鑒于此，本發明的目的在于提供一種圖像處理方法、電子設備及計算機程序產品，以提高高頻圖像的精度。

第一方面，本發明實施例提供一種圖像處理方法，該方法包括：獲取待處理圖像；通過多特征提取神經網絡對待處理圖像進行高頻特征預測處理，得到具有不同高頻特征的多個輸出圖像；其中，任意兩個輸出圖像之間的相似度小于第一相似度；將多個輸出圖像進行融合，得到待處理圖像對應的高頻圖像；其中，高頻圖像的分辨率高于待處理圖像。

進一步地，上述多特征提取神經網絡包括多層，每一層中包括多個特征提取模塊，前一層的特征提取模塊與下一層的至少一個特征提取模塊連接，位于不同層的相互連接的特征提取模塊構成多特征提取神經網絡的一個通道；上述通過多特征提取神經網絡對待處理圖像進行高頻特征預測處理，得到具有不同高頻特征的多個輸出圖像的步驟，包括：通過多特征提取神經網絡對待處理圖像進行第一特征提取，得到初始特征；通過多特征提取神經網絡的多個通道中的當前通道對初始特征進行第二特征提取，得到該通道對應的輸出特征；其中，任意一個通道對應的輸出特征的分辨率高于初始特征的分辨率；將每個通道的輸出特征分別進行上采樣處理，得到多個輸出圖像。

進一步地，上述通過多特征提取神經網絡的多個通道中的當前通道對初始特征進行第二特征提取，得到該通道對應的輸出特征的步驟，包括：通過當前特征提取模塊對輸入特征進行第二特征提取，得到該特征提取模塊對應的初始輸出特征；其中，如果當前特征提取模塊為通道中的第一個特征提取模塊，則輸入特征為初始特征，否則，輸入特征為上一個特征提取模塊的輸出特征；將初始輸出特征和當前特征提取模塊對應的輸入特征組合，作為當前特征提取模塊的輸出特征；判斷當前特征提取模塊是否為當前通道中的最后一個特征提取模塊；如果否，繼續執行第二特征提取操作；如果是，將當前特征提取模塊的輸出特征與當前通道中每一層的第一個特征提取模塊的輸入特征融合，將融合結果確定為當前通道對應的輸出特征。

進一步地，上述將多個輸出圖像進行融合，得到待處理圖像對應的高頻圖像的步驟，包括：通過融合網絡確定每個輸出圖像的權重；將各個輸出圖像按照對應的權重進行加權求和，得到高頻圖像。

進一步地，上述多特征提取神經網絡通過以下方式訓練獲得：獲取樣本圖像及初始神經網絡；其中，樣本圖像包括訓練圖像及其對應的標簽圖像，標簽圖像的分辨率高于訓練圖像的分辨率；對樣本圖像進行第三特征提取，得到訓練圖像對應的訓練特征；通過初始神經網絡對訓練特征進行第四特征提取，得到多個預測特征；預測特征的分辨率高于訓練特征的分辨率；根據預測特征確定預測特征對應的預測圖像；根據預測圖像及其對應的標簽圖像，確定總損失值；根據總損失值調整多特征提取神經網絡的參數，直至滿足第一訓練停止條件。