[發明專利]一種擁有發絲級細節的單圖像超分辨率重建方法

在審

• 申請號: 202310197751.6
• 申請日: 2023-03-02
• 公開（公告）號: CN116362969A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 王員根;馮健聰
• 申請（專利權）人: 廣州大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/048;G06N3/0464;G06N3/045;G06N3/08
• 代理公司: 廣州高航知識產權代理有限公司 11530
• 代理人: 喬浩剛

本發明涉及單圖像超分辨率技術領域，且公開了一種擁有發絲級細節的單圖像超分辨率重建方法，首先引入了一個非局部注意機制，通過對整個圖像區域的學習來恢復局部片段。然后，我們發現，現有的方法對于模糊核的使用和估計是沒有必要的。基于這一發現，我們創建了一個雙分支的網絡結構，將非局部注意力機制和深度可分離卷積結合起來，但由于兩者均沒有考慮通道間的信息交互，因此，我們在雙分支后接上通道注意力機制，以獲得通道間的信息交互。

技術領域

本發明涉及單圖像超分辨率技術領域，具體為一種擁有發絲級細節的單圖像超分辨率重建方法。

背景技術

隨著手機和平板電腦等移動設備的迅速發展，人們已經不再滿足于對低質量圖片的瀏覽，而更加傾向于瀏覽視覺效果更好的高分辨率圖像。同時隨著網絡技術的逐步發展，如今大多數電子設備已可以支持接收和顯示超高分辨率圖像。但由于圖片在采集、傳輸、和儲存的過程中，很容易被引入失真。因此，對單圖像超分辨率重建成為了當今計算機視覺中一個重要的研究課題。同時由于在實際應用中，人們在互聯網上瀏覽的圖像都是沒有原始圖像作為參考的，這就促進了盲圖像超分辨率重建領域的發展。

通常，失真包括自然的真實失真和人工的合成失真。真實失真是在拍攝過程中由于曝光不足、過度曝光或欠曝、拍攝者運動導致的模糊以及壓縮誤差等自然失真的混合。合成失真是指由人工添加的諸如白噪聲、高斯模糊、JPEG2000、椒鹽噪聲、全局對比度降低等引起的失真。無論是真實失真還是合成失真都廣泛的出現在圖像中。因此，能發明一種可以對任意失真類型的圖像，都能進行超分辨率重建的方法具有重大意義。

現有技術方案1：劉若鵬，一種超分辨率重建方法，2020。

本發明提供了一種超分辨率重建方法，所述方法包括：建立圖片數據集；搭建神經網絡結構，所述神經網絡結構用于在神經網絡訓練過程中提取所述圖片數據集的特征；建立神經網絡結構的損失函數，所述損失函數用于指導神經網絡訓練；對所述圖片數據集進行訓練得到神經網絡模型；使用神經網絡模型重建圖片，輸入低分辨率圖片，輸出高分辨率圖片。將SRGAN(Super-Resolution?Generative?Adversarial?Network)進行了改進，其中將生成網絡G-NET改變了網絡結構，改進了損失函數，由于改進后，生成網絡G-NET提取出更精確的特征，使得超分辨率重建的效果更優，所以在做檢測、識別、語義分割時候，可以獲得更好效果。

現有技術方案2：李冀翔，一種圖像超分辨率重建方法，2020。

本發明公開一種圖像超分辨率重建方法，其包括以下步驟：將低分辨特征空間和高分辨特征空間構造成多個成對設置的低分辨特征子空間和高分辨特征子空間；在成對設置的低分辨特征子空間和高分辨特征子空間之間建立線性映射關系；根據線性映射關系將低分辨率重構圖像重構成高分辨率重構圖像。采用本發明圖像超分辨率重建方法能夠快速的獲得高質量的高分辨率圖像。

現有技術方案3：常侃，基于重建的圖像超分辨率方法，2019。

本申請公開了一種基于重建的圖像超分辨率方法，包括：a、對低分辨率LR圖像Y，生成初始HR圖像X0，并將初始HR圖像作為最近一次重建的HR圖像X'；b、在最近一次重建的HR圖像X'上，為每個圖像塊計算引導核，并由此建立相應的同質像素提取矩陣；在最近一次重建的HR圖像X'上，為每個圖像塊利用同質像素提取矩陣進行自適應形狀的塊匹配，并計算第i個圖像塊的相似圖像塊組的預測值；采用最近一次重建的HR圖像X'以及預先訓練好的去噪器計算HR圖像的梯度預測值；e、確定當前次重建的HR圖像X，若未達到迭代次數上限，則將當前次重建的HR圖像X作為最近一次重建的HR圖像X'返回到步驟b，否則，將當前次重建的HR圖像X進行保存或輸出。應用本申請，能夠提高超分辨率的性能。

對于現有技術方案1，該方案存在的缺點是：盡管使用GAN能夠給圖像帶來不錯的視覺效果，但GAN往往會給圖像帶來偽影，使得生成的圖像保真度不高。