[發明專利]基于頻率分解與重啟機制的圖像超分辨率重建方法與系統

有效

• 申請號: 202310811098.8
• 申請日: 2023-07-04
• 公開（公告）號: CN116523759B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 左一帆;堯文浩;胡瑜祺;方玉明;鄢杰斌;劉揚
• 申請（專利權）人: 江西財經大學;盛景智能科技（嘉興）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/77;G06V10/80;G06V10/774;G06V10/776;G06V10/82;G06N3/045;G06N3/0464;G06N3/0499;G06N3/082
• 代理公司: 北京中濟緯天專利代理有限公司 11429
• 代理人: 黃攀

本發明提出一種基于頻率分解與重啟機制的圖像超分辨率重建方法與系統，該方法包括提取低分辨率圖像的淺層特征，將淺層特征動態的分解為不同的頻率分量，將所有頻率分量分別利用同一尺度內的自注意力和不同尺度間的交互進行更新和再分配，得到新的不同頻率分量，將新的不同頻率分量進行融合，并再循環進行分解、交互再分配和融合操作，最后進行拼接并進行圖像重建，得到最終的圖像殘差，將低分辨率圖進行上采樣以得到高分辨率圖，將最終的圖像殘差與高分辨率圖進行疊加以得到超分辨率重建的圖像。本發明以動態頻率分解實現所有頻率分量分別利用同一尺度內的自注意力和不同尺度間的交互、更新和再分配，提升模型對頻率分解的魯棒性。

技術領域

本發明涉及計算機圖像處理技術領域，特別涉及一種基于頻率分解與重啟機制的圖像超分辨率重建方法與系統。

背景技術

單圖像超分辨率是計算機視覺中一個經典的逆問題，即通過給定的低分辨率圖像來推斷高分辨率圖像。該技術可顯著提升其他高級視覺任務的性能，例如分類，識別等。然而，在圖像超分辨率重建中，我們需要從低分辨率圖像中恢復出與之對應的高分辨率圖像。但是，由于低分辨率圖像中的信息被模糊和丟失，高分辨率圖像的恢復并不唯一，同時還受到噪聲等因素的影響，因此這是一個病態問題。

經過幾十年的發展，圖像超分辨率重建取得了巨大的進步，與傳統的通過手工設計或淺層特征學習引入分布先驗的模型相比，具有較強特征表示的端到端深度模型顯著推動了研究進展的步伐。特別是隨著深度卷積神經網絡的興起，各種基于卷積神經網絡的框架被提出，主要用于緩解梯度問題并增加模型容量。

在該方向早期研究中，研究人員設計特定網絡架構提高模型性能，例如：殘差學習和稠密連接等。這些基于深度卷積神經網絡的方法通過黑盒訓練的方式隱式地學習低分辨率輸入和高分辨率輸出之間的映射函數，因此設計的模型在追求更深網絡的高表征能力的同時保證訓練有序進行。

然而，廣泛使用的小卷積核限制了卷積神經網絡的感受野。此外，在測試階段，卷積核的參數與輸入無關，這削弱了模型的泛化性，雖然有人提出了一些方法來解決這些缺點，如擴張卷積、通道注意力、空間注意力、動態卷積，但較差的卷積神經網絡基礎架構是對最終性能的拖累。

最近，受到自然語言處理領域的推動，基于Transformer的骨干架構在大多數計算機視覺任務中表現出優于卷積的性能。Transformer架構可以用內容感知的自注意力機制來模擬隨機依賴關系，這很好地解決了卷積神經網絡的內在缺陷。第一個用于計算機視覺領域的Transformer模型，通過將圖像塊建模為token，這是為高級視覺任務設計的，并不能完全適用于底層視覺任務。此外，由于該模型具有token個數的平方級的復雜度，因此使用全局的自注意力機制處理高分辨率圖像的Transformer模型效率很低。為了將復雜度降低到線性，所以本發明使用了一種基于局部窗口的自注意力機制來構造單圖像超分辨率的主干網絡。然而，這一主干網絡存在兩個方面的問題，一方面有限的感受野會限制模型的表現，另一方面基于窗口的自注意力機制帶來的復雜度是窗口尺寸的平方級。因此，迫切需要在基于窗口的自注意力機制的框架下設計一種有效的變體在不產生過高的復雜度的同時增加感受野。

發明內容

鑒于上述狀況，本發明的主要目的是為了提出一種基于頻率分解與重啟機制的圖像超分辨率重建方法與系統，以解決上述技術問題。

本發明提供了一種基于頻率分解與重啟機制的圖像超分辨率重建方法，所述方法包括如下步驟：

步驟1、提取低分辨率圖像的淺層特征，將淺層特征動態的分解為不同的頻率分量；

步驟2、將所有頻率分量分別利用同一尺度內的自注意力和不同尺度間的交互進行更新和再分配，得到新的不同頻率分量，將新的不同頻率分量進行融合，得到融合后的特征；

步驟3、以所得融合后的特征作為輸入數據輸入步驟2中進行循環操作，將每次操作步驟2所得融合后的特征進行拼接，得到最終融合特征；