[發明專利]基于頻域-紋理特征融合的圖像超分辨率重建方法及系統

在審

• 申請號: 202211710695.3
• 申請日: 2022-12-29
• 公開（公告）號: CN116128722A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 蔡強;常浩東;李海生
• 申請（專利權）人: 北京工商大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V10/54;G06V10/80;G06V10/42;G06V10/82
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 金怡

本發明涉及一種基于頻域?紋理特征融合的圖像超分辨率重建方法及系統，其方法包括：S1：將高分辨率圖像劃分為子圖像塊后輸入紋理特征提取網絡，得到紋理特征Fsubgt;PC/subgt;；S2：將低分辨率圖像輸入頻域信息提取網絡，得到頻域特征Fsubgt;PL/subgt;；S3：將Fsubgt;PC/subgt;和Fsubgt;PL/subgt;輸入多尺度分層特征重建模塊，利用金字塔結構并行構建頻域和紋理的分層特征和S4：將和輸入特征融合反饋模塊，進行特征融合，生成包含多級感受野的邊緣引導圖像；S5：通過邊緣引導圖像，重建高分辨率圖像，并使用損失函數優化網絡參數，最終獲得邊緣圖像引導的高分辨率圖像。本發明提供的方法能夠自適應不同圖片尺度，并提高重建高分辨率圖片邊緣與紋理信息的豐富性和整體性，從而獲得更好的超分效果。

技術領域

本發明涉及計算機視覺和圖像超分辨率重建領域，具體涉及一種基于頻域-紋理特征融合的圖像超分辨率重建方法及系統。

背景技術

計算機視覺正在成為一種獲取和分析真實場景圖像的新興技術，它幫助智能系統從圖像和多維數據中感知世界。隨著互聯網的發展，人們在從各種媒介中獲取的信息里至少有80％以圖像的形式呈現，圖像視覺成為人類或機器感知世界的主要途徑之一。通常來說，由于采集設備硬件與網絡寬帶的限制，造成采集得到的圖像或者視頻分辨率下降，導致視覺效果模糊不清。圖像超分辨率技術(Image?Super-Resolution)是一個經典的圖像處理任務，旨在將低分辨率圖像(Low-Resolution，LR)在空間尺度放大一定的倍數,重建出帶有豐富的紋理細節的高分辨率圖像(High-Resolution，HR)。然而，從低分辨率圖像恢復到高分辨率圖像的解空間是非常多樣的，多張高分辨率圖像可能對應同樣一張低分辨率圖像，也稱作不適定問題(Ill-Posed?Problem)。從豐富的解空間中挑選出一個最優的解是十分困難的，因此超分辨率任務具有極大的挑戰性。

隨著支持4K和8K分辨率的智能設備的出現，單圖像超分辨率(SISR)越發成為一個重要的計算機視覺問題，最近，單圖像超分辨技術和其相關的超采樣技術在實時放大4K分辨率內容方面有了許多應用。此外，隨著即將推出的4K顯示器、筆記本電腦和電視中的神經處理單元(NPU)的出現，也讓人們意識到讓圖像內容基于人工智能升級到4K分辨率是可能的。但是同時，目前絕大多數的超分網絡沒有充分發掘圖像的紋理和頻域信息之間的對應關系，導致超分效果并不能達到一個令人滿意的結果。因此，如何有效利用高分辨率圖像和低分辨率圖像之間的紋理和頻域信息對應關系重建超分辨率圖像成為一個亟待解決的問題。

發明內容

為了解決上述技術問題，本發明提供一種基于頻域-紋理特征融合的圖像超分辨率重建方法及系統。

本發明技術解決方案為：一種基于頻域-紋理特征融合的圖像超分辨率重建方法，包括：

步驟S1：將高分辨率圖像劃分為大小相同的一系列子圖像塊，將所述子圖像塊輸入紋理特征提取網絡，得到高分辨率圖像深度紋理特征F_PC；

步驟S2：將低分辨率圖像輸入頻域信息提取網絡，得到低分辨率圖像高頻域深層特征F_PL；

步驟S3：將F_PC和F_PL輸入多尺度分層特征重建模塊，利用金字塔結構并行構建頻域和紋理的分層特征和

步驟S4：將和輸入特征融合反饋模塊，基于分級特征反饋融合策略,在不同層間傳遞結構信息,利用卷積自適應地分配不同層特征融合時的權重系數，并生成包含多級感受野的邊緣引導圖像；

步驟S5：通過所述邊緣引導圖像，重建所述高分辨率圖像，同時，使用均方誤差損失函數優化網絡參數，最終獲得邊緣圖像引導的高分辨率圖像。

本發明與現有技術相比，具有以下優點：