[發明專利]基于多特征學習的超分辨圖像重建方法及系統

有效

• 申請號: 201811469738.7
• 申請日: 2018-11-28
• 公開（公告）號: CN109559278B
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 遲靜;戰玉麗;葉亞男;高珊珊;于志平
• 申請（專利權）人: 山東財經大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00;G06T7/13;G06T7/40
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本公開公開了基于多特征學習的超分辨圖像重建方法及系統，方法充分利用單幅輸入圖像本身所包含的豐富信息進行重建，無需依賴于外部數據庫。方法基于圖像的跨尺度相似性建立圖像特征間的映射關系，并直接利用映射關系對輸入圖像重建包含高頻信息的高分辨圖像，很好地克服了使用插值放大方法重建圖像導致的高頻信息缺失的缺陷。方法利用奇異值閾值化獲取有效高頻信息，并利用梯度特征映射關系將高頻信息放大后分塊疊加到高分辨率圖像上，得到最終的圖像重建結果。這種利用圖像特征組合重建圖像的方式有效地抑制了重建圖像的噪聲點，并且較好的保持了圖像邊緣和紋理信息，實現了圖像的細節增強。

技術領域

本公開涉及圖像處理技術領域，特別是涉及基于多特征學習的超分辨圖像重建方法及系統。

背景技術

本部分的陳述僅僅是提高了與本公開相關的背景技術，并不必然構成現有技術。

圖像超分辨率技術是通過一定的手段將低分辨率圖像(Low Resolution Image，LR)轉換為高分辨率圖像(High Resolution Image，HR)。在這個過程中盡量多的保留圖像的有效信息，包括圖像的結構、紋理、細節等。

目前圖像超分辨率技術的研究方法很多，主要分為基于插值的超分辨率方法、基于重建的超分辨率方法和基于學習的超分辨率方法。

第一類：基于插值的方法，包括傳統的雙線性插值、雙三次插值。該類方法重建出來的圖像容易出現邊緣模糊且整體視覺效果不佳等現象。為了改善傳統插值方法造成的缺陷，出現了許多新的插值方法，這些方法雖然有效的克服了傳統插值方法的缺陷，但是仍然難以取得令人滿意的視覺效果，例如基于邊緣的圖像插值方法在圖像細節處出現了變形等現象且算法復雜度高。

第二類：基于重建的方法，該類方法的重建結果往往缺乏圖像高頻信息，且結果往往依賴重建約束，從而使圖像看上去比較平滑。因此，Wang等人提出基于邊緣導向的方法，提高了邊緣的銳度。Zhao等人提出了局部紋理約束的方法，提升了紋理清晰度。經典的迭代反投影法(IBP)，其解往往不唯一，且得到的結果圖像經常會包含噪聲。變差(TV)模型引入正則項來約束求解空間，有利于保持圖像結構的穩定性，正則化項在抑制噪聲的同時也會抑制圖像的細節，所以重建圖像會出現過于平滑的效果。

第三類：基于學習的方法，該類方法側重于將學到的初始高低分辨率圖像對之間的關系應用于待重建的高低分辨率之間。充分利用外部圖像庫的信息來重建結果圖。相比于前兩類方法，基于學習的方法可以有效彌補圖像放大過程中丟失的高頻信息，從而改善圖像重建過程中出現的模糊現象。隨著稀疏編碼的提出，出現了稀疏表示的方法利用低分辨率字典與初始低分辨率圖像求得稀疏表示系數，組成稀疏矩陣，將該稀疏矩陣與高分辨率字典相乘得到重建結果。Dong等人將非局部相似性與稀疏表示模型相結合提出非局部自回歸模型的方法，取得了較好的重建效果。這類方法重建結果很大程度上取決于外部數據集。Zhao等人提出一種基于LPE的超分辨率重建技術不依賴傳統的字典學習方法，重建結果較清晰。Tai等人用低分辨率實例來補充高分辨率實例的高頻信息。充分考慮了圖像的邊緣信息,，取得了較好的重建效果。Timofte等人將字典學習的方法和局部線性回歸的方法結合(ANR)。Timofte等人結合ANR和局部線性回歸的方法提出改進后的ANR方法(A+)，降低了計算復雜度。

近來，深度學習技術得到極大發展，Dong等人將其應用于圖像超分辨率重建中，提出卷積神經網絡的方法。這些方法依賴于特定的數據集，對于重建某類圖像效果較好，但是對于其它類型的輸入圖像往往不能取得十分理想的效果。Freedman等人提出高低分辨率圖像的關系，用馬爾可夫隨機模型來預測上采樣缺失的高頻圖像帶。這種方法雖然能夠增強高頻信息、較好地保持圖像細節且銳化邊緣，但如果圖像塊搜索錯誤，會在重建結果的邊緣處引入噪聲或者產生邊緣不規則的現象。