[發明專利]一種圖像超分辨率重構方法

有效

• 申請號: 201811587560.6
• 申請日: 2018-12-25
• 公開（公告）號: CN109727195B
• 公開（公告）日: 2023-06-13
• 發明（設計）人: 吳欽章;李俊
• 申請（專利權）人: 四川康吉笙科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 成都東唐智宏專利代理事務所(普通合伙) 51261
• 代理人: 羅言剛

一種圖像超分辨率重構方法，包括如下步驟:制作學習樣本集;學習訓練:采用卷積神經網絡的單幀模型作為循環網絡模塊,構造包括N+1個循環網絡模塊的循環神經網絡方式的超分辨率映射模型,訓練中,將單幅最低分辨率圖片輸入超分辨率映射模型中的每一個循環網絡模塊進行單次訓練；更換低分辨率圖片反復進行上述單次訓練;多次進行單次訓練中;重構:將需要重構的低分辨率圖片輸入完成訓練的超分辨率映射模型,得到高分辨率圖片。本發明通過在性能指標中增加有關模糊圖像的輸出誤差項，來引導模型同時學習圖像的低頻與高頻信息，可以使圖像超分辨率重建結果兼顧可靠性與細節;同時循環網絡形式的超分辨率映射模型，也可以極大地節省存儲空間。

技術領域

本發明屬于軟件技術領域，涉及圖像處理技術，具體涉及一種圖像超分辨率重構方法。

背景技術

圖像超分辨率重構技術是利用低分辨率圖像生成高分辨率圖像的手段，在醫療圖像、衛星拍照、安全監控等領域擁有重大應用價值。超分辨率重建技術可分為三類：基于插值的方法、基于模型的方法、基于學習的方法。其中，基于學習的方法是目前的主流方向，特別上隨著深度學習技術和卷積神經網絡的不斷發展，超分辨率重建的圖像質量也在不斷提升。它通過大量成對的低分辨率與高分辨考慮的圖像樣本，學習出圖像特征以及低分辨率到高分辨率的映射模型，相當于為增加像素提供了當前圖像的特征參考，以及基于特征的像素增加方案的歷史參考，所以能獲得更好的超分辨率圖像。

當前的圖像超分辨率重建技術中，效果最好的為基于深度卷積神經網絡的一系列方法。這類方法通過卷積核形成的感受野來獲取圖像特征的表達形式，并利用大量樣本數據來優化特征表達形式，使其能更好的描繪圖像，同時利用歷史這些樣本學習出基于圖像特征的像素擴充映射模型。所以該類方法是在對圖像進行理解后再基于歷史經驗進行像素擴充，這也是其效果提升的根源。

現有卷積神經網絡超分辨率技術的基本流程是：用高分辨率圖像及其對應的低分辨率圖像組成訓練樣本對，并以低分辨率圖像作為卷積神經網絡的輸入，輸出為與高分辨率圖像同尺寸的圖片，輸出結果與真實高分辨率照片的誤差作為調節網絡模型的性能指標。通過大量樣本訓練出超分辨率圖像重建所需的映射，就可以用來放大新的圖像。目前使用卷積神經網絡進行圖像超分辨率重建的技術，包括卷積神經網絡超分辨率(SRCNN)、加速卷積神經網絡超分辨率(FSRCNN)、亞像素卷積神經網絡超分辨率(ESPCN)、稠密連接神經網絡超分辨率(SRDenseNet)、生成對抗網絡超分辨率(SRGAN)、改進的深度殘差神經網絡超分辨率(EDSR)、深度反向投影神經網絡超分辨率(DBPN)等方法。

現有的卷積神經網絡框架超分辨率技術雖然已取得較大進步，但仍有缺點。特別是在分辨率放大較多的時候，容易出現新增像素錯誤的情況，這其實是過于追求圖像邊緣銳利而付出的代價，因為訓練模型的輸出圖像每個像素都被期望與原圖一致，而不是原圖的模糊近似,導致最終圖像邊緣像素誤差放大。目前圖像超分辨率重建中所使用的深度學習技術，完全依賴于樣本庫，卷積神經網絡只是用來在大量樣本中學習特征和映射。這種方式過于依賴樣本庫，而沒有引入人類對圖像認知的一些基本原則，但是由于圖像的復雜多樣性，樣本庫難以保證在各種圖像細節情況都有足夠的分布量，在這種情況下訓練出來的模型，還要著重強調圖像的銳度，即與原圖完全一致，就容易造成補充像素明顯錯誤的情況。

發明內容

為克服現有技術對低分辨率圖像重構過程中存在的技術缺陷，本發明公開了一種圖像超分辨率重構方法。

本發明所述圖像超分辨率重構方法，包括如下步驟: