[發(fā)明專利]基于多層次鄰域嵌入的圖像超分辨率重建方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201610108841.3
• 申請日: 2016-02-26
• 公開（公告）號: CN107133921B
• 公開（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 宋思捷;厲揚(yáng)豪;劉家瑛;郭宗明
• 申請（專利權(quán)）人: 北京大學(xué);北大方正集團(tuán)有限公司;北京北大方正電子有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京友聯(lián)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11343
• 代理人: 尚志峰;汪海屏

本發(fā)明提供了一種基于多層次鄰域嵌入的圖像超分辨率重建方法和一種基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)，其中，所述方法包括：對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；根據(jù)鄰域嵌入算法對所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；對多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。通過本發(fā)明的技術(shù)方案，可以有效地解決因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種基于多層次鄰域嵌入的圖像超分辨率重建方法和一種基于多層次鄰域嵌入的圖像超分辨率重建系統(tǒng)。

背景技術(shù)

圖像超分辨率重建是為了克服成像過程設(shè)備或技術(shù)的限制，從單幀低分辨率圖像或低分辨率圖像序列中重建一個(gè)高分辨率圖像。目前，圖像超分辨率重建算法可以分為三類：基于插值的算法，基于重建的算法和基于學(xué)習(xí)的算法。

具體地：(1)基于插值的算法是采用線性或非線性的算法，利用已知像素點(diǎn)估計(jì)出未知的像素值，例如NEDI(插值算法的簡稱，New Edge-Directed Interpolation)，SAI(插值算法的簡稱，Soft-decision Adaptive Interpolation)。(2)基于重建的算法是采用最大后驗(yàn)可能性模型使用各種正則項(xiàng)作為約束來描述自然圖像的特征。(3)基于學(xué)習(xí)的算法是依賴于外部的數(shù)據(jù)集建立低分辨率圖像塊和高分辨率圖像塊之間的關(guān)系，本領(lǐng)域的研究人員提出了不同的模型來描述這種關(guān)系，包括利用馬爾科夫隨機(jī)場模型來描述，每一個(gè)低分辨率圖像塊對應(yīng)幾個(gè)高分辨率候選圖像塊，這一特點(diǎn)符合馬爾科夫隨機(jī)場模型的結(jié)構(gòu)構(gòu)造且可以通過圖割或者置信傳播的方法解決，然而這種算法計(jì)算復(fù)雜度很高。

另外，Yang等人(Jianchao Yang等人，2010TIP Image super-resolution viasparse representation的作者)提出基于稀疏表示的圖像超分辨率算法，通過分別訓(xùn)練高低分辨率圖像的字典，將輸入的低分辨率圖像用低分辨率字典稀疏表示，然后將該稀疏系數(shù)與對應(yīng)的高分辨率字典相乘即可得高分辨率的圖像。以及，基于高低分辨率圖像塊共享相似線性幾何流形的假設(shè)，Chang等人(Hong Chang等人，2004CVPR Super-resolutionthrough neighbor embedding的作者)提出了鄰域嵌入算法。

但是，現(xiàn)有的圖像超分辨率算法均直接重建圖像的空間差異部分，也就是圖像的高頻成分，然而，圖像的結(jié)構(gòu)特征可能體現(xiàn)在不同方向的頻率域中，特別是在圖像紋理比較豐富的情況下，直接重建圖像的所有高頻成分會(huì)導(dǎo)致圖像的紋理細(xì)節(jié)直接被平滑。

因此，如何解決上述問題，提高圖像超分辨率重建的精確度成為亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明正是基于上述技術(shù)問題，提出了一種新的技術(shù)方案，可以有效地解決因直接重建圖像的所有高頻成分導(dǎo)致圖像的紋理細(xì)節(jié)被平滑的問題，從而提高圖像超分辨率重建的精確度。

有鑒于此，本發(fā)明的第一方面，提出了一種基于多層次鄰域嵌入的圖像超分辨率重建方法，包括：對待處理圖像進(jìn)行可控金字塔分解操作，得到高通圖像、低通剩余圖像和多個(gè)方向上的帶通子帶圖像；根據(jù)鄰域嵌入算法對所述多個(gè)方向上的帶通子帶圖像、所述高通圖像和所述低通剩余圖像分別進(jìn)行重建處理，得到對應(yīng)的高分辨率子帶圖像；對多個(gè)所述高分辨率子帶圖像進(jìn)行所述可控金字塔分解操作的逆變換處理，以生成高分辨率圖像。