[發(fā)明專利]一種多幀圖像超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201810074715.X
• 申請日: 2018-01-25
• 公開（公告）號: CN108280804B
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 郭琳;王雨竹;葉波
• 申請（專利權(quán)）人: 湖北大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06K9/62
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魏波

本發(fā)明公開了一種多幀圖像超分辨率重建方法，將導(dǎo)控核回歸方法分別引入到自適應(yīng)稀疏學(xué)習(xí)模型的聚類階段和正則化重建過程中，使兩種方法優(yōu)劣互補(bǔ)，形成性能更好的重建算法。本發(fā)明不需要運(yùn)動配準(zhǔn)，因而不存在配準(zhǔn)誤差引起的重建誤差，能明顯改善重建圖像質(zhì)量，同時能應(yīng)用于包含任意運(yùn)動模式的情況。相比現(xiàn)有的基于學(xué)習(xí)的多幀超分辨率重建方法，提供了一種融合導(dǎo)控核回歸和稀疏學(xué)習(xí)兩種方法的簡潔高效一體化重建模型，能同時利用全局的結(jié)構(gòu)自相似性先驗約束、以及稀疏性約束進(jìn)行回歸估計，因而能更好地保持圖像邊緣細(xì)節(jié)、減小圖像高頻失真，同時運(yùn)動幅度不受限制，應(yīng)用場景不受限制，從而能適應(yīng)于復(fù)雜的應(yīng)用環(huán)境。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，涉及一種多幀圖像超分辨率重建方法，特別涉及一種基于結(jié)構(gòu)聚類和導(dǎo)控核回歸正則化稀疏學(xué)習(xí)的多幀圖像超分辨率重建方法。

背景技術(shù)

分辨率是評價圖像質(zhì)量的重要指標(biāo)之一，較高分辨率的圖像，意味著能提供更豐富的細(xì)節(jié)信息，具有更好的視覺效果和圖像質(zhì)量。但在現(xiàn)實中，由于成像系統(tǒng)硬件條件的限制、再加上噪聲、聚焦偏離等因素的影響，我們獲得的圖像往往分辨率低下、不能滿足實際應(yīng)用需求，且存在噪聲、模糊等現(xiàn)象。圖像超分辨率重建，能利用現(xiàn)有的設(shè)備，采用信號處理技術(shù)，通過軟件手段突破成像系統(tǒng)固有的分辨率限制，由低分辨率圖像，重建出具有較高分辨率的圖像，達(dá)到改善圖像質(zhì)量和視覺效果的目的，在遙感、消費電子、生物醫(yī)學(xué)、視頻監(jiān)控、機(jī)器視覺、軍事等領(lǐng)域具有廣闊的應(yīng)用前景。

與單幅圖像超分辨率重建不同的是，多幀超分辨率重建的處理對象是具有相似背景的多幅低分辨率圖像或視頻幀，所以各幀間冗余信息的利用和融合是多幀超分辨率重建的關(guān)鍵，其重建效果也因此能超越單幅圖像超分辨率重建。

現(xiàn)有的多幀超分辨率重建方法多數(shù)屬于傳統(tǒng)的方法，一般包括圖像配準(zhǔn)(或運(yùn)動估計)與融合重建兩個主要步驟，通過圖像配準(zhǔn)(或運(yùn)動估計)實現(xiàn)對不同幀之間相關(guān)信息的挖掘，以便后續(xù)的融合重建。因此，運(yùn)動配準(zhǔn)是傳統(tǒng)多幀超分辨率方法的必經(jīng)步驟。但運(yùn)動配準(zhǔn)往往計算量龐大，而且必然帶來誤差，配準(zhǔn)誤差會轉(zhuǎn)化為重建誤差，制約重建圖像質(zhì)量，特別當(dāng)圖像質(zhì)量較低時，配準(zhǔn)誤差大，重建效果很差。另一方面，現(xiàn)有的配準(zhǔn)方法假定幀間變換為某一類運(yùn)動模式，即假定一定的空間變換模型，而實際的視頻序列圖像可能包含任意運(yùn)動模式。

中國發(fā)明專利《一種多幀超分辨圖像重建方法及系統(tǒng)》(201610491560.0)包括使用SIFT特征進(jìn)行圖像配準(zhǔn)，屬于傳統(tǒng)的多幀超分辨率方法，其不足之處是：SIFT特征配準(zhǔn)只能處理目標(biāo)在不同幀間為仿射變換(平移+旋轉(zhuǎn)+縮放)的情況，不能應(yīng)用于包含平移、旋轉(zhuǎn)、縮放三種變換關(guān)系以外的情況，應(yīng)用場景受到限制；且配準(zhǔn)必然存在誤差，會給后續(xù)重建帶來誤差，引起重建圖像失真。中國發(fā)明專利《一種多幀圖像超分辨率重建方法及其重建系統(tǒng)》(201610049469.3)包括使用根據(jù)幾何變換獲得的臨時結(jié)果和根據(jù)模糊核獲得的濾波器傳遞函數(shù)構(gòu)造用于超分辨率重建的能量函數(shù)，采用圖割算法進(jìn)行極小化求解，即可得到最終的高分辨率圖像，使重建效果和重建速度均得到改善，其不足之處是：該方法假定了不同幀間存在幾何變換關(guān)系，需要通過配準(zhǔn)獲知變換關(guān)系，配準(zhǔn)誤差會限制重建圖像質(zhì)量，而且應(yīng)用場景受限。中國發(fā)明專利《一種視頻圖像超分辨率重建方法》(201310433123.X)屬于傳統(tǒng)的多幀超分辨率方法，其缺點同樣是需要運(yùn)動估計(即配準(zhǔn))。中國發(fā)明專利《一種基于聯(lián)合正則化的視頻超分辨率重建方法》(201610567213.1)以基于空間信息濾波與分類的加權(quán)系數(shù)減少了配準(zhǔn)誤差帶來的消極影響，但本質(zhì)上仍沒有改變重建對配準(zhǔn)的依賴。

現(xiàn)有的一些基于學(xué)習(xí)的多幀超分辨率重建算法，利用自然圖像的自相似冗余信息、或者稀疏性約束，通過尋求有效的樣本或字典、及基于該樣本或字典的表示，實現(xiàn)對未知圖像的重建。該類方法不需要圖像配準(zhǔn)(或運(yùn)動估計)，克服了傳統(tǒng)方法對運(yùn)動配準(zhǔn)的依賴，運(yùn)動模式不受限制，能應(yīng)用于包含任意運(yùn)動模式的場景。