[發(fā)明專利]基于掩碼的圖像去模糊模型及方法

有效

• 申請?zhí)枺?/td>: 202110659150.3
• 申請日: 2021-06-15
• 公開（公告）號: CN113538258B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設(shè)計）人: 高欽泉;李茹;鄭偉鑫;郭立;謝軍偉;童同
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 丘鴻超;蔡學(xué)俊

本發(fā)明提出一種基于掩碼的圖像去模糊模型及方法，其特征在于：其首先提出了一個掩碼預(yù)測模型以實現(xiàn)對各種模糊核的準(zhǔn)確預(yù)測。然后，提出了一個基于掩碼的去模糊模型，該模型利用模糊估計模塊和去模糊模塊，以交替迭代的方式實現(xiàn)圖像模糊掩碼的去除。最后,本發(fā)明采用兩階段的訓(xùn)練方式，第一階段單獨進(jìn)行掩碼預(yù)測模型的實現(xiàn)，將得到的掩碼圖像送入第二階段，第二階段進(jìn)行去模糊工作，實現(xiàn)圖像模糊的準(zhǔn)確去除。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺、圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于掩碼的圖像去模糊模型及方法。

背景技術(shù)

圖像模糊是在圖像捕獲過程中發(fā)生的較常見和較明顯的偽影之一。模糊圖像主要通過估計未知模糊核類型實現(xiàn)去模糊，近幾年隨著深度學(xué)習(xí)的興起，多種基于神經(jīng)網(wǎng)絡(luò)的算法被提出用于計算機(jī)視覺任務(wù)，如圖像修復(fù)、目標(biāo)檢測等。目前，利用CNN進(jìn)行圖像去模糊的各種方算法已被提出，利用監(jiān)督學(xué)習(xí)以端對端的方式訓(xùn)練去模糊網(wǎng)絡(luò)顯示出其優(yōu)異性，編碼器-解碼器結(jié)構(gòu)和多尺度結(jié)構(gòu)網(wǎng)絡(luò)在圖像去模糊任務(wù)也展現(xiàn)出其有效性。

針對當(dāng)前限制圖像修復(fù)發(fā)展的種種問題，研究者將圖像修復(fù)任務(wù)與計算機(jī)技術(shù)融合，研究方法可分為兩大類：基于傳統(tǒng)算法和基于深度學(xué)習(xí)算法。

傳統(tǒng)方法通常對模糊圖像的模糊核類型進(jìn)行建模，即對模糊核估計進(jìn)行約束，并且具有用于去除模糊的正則化項，但是這些方法無法概括復(fù)雜的實際模糊圖像，導(dǎo)致泛化性不強(qiáng)，效果不佳。此外，基于總變化量，稀疏編碼，自相似性，先驗梯度等方法也常用于單張圖像去模糊任務(wù)中，但均未實現(xiàn)較好的去模糊效果。

基于深度學(xué)習(xí)的去模糊算法采用編碼器-解碼器結(jié)構(gòu)學(xué)習(xí)模糊圖像與高清圖像對之間的非線性映射關(guān)系，實現(xiàn)單張圖像的模糊去除。早期的學(xué)習(xí)方法通常分為兩個步驟：首先，使用深層神經(jīng)網(wǎng)絡(luò)估計模糊核，然后使用傳統(tǒng)的反卷積方法獲得清晰的圖像。通過分類和回歸分析對模糊核進(jìn)行估計，并使用CNN代替?zhèn)鹘y(tǒng)方法來估計未知的模糊內(nèi)核，這些方法始終遵循著傳統(tǒng)框架。基于生成對抗網(wǎng)絡(luò)的算法可以去除圖像模糊，但是該方法無法很好的解決動態(tài)場景中的非均勻模糊問題，在去模糊結(jié)果中會造成模糊偽影。

近年來，研究者們提出無需估計模糊核的端到端單張圖像去模糊。基于多尺度的方法以迭代的方式提取模糊圖像的多尺度信息，從而還原出清晰的圖像，但是該方法以相同的網(wǎng)絡(luò)權(quán)重恢復(fù)模糊圖像，缺少處理非均勻模糊圖像的自適應(yīng)機(jī)制。基于全卷積估計運動流的方法在實際情況中無法取得較好的估計效果，以至于無法正確的對現(xiàn)實世界的非均勻且復(fù)雜的模糊進(jìn)行建模。

發(fā)明內(nèi)容

當(dāng)前現(xiàn)有的技術(shù)只能針對特定類型模糊的獨有特征進(jìn)行去除，沒能充分利用上下文信息，泛化性弱，無法達(dá)到實際工程需求。有鑒于此，為了彌補現(xiàn)有技術(shù)的空白和不足，本發(fā)明的目的在于提供一種基于掩碼的圖像去模糊模型及方法，該算法可以有效預(yù)測模糊圖像的掩碼圖像，有效實現(xiàn)單張圖像的模糊去除，可以得到質(zhì)量較高的去模糊圖像。

由于圖像模糊是圖像捕獲過程中發(fā)生的常見和較明顯的偽影之一,本發(fā)明方案解決了無法準(zhǔn)確預(yù)測各種類型模糊核的問題，利用掩碼實現(xiàn)圖像模糊的精確去除，提升了圖像去模糊的質(zhì)量效果，使其可以達(dá)到實際工業(yè)需求。其首先提出了一個掩碼預(yù)測模型以實現(xiàn)對各種模糊核的準(zhǔn)確預(yù)測。然后，提出了一個基于掩碼的去模糊模型，該模型利用模糊估計模塊和去模糊模塊，以交替迭代的方式實現(xiàn)圖像模糊掩碼的去除。最后,本發(fā)明采用兩階段的訓(xùn)練方式，第一階段單獨進(jìn)行掩碼預(yù)測模型，將得到的掩碼圖像送入第二階段，第二階段進(jìn)行去模糊工作，實現(xiàn)圖像模糊的準(zhǔn)確去除。

考慮到相機(jī)拍攝時抖動或者場景的變化等因素導(dǎo)致圖像模糊是非常常見的問題，去除模糊圖像中的模糊是圖像修復(fù)工作中重要的一環(huán)。目前很多研究都已證實上述模糊圖像均屬于非均勻模糊圖像,但是很少方法在確保精確模擬非均勻模糊的同時考慮到模型的復(fù)雜度。本發(fā)明所設(shè)計的方法可以準(zhǔn)確預(yù)測模糊圖像的模糊核，并且實現(xiàn)較好的去模糊效果，可達(dá)工業(yè)要求，泛化性好，可以適用于各種模糊類型。

本發(fā)明具體采用以下技術(shù)方案：