[發(fā)明專利]基于注意力機制的圖像盲去模糊方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010553157.2
• 申請日: 2020-06-17
• 公開（公告）號: CN111709895B
• 公開（公告）日: 2023-05-16
• 發(fā)明（設計）人: 林晨;王子健;尹增山
• 申請（專利權）人: 中國科學院微小衛(wèi)星創(chuàng)新研究院;上海微小衛(wèi)星工程中心
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/045;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 上海智晟知識產(chǎn)權代理事務所(特殊普通合伙) 31313
• 代理人: 李鏑的

本發(fā)明提供了一種基于注意力機制的圖像盲去模糊方法及系統(tǒng)，包括：多尺度注意力網(wǎng)絡采用端到端方式，直接恢復清晰圖像；所述多尺度注意力網(wǎng)絡采用非對稱的編解碼結構，所述編解碼結構的編碼側采用殘差密集網(wǎng)絡塊，以完成所述多尺度注意力網(wǎng)絡對輸入圖像進行特征提取和表達；所述編解碼結構的解碼側設置多個注意力模塊，所述注意力模塊輸出初步復原圖像，所述初步復原圖像形成圖像金字塔式的多尺度結構；所述注意力模塊還輸出注意力特征圖，所述注意力特征圖從全局角度建模遠距離區(qū)域之間的關系處理模糊圖像；暗通道先驗損失和多尺度內容損失組成損失函數(shù)，損失函數(shù)是用來反向優(yōu)化網(wǎng)絡的，不是自身優(yōu)化。

技術領域

本發(fā)明涉及圖像處理技術領域，特別涉及一種基于注意力機制的圖像盲去模糊方法及系統(tǒng)。

背景技術

動態(tài)場景模糊是一種在圖像獲取過程中，由拍攝設備的抖動、不同景深下目標物體運動、相機失焦等因素引起的常見現(xiàn)象。模糊的圖像不僅會影響視覺效果，同時不利于目標檢測、語義分割等后續(xù)計算機視覺任務，因此去模糊一直是圖像處理領域一個基本但十分重要的問題。

通常模糊圖像在數(shù)學上被建模為：

其中，表示二維空間卷積運算。模糊圖像I_Blur是由清晰圖像I_Sharp和模糊核K卷積，再疊加噪聲N形成。根據(jù)模糊核是否已知分為非盲和盲去模糊兩類問題。另外，根據(jù)圖像任意位置上像素點的模糊核是否相同，也分為均勻模糊(空間不變模糊)和非均勻模糊(空間變化模糊)。

模糊圖像復原就是從模糊圖像重建出潛在的清晰圖像，通常，真實動態(tài)場景中的模糊是不可預知且空間變化的。因此非均勻盲去模糊具有重要的研究價值。

早期研究者們基于式(1)的數(shù)學模型方法中，遵循先估計模糊核K再估計潛在清晰圖像I_Sharp的框架，可以看出盲去模糊是解不唯一的逆問題。針對去模糊問題的不適定性，基于特定的假設建模不同類型的模糊，并引入不同的自然圖像和相機軌跡的先驗知識約束清晰圖像的解空間。近年來，隨著深度學習的發(fā)展，許多基于神經(jīng)網(wǎng)絡的方法逐漸被應用于模糊核的估計和清晰圖像反卷積求解過程中。

然而，上述方法復原的圖像質量嚴重依賴模糊核估計的準確性，并且迭代求解計算開銷大。因此近期的工作把圖像復原視為一種圖像翻譯問題，采用端到端的方法進行直接輸出清晰圖像，避免了模糊核估計復雜耗時的過程，迄今研究者們也提出了很多改進的模型。

但是目前基于卷積神經(jīng)網(wǎng)絡的盲去模糊方法不能高效地處理復雜動態(tài)場景模糊，輸出圖像的紋理細節(jié)和邊緣結構不清晰。多尺度的深度學習模型往往重復多個子網(wǎng)絡模塊、循環(huán)訓練，雖然一定程度上提升了去模糊效果，但存在模型復雜、參數(shù)量多、訓練難度大、推理耗時等問題，同時需要考慮不同尺度下參數(shù)之間的關系。卷積層的局部連接特性導致網(wǎng)絡的感受野增加有限，無法從全局角度利用模糊區(qū)域之間的關系。另外，中間層無區(qū)別地對待特征圖中不同信息，也在一定程度上限制了網(wǎng)絡的特征表達和學習能力。

發(fā)明內容

本發(fā)明的目的在于提供一種基于注意力機制的圖像盲去模糊方法及系統(tǒng)，以解決現(xiàn)有的基于卷積神經(jīng)網(wǎng)絡的盲去模糊方法不能高效地處理復雜動態(tài)場景模糊的問題。

為解決上述技術問題，本發(fā)明提供一種基于注意力機制的圖像盲去模糊方法，所述基于注意力機制的圖像盲去模糊方法包括：

多尺度注意力網(wǎng)絡采用端到端方式，直接恢復清晰圖像；

所述多尺度注意力網(wǎng)絡采用非對稱的編解碼結構，所述編解碼結構的編碼側采用殘差密集網(wǎng)絡塊，以完成所述多尺度注意力網(wǎng)絡對輸入圖像進行特征提取和表達；

所述編解碼結構的解碼側設置多個注意力模塊，所述注意力模塊輸出初步復原圖像，所述初步復原圖像形成圖像金字塔式的多尺度結構；