[發明專利]基于卷積神經網絡的圖像運動模糊去除方法

有效

• 申請號: 202011326166.4
• 申請日: 2020-11-24
• 公開（公告）號: CN112419191B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 顏波;李吉春;譚偉敏
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于數字圖像處理技術領域，具體為一種基于卷積神經網絡寬尺度模糊感知機制的圖像運動模糊去除方法。本發明方法包括：首先運用三種創新的卷積神經網路的計算單元，即輕量級全局上下文精煉模塊、多尺度分析融合模塊以及可變形卷積微調模塊，構建一個多尺度深度信息融合的深度神經網絡系統；其次，進行數據準備與模型訓練，當訓練的目標函數降低至某可接受閾值，可認為網絡收斂；最后，在應用階段，將模糊圖像輸入系統，直接得到清晰圖像。實驗結果表明，給定一張運動模糊圖片，本發明既能夠清除越過邊緣侵蝕的模糊模式，又能夠合理地還原圖像應有的細節，得到與其對應的清晰圖片。

技術領域

本發明屬于數字圖像處理技術領域，具體涉及為一種圖像運動模糊去除方法。

背景技術

近年來，隨著手持移動終端的普及，數字圖片越來越多的來自于移動終端的拍攝。由于手持設備沒有器械固定，容易晃動抖動，加之拍攝場景存在快速運動的物體，那么運動模糊極易被引入，導致圖像質量降低。圖像動態場景下的運動模糊去除，作為圖像增強的一個研究分支，有著較高的科學研究價值與廣泛的現實應用需求。

圖片模糊是由相機或是拍攝物體在曝光時間內的相對運動所造成的。其成因可以概括為公式如下：IB＝K*IS+N，其中，IB為已知模糊的圖像，IS為待求的清晰圖像，K為運動模糊核，“*”表示卷積運算，N表示隨機噪聲。傳統的非深度學習的算法，如Szeliski等人的工作，往往對卷積核K有著過多的假設，例如假定運動模式、假設全局統一運動等等，應用Weiner濾波，Richardson-Lucy算法等技術還原清晰圖像。由于該類算法對運動核的約束過于強，導致傳統算法在人工生成的模糊圖片集上性能優良，但對于真實模糊圖片的效果不好。接下來，例如Schuler等人、Chakrabarti等人的工作，集中于弱化、取消對于K的假設，從模糊圖像IB中求得模糊核K，再定義能量函數并對其進行優化，實現模糊圖像去卷積的過程，產生清晰的圖片。雖然改進算法相比傳統算法，在自然模糊圖片下具有更強的泛化能力，但是自然照片模糊核K十分復雜，無法做到精準的估計，成為了該類算法的瓶頸。

最近，隨著深度學習的日益發展完善，卷積神經網絡(CNNs)在圖像去模糊的領域也得到應用，取得了不錯的效果。2018年，Tao等人利用循環神經網絡的思想，提取三個尺度的特征，對模糊圖進行修復；2019年，Zhang等人，對原圖切不同大小的小塊，送入不同的網絡分支法，對不同尺度的模糊進行去除；2020年，Park等人，利用模糊圖形成的特點，對不同程度的模糊圖進行漸進式分階段的修復。這些算法存在明顯的局限，首先它們對于不同程度(連續)的模糊采用人工設定的離散手段處理，而不是讓網絡具有能感知連續的、程度不同的模糊的能力；其次，他們沒有考慮非局部信息對于模糊修復部位的增益與幫助。本發明利用堆疊的多尺度分析融合模塊，讓網絡的信息流中包含范圍寬、不同大小的感受野獲得的信息，有利于卷積網絡自身對不同尺度模糊進行自適應的修復；本發明利用提出的輕量級全局上下文精煉模塊，彌補了卷積網絡的局部性的特點，利用非局部的周邊信息對相關部位進行修復。

發明內容

本發明的目的在于提出一種去模糊性能好、泛化能力強、運行效率高的寬尺度模糊感知的圖像運動模糊去除方法。

本發明提出的寬尺度模糊感知的圖像運動模糊去除方法，是基于卷積神經網絡的。其中包括采用首次提出的多尺度分析融合模塊以及輕量級全局上下文精煉模塊。本發明利用堆疊的多尺度分析融合模塊，讓網絡的信息流中包含范圍寬、不同大小的感受野獲得的信息，有利于卷積網絡自身對不同尺度模糊進行自適應的修復；本發明利用輕量級全局上下文精煉模塊，彌補了卷積網絡的局部性的特點，在較低的時空復雜度的前提下，分析得到非局部以致全局的信息，利用這些非局部的周邊信息對相關部位進行修復，能夠極大的提升去模糊的性能。

本發明提出的基于卷積神經網絡的圖像運動模糊去除方法，包括深度神經網絡模型的構建、訓練數據的準備與模型訓練、深度神經網絡模型的使用三個階段；具體步驟如下：

(1)深度神經網絡模型的構建