[發明專利]基于卷積神經網絡的圖像運動模糊去除方法

有效

• 申請號: 202011326166.4
• 申請日: 2020-11-24
• 公開（公告）號: CN112419191B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 顏波;李吉春;譚偉敏
• 申請（專利權）人: 復旦大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種基于卷積神經網絡寬尺度模糊感知機制的圖像運動模糊去除方法，其特征在于，具體步驟如下：

(1)深度神經網絡模型的構建

構建一個多尺度深度信息融合的深度神經網絡模型，用以生成清晰圖片；該模型由1個普通卷積層、6個殘差單元、6個多尺度融合模塊、3個可變形卷積微調模塊以及1個輕量級全局上下文精煉模塊構成；其拓撲結構為：普通卷積層0→殘差單元0→多尺度分析融合模塊0→下采樣→殘差單元1→多尺度分析融合模塊1→下采樣→殘差單元2→多尺度分析融合模塊2→輕量級全局上下文精煉模塊0→殘差單元3→多尺度分析融合模塊3→可變形卷積微調模塊0→上采樣→殘差單元4→多尺度分析融合模塊4→拼接聚合多尺度分析融合模塊1+4→可變形卷積微調模塊1→上采樣→殘差單元5→多尺度分析融合模塊5→拼接聚合多尺度分析融合模塊0+5→可變形卷積微調模塊2→普通卷積層1；

其中，“→”符號表示神經網絡層間連接，“A→B”表示A層輸出數據作為B層輸入；“拼接聚合多尺度分析融合模塊a+b”表示將“多尺度分析融合模塊a”的結果與“多尺度分析融合模塊b”的結果進行拼接聚合，二者一齊作為下一層的輸入內容；

(2)訓練數據的準備與模型訓練

數據集含有n組清晰-模糊圖像對，即S＝{(IS_i,IB_i)}，i＝1,2,…n；IS_i表示第i張清晰圖像，IB_i表示第i張模糊圖像；將每張圖片裁剪出數個256×256的子圖，得到子圖集合T＝{(IS′_ij,IB′_ij)}，i＝1,2,…n，j＝1,2,…m，m為每張圖片裁得子圖數量；再將T的每一個子圖進行左右對稱，旋轉90度，顏色通道混排；最終得到規模擴大24倍的子圖集合T′，作為深度神經網絡的訓練集合，T′＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…24×m；以此數據集作為監督信息訓練網絡；

(3)深度神經網絡模型的使用

對于一張待處理的模糊圖像IB，直接將其輸入經過訓練的深度神經網絡，得到的網絡輸出IS，即為清晰結果；

步驟(1)中所述的殘差單元中，進行如公式(1)所示的運算：

y＝Conv2D¹(ReLU(Conv2D²(x)))+x (1)

其中，x表示輸入殘差單元的張量，Conv2D^p(input),p＝1,2，表示第p個卷積層對input進行二維卷積運算，ReLU(input)表示對input進行激活函數的運算，它的定義如公式(2)所示：

步驟(1)中所述的可變形卷積微調模塊中，進行如公式(3)所示的運算：

y＝Conv2D(ReLU(DeformConv(x)))+x (3)

其中，x表示輸入可變形卷積微調模塊的張量，Conv2D(input)表示對input進行卷積運算,DeformConv(x)表示對input進行可變性卷積的計算，ReLU(input)表示對input進行激活函數的運算；

步驟(1)中所述的多尺度融合模塊中，進行如公式(4)所示的運算：

y＝Conv2D(Concat(Conv2D₁(x),Conv2D₂(x),Conv2D₃(x)))+x (4)

其中，x表示輸入多尺度融合模塊的張量，Conv2D(input)表示對input進行二維卷積運算,Conv_q(x),q＝1,2,3，表示對input進行二維膨脹卷積運算，膨脹系數為q，Concat(input1,input2,input3)表示對輸入input1,input2,input3三個張量按照通道維度進行拼接；

步驟(1)中所述的輕量級全局上下文精煉模塊中，進行如公式(5)所示的運算：

其中，x表示輸入輕量級全局上下文精煉模塊的張量；averageH(input)表示對input沿其高度軸對其他所有維度取平均，得到長度為input高度的向量；averageW(input)表示對input沿其寬度軸對其他所有維度取平均，得到長度為input寬度的向量；averageC(input)表示對input沿其通道軸對其他所有維度取平均，得到長度為input通道數量的向量；表示第v組的第u個一維卷積；Conv3D(x)表示三維卷積。