[發明專利]基于深層門限卷積神經網絡的圖像超分辨方法

有效

• 申請號: 201710303554.2
• 申請日: 2017-05-03
• 公開（公告）號: CN107154021B
• 公開（公告）日: 2019-08-13
• 發明（設計）人: 陳渤;劉明貴
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;朱紅星

1.基于深度門限卷積神經網絡的圖像超分辨方法，包括：

1)獲取成對的低分辨和高分辨圖像數據：

對自然圖像先進行下采樣處理，然后再用雙線性三次插值法，得到與之對應的低分辨圖像，最后隨機采樣，得到大小相同的成對低分辨圖像和高分辨圖像作為訓練數據，

所述用雙線性三次插值法，得到與之對應的低分辨圖像，是通過下式進行：

f(i+u,j+v)＝ABC

其中，u表示橫向的插值位置，v表示縱向的插值位置，i為當前像素點的橫坐標，j為當前像素點的縱坐標，f(i+u,j+v)表示圖像在(i+u,j+v)處插值后的像素值；A是橫向因子矩陣，B矩陣是包括像素值f(i,j)在內的周圍共計16個點的像素值組成的矩陣，C是縱向因子矩陣，這三個矩陣分別表示如下：

A＝[S(1+u) S(u) S(1-u) S(2-u)]，S是插值基函數；

C＝[S(1+v) S(v) S(1-v) S(2-v)]^T，T表示轉置；

2)對基于卷積神經網絡的圖像超分辨模型SRCNN進行改進，構建一個端到端的深層門限卷積神經網絡：

2a)定義一種門限卷積層，并用它來代替SRCNN中的卷積層，得到淺層的門限卷積神經網絡：

2a1)定義一個門限卷積層，它包括了兩路卷積操作，其數學表達式為：

g_conv(x)＝f(ω₁*x+b₁)·g(ω₂*x+b₂)，

其中x表示門限卷積層的輸入，ω₁表示第一路卷積核，ω₂表示第二路卷積核，b₁表示第一路的偏置，b₂表示第二路的偏置，f表示第一路的激活函數，g表示第二路的激活函數，“*”表示卷積操作，“·”表示點乘操作；

2a2)用2a1)中的門限卷積層代替SRCNN中的卷積層，構建門限卷積神經網絡：SRCNN中的卷積層只包括一路的卷積操作，其數學表達式為：

conv(x)＝f(ω*x+b)，

x表示該卷積層的輸入，ω是卷積核，b是偏置，“*”表示卷積操作；

在該卷積層的基礎上，再加入一路卷積就得到門限卷積層的數學表達形式式：ω表示門限卷積的第一路卷積核，等價于ω₁，b表示門限卷積的第一路偏置，等價于b₁，表示門限卷積的第二路卷積核，等價于ω₂，表示門限卷積的第二路偏置，等價于b₂；

將SRCNN中的每一個卷積層conv(x)都用門限卷積層g_conv(x)代替，得到淺層門限卷積神經網絡；

2b)將淺層的門限卷積神經網絡拓展到更多層神經網絡，且最后一層采用反卷積神經網絡重構高分辨圖像，得到多層門限卷積神經網絡和一層反卷積神經網絡級聯的深層門限卷積神經網絡；

3)用Adam優化方法對深層門限卷積神經網絡進行訓練：

3a)將低分辨圖像樣本作為深層門限卷積神經網絡的輸入，計算其輸出與高分辨圖像樣本之間的重構誤差其中xh_i為訓練時第i幅高分辨圖像，xl_i為訓練時第i幅低分辨圖像，M表示該深層門限卷積神經網絡；

3b)將重構誤差E作為目標函數，用Adam優化方法優化該目標函數，得到一組最優的深層門限卷積神經網絡參數：

3b1)初始化深層門限卷積神經網絡參數θ，設定優化總次數Q；

3b2)計算出目標函數對每一個參數的梯度g_t；

3b3)根據求得的梯度g_t求出如下幾個參數：

梯度的一階距：m_t＝αm_t-1+(1-α)g_t，其中α是第一個固定參數，取值為α＝0.9；

校正后的梯度一階距：

梯度的二階距：其中β是第二個固定參數，取值為β＝0.999；

校正后的梯度二階距：

3b4)根據3b3)求出第t次參數θ微調的大小：其中η為設定的初始步長；

3b5)設第t次更新后的深層門限卷積神經網絡參數為：θ_t＝θ_t-1+Δθ_t，其中θ_t-1為t-1次更新后的深層門限卷積神經網絡參數；

3b6)將當前更新次數t與訓練總次數Q比較：當t＜Q時，則重復3b2)-3b5)操作；當t＝Q時，訓練結束，Q次優化得到的參數θ_Q即為最終的深層門限卷積神經網絡的參數；

4)用3b)中得到的最優的深層門限卷積神經網絡參數所對應的深層門限卷積神經網絡實現對低分辨圖像到高分辨圖像的超分辨映射：

4a)對于輸入的低分辨圖像，通過一次門限卷積后得到低分辨圖像所對應的特征圖像；

4b)由4a)中得到的低分辨圖像的特征圖像再經過多層的門限卷積神經網絡精確的映射到高分辨圖像的特征圖像；

4c)由4b)中得到的高分辨圖像的特征圖像經過一層反卷積網絡重構得到我們的高分辨圖像。