[發明專利]一種多尺度空洞卷積神經網絡超分辨率重構方法及裝置

有效

• 申請號: 201811113028.0
• 申請日: 2018-09-21
• 公開（公告）號: CN109389556B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 徐穎;應自爐;商麗娟;翟懿奎;王天雷;甘俊英;曾軍英;秦傳波;曹鶴;鄧文博
• 申請（專利權）人: 五邑大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 梁嘉琦

1.一種多尺度空洞卷積神經網絡超分辨率重構方法，其特征在于：包括：

對原始圖像進行多尺度數據增強，得到增強圖像；

對增強圖像進行數據預處理，得到預處理圖像；

構建空洞卷積超分辨率網絡，利用所述空洞卷積超分辨率網絡對所述預處理圖像進行超分辨率重構，其中，卷積操作公式如下：

F₁(Y)＝max(0,W₁*_l Y+B₁)

其中，W₁和B₁表示空洞卷積核的權重和偏置變量，*_l表示空洞卷積；W₁對應于大小為c×f₁×f₁的n₁個濾波器，c為輸入圖像的維度，f₁為濾波器的大小；

定義離散函數：F:Z²→R，假設Ωr＝[-r,r]²∩Z²,K:Ω→R是大小為(2r+1)²的離散濾波器，則離散卷積操作*的定義為：

(F*k)(p)＝∑_s+t＝p

空洞卷積一般形式表示為：

(F*_l k)(p)＝∑_s+lt＝p

其中l為空洞因子，*_l表示空洞卷積，當l＝1時，為普通離散卷積操作*，基于空洞卷積的網絡支持感受野指數增長，不丟失分辨率信息，記F₀,F₁,...,F_n-1:Z²→R為離散函數，k₀,k₁,...,k_n-1:Ω→R是離散的3x3濾波器，采用指數增長卷積核后，

F_i+1＝F_i*_2i k_i,當i＝0,1,...,n-2

定義F_i+1中的元素P感受野為：F₀中可以改變F_i+1(p)值的元素集；F_i+1中P感受野大小即為這些元素集數目，得到F_i+1中各元素感受野大小為(2ⁱ⁺²-1)×(2ⁱ⁺²-1)；

所述空洞卷積超分辨率網絡中需要不斷更新的參數為Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，其中W₁和B₁表示空洞卷積核的權重和偏置變量，W₂包含了n₂個大小為n₁×f₂×f₂的卷積核，B₂是一個大小為n₂維的向量，W₃對應于c個大小為n₂×f₃×f₃的卷積核，B₃是一個c維的向量；重建的圖像為F(Y；Θ)，且對應的原始圖像為X；用均方誤差作為損失函數即：

其中，n是訓練樣本的個數；

損失函數用隨機梯度下降法進行權值更新，公式為：

其中，l∈{1,2,3}，i是層數和迭代次數，η是學習速率。

2.根據權利要求1所述的一種多尺度空洞卷積神經網絡超分辨率重構方法，其特征在于：所述對原始圖像進行多尺度數據增強，得到增強圖像，包括：

把原始圖像作為初始訓練集；

對所述初始訓練集中的每幅圖像分別進行不同尺度的縮放，并結合原始圖像形成中間訓練集；

對所述中間訓練集中的每幅圖像分別進行不同角度的旋轉，并結合所述中間訓練集中的每幅圖像形成處理訓練集，所述處理訓練集中的圖像即為所述的增強圖像。