[發明專利]一種基于卷積神經網絡的單幀高動態成像方法

有效

• 申請號: 201910244573.1
• 申請日: 2019-03-28
• 公開（公告）號: CN110163808B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 賴睿;王東;李奕詩;官俊濤;徐昆然
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T1/00;H04N5/235;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 張捷

1.一種基于卷積神經網絡的單幀高動態成像方法，其特征在于，包括：

構建增強模塊；

根據所述增強模塊構建帶增強模塊的初始卷積神經網絡；

對所述初始卷積神經網絡進行訓練，得到訓練后卷積神經網絡；

通過所述訓練后卷積神經網絡對原始單幀低動態圖像進行處理，生成高動態圖像；其中，

所述構建增強模塊，包括：

利用注意力機制構建第一增強模塊和第二增強模塊，其中，所述第一增強模塊和所述第二增強模塊分別包括依次連接的第一卷積層、第一激活層、第二卷積層、第二激活層、第三卷積層、第三激活層和掩模層；

根據所述增強模塊構建帶增強模塊的初始卷積神經網絡，包括：

將輸入卷積層、輸入激活層、所述第一增強模塊、所述第二增強模塊、輸出卷積層和殘差相加層依次連接，形成所述初始卷積神經網絡，其中，所述殘差相加層的表達式為：

OUT＝Y3+X

其中，Y3和X是所述殘差相加層的輸入圖像，Y3是所述輸出卷積層的輸出圖像，X是所述原始單幀低動態圖像，OUT是所述殘差相加層的輸出圖像；

所述第三激活層為Sigmoid激活層，其表達式為：

Y16＝f(Y15)

其中，f(·)表示將輸入歸一化到(0，1)之間，Y16是第三激活層的輸出圖像，即生成的掩模，Y15是所述第三卷積層的輸出圖像；

所述掩模層為相乘操作層，其表達式為：

Y17＝Y16×X11

其中，X11是所述增強模塊的輸入圖像，Y16是所述第三激活層的輸出圖像，Y17是所述掩模層的輸出圖像；

所述輸入卷積層由一層卷積層構成，其卷積層的卷積核大小為3×3，輸出通道數為64，所述輸入卷積層的表達式為：

Y1＝K1*X+B1

其中，X是原始輸入圖像，即所述原始單幀低動態圖像，大小為h×w×c，h，w分別是原始輸入圖像的高和寬，c是原始輸入圖像的通道數，Y1是輸入卷積層的輸出圖像，大小為h×w×64，K1是大小為3×3×c×64的卷積核，B1是偏置，是一個64×1的列向量，*表示卷積操作，

所述輸入激活層由ReLU激活層構成，輸入激活層的表達式為：

Y2＝max(0，Y1)

其中，max表示取最大值，Y2為輸入激活層的輸出圖像，Y1是輸入激活層的輸入圖像，即輸入卷積層的輸出圖像；

對所述初始卷積神經網絡進行訓練，得到訓練后卷積神經網絡，包括：

獲取訓練集；

根據所述訓練集中的真實圖像和所述訓練集中低動態圖像經過卷積神經網絡得到的高動態圖像計算損失函數，采用結構相似度作為損失函數；

根據所述損失函數對所述初始卷積神經網絡進行參數更新，得到訓練后卷積神經網絡；

通過所述訓練后卷積神經網絡對原始單幀低動態圖像進行處理，生成高動態圖像，包括：

對所述原始單幀低動態圖像進行擴維操作，得到四維圖像矩陣；

將所述四維圖像矩陣輸入所述訓練后卷積神經網絡，得到動態范圍擴展后的四維矩陣；

將所述動態范圍擴展后的四維矩陣縮減至與所述原始單幀低動態圖像相同的維度，生成最終的高動態圖像。

2.根據權利要求1所述的基于卷積神經網絡的單幀高動態成像方法，其特征在于，獲取訓練集，包括：

選取不同曝光度的多組圖像對作為素材庫，其中，每組圖像對包括一張過\欠曝光圖像和一張對應的真實圖像；

對所述素材庫中的所有過\欠曝光圖像進行縮放、隨機旋轉和裁剪，形成一系列圖像小塊；

對所述一系列圖像小塊隨機添加高斯噪聲，生成具有高斯噪聲的一系列圖像小塊，組成所述訓練集。

3.根據權利要求2所述的基于卷積神經網絡的單幀高動態成像方法，其特征在于，所述結構相似度的表達式為：

其中，SSIM(M，N)表示所述訓練集中的低動態圖像經過卷積神經網絡處理得到的高動態圖像M與相應真實圖像N之間的結構性相似度，u_M、u_N分別表示圖像M和圖像N的均值，分別表示圖像M和圖像N的方差，σ_MN表示圖像M和圖像N的協方差，C1和C2為常數。