[發明專利]一種序列圖像條帶噪聲消除方法

有效

• 申請號: 202010566369.4
• 申請日: 2020-06-19
• 公開（公告）號: CN111915506B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 賴睿;石曉鵬;官俊濤;李躍進;李奕詩;徐昆然
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/30
• 分類號: G06V10/30;G06V10/82;G06V10/77;G06V10/80;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 李園園

1.一種序列圖像條帶噪聲消除方法，其特征在于，所述方法包括：

S1：利用三維卷積構建序列圖像時空關聯信息提取模塊；

S2：利用二維卷積構建圖像二維重建模塊；

S3：根據所述序列圖像時空關聯信息提取模塊和所述圖像二維重建模塊構成初始卷積神經網絡；

S4：創建序列圖像訓練集；

S5：利用所述序列圖像訓練集對所述初始卷積神經網絡進行訓練，得到訓練后的卷積神經網絡；

S6：將含有條帶噪聲的序列圖像送入所述訓練后的卷積神經網絡中進行處理，得到去噪后的圖像。

2.根據權利要求1所述的序列圖像條帶噪聲消除方法，其特征在于，所述序列圖像時空關聯信息提取模塊包括依次連接的空間維卷積、時間維卷積、融合層和降維層，其中，所述空間維卷積包括第一三維卷積層和第一激活層，所述時間維卷積包括第二三維卷積層和第二激活層，所述融合層包括第三三維卷積層和第三激活層，所述降維層的表達式為：

Y1_squ＝squeeze(Y1_32)

其中，Y1_32是所述第三激活層的輸出圖像，squeeze表示對序列圖像時間維度的提取，Y1_squ是所述降維層的輸出圖像。

3.根據權利要求2所述的序列圖像條帶噪聲消除方法，其特征在于，所述第一三維卷積層的卷積核大小為1*3*3，輸出通道為64；所述第二三維卷積層的卷積核大小為3*1*1，輸出通道為64；所述第三三維卷積層的卷積核大小為5*1*1，輸出通道為64。

4.根據權利要求2所述的序列圖像條帶噪聲消除方法，其特征在于，所述圖像二維重建模塊包括依次連接的第一重建模塊、第二重建模塊、輸出卷積層、升維層和殘差層，其中，

所述第一重建模塊包括依次連接的多個二維卷積層和多個激活層；

所述第二重建模塊包括依次連接的多個二維卷積層和多個激活層；

所述輸出卷積層包括一個二維卷積層；

所述升維層的輸入為輸出卷積層的輸出，表達式為：

Y＝expand(X)

其中，X為所述升維層的輸入，expand表示對輸入的時間維度的擴充，Y為所述升維層的輸出；

所述殘差層的輸出為所述升維層的輸出與所述初始卷積神經網絡輸入的差。

5.根據權利要求4所述的序列圖像條帶噪聲消除方法，其特征在于，所述第一重建模塊包括依次連接的第一二維卷積層、第四激活層、第二二維卷積層、第五激活層、第三二維卷積層、第六激活層、第四二維卷積層和第七激活層；

所述第二重建模塊包括依次連接的第五二維卷積層、第八激活層、第六二維卷積層、第九激活層、第七二維卷積層、第十激活層、第八二維卷積層、第十一激活層、第九二維卷積層、第十二激活層、第十二維卷積層、第十三激活層、第十一二維卷積層、第十四激活層、第十二二維卷積層、第十五激活層、第十三二維卷積層、第十六激活層、第十四二維卷積層、第十七激活層、第十五二維卷積層、第十八激活層、第十六二維卷積層、第十九激活層、第十七二維卷積層、第二十激活層、第十八二維卷積層、第二十一激活層、第十九二維卷積層和第二十二激活層。

6.根據權利要求1所述的序列圖像條帶噪聲消除方法，其特征在于，所述S3包括：

將所述序列圖像時序信息提取模塊和所述圖像二維重建模塊依次連接，構成所述初始卷積神經網絡。

7.根據權利要求1所述的序列圖像條帶噪聲消除方法，其特征在于，所述S4包括：

獲取多組高清視頻，將每組高清視頻截取為圖像幀，從每組圖像幀中選取連續的多幀序列圖像作為初始序列圖像集；

對所述初始序列圖像集進行同一灰度化、隨機旋轉、裁剪以及添加條帶噪聲，生成序列圖像訓練集。

8.根據權利要求1至7中任一項所述的序列圖像條帶噪聲消除方法，其特征在于，所述S5包括：

采用均方誤差作為損失函數，使用自適應矩估計優化器對所述卷積神經網絡進行訓練，所述均方誤差的表達式為：

其中，F為重構圖像，即經卷積神經網絡處理的去噪圖像，U為未添加噪聲的原始圖像，m和i分別代表圖像的行和列。