[發明專利]視頻去噪方法及裝置、存儲介質及電子設備

有效

• 申請號: 202110378423.7
• 申請日: 2021-04-08
• 公開（公告）號: CN113034401B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 金一;陳懷安;陳林;陳宇璇;譚曉;陳恩紅;竺長安
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/30;G06V10/774;G06V10/80
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李偉

1.一種視頻去噪方法，其特征在于，包括：

獲取視頻幀序列，所述視頻幀序列包括連續的多個視頻幀，所述多個視頻幀包括待去噪視頻幀；

通過預先構建的視頻去噪模型中的幀內去噪模塊對所述待去噪視頻幀進行空間卷積，獲得所述待去噪視頻幀的第一空間特征；

通過所述視頻去噪模型中的幀間去噪模塊對所述多個視頻幀進行時空卷積，獲得所述待去噪視頻幀的時空特征；所述時空特征包含所述待去噪視頻幀的第二空間特征，以及所述待去噪視頻幀在所述視頻幀序列中的時間特征；

通過所述視頻去噪模型中的特征融合模塊將所述第一空間特征以及所述時空特征進行融合，獲得所述待去噪視頻幀的噪聲殘差圖，并通過所述噪聲殘差圖對所述待去噪視頻幀進行去噪，獲得所述待去噪視頻幀的恢復幀。

2.根據權利要求1所述的方法，其特征在于，構建所述視頻去噪模型的過程，包括：

獲取訓練數據集，所述訓練數據集包含多個訓練數據，每個所述訓練數據包括原始視頻序列以及所述原始視頻序列的噪聲視頻序列，所述噪聲視頻序列包括噪聲視頻幀；所述原始視頻序列包括所述噪聲視頻幀相對應的干凈視頻幀；

將每個所述訓練數據中的噪聲視頻序列輸入至初始視頻去噪模型，獲得該噪聲視頻序列的噪聲視頻幀的測試恢復幀，并依據所述初始視頻去噪模型的損失函數、所述測試恢復幀以及該噪聲視頻幀對應的干凈視頻幀，訓練所述初始視頻去噪模型；

在所述初始視頻去噪模型的滿足預設的訓練完成條件的情況下，將已滿足所述訓練完成條件的所述初始視頻去噪模型作為視頻去噪模型。

3.根據權利要求2所述的方法，其特征在于，所述依據所述初始視頻去噪模型的損失函數、所述測試恢復幀以及該噪聲視頻幀對應的干凈視頻幀，訓練所述初始視頻去噪模型，包括：

將所述噪聲視頻幀的測試恢復幀以及所述噪聲視頻幀對應的干凈視頻幀代入所述損失函數，獲得所述初始視頻去噪模型的損失值；所述損失值包括時間損失以及空間損失；

利用所述損失值訓練所述初始視頻去噪模型。

4.根據權利要求2所述的方法，其特征在于，所述獲取訓練數據集，包括：

獲取多個原始視頻序列；

對每個所述原始視頻序列中的每一干凈視頻幀添加噪聲，獲得所述原始視頻序列的噪聲視頻序列；

將每個所述原始視頻序列以及每個所述原始視頻序列的噪聲視頻序列組成一個訓練數據，并由各個所述訓練數據構成所述訓練數據集。

5.一種視頻去噪裝置，其特征在于，包括：

獲取單元，用于獲取視頻幀序列，所述視頻幀序列包括連續的多個視頻幀，所述多個視頻幀包括待去噪視頻幀；

第一特征處理單元，用于通過預先構建的視頻去噪模型中的幀內去噪模塊對所述待去噪視頻幀進行空間卷積，獲得所述待去噪視頻幀的第一空間特征；

第二特征處理單元，用于通過所述視頻去噪模型中的幀間去噪模塊對所述多個視頻幀進行時空卷積，獲得所述待去噪視頻幀的時空特征；所述時空特征包含所述待去噪視頻幀的第二空間特征，以及所述待去噪視頻幀在所述視頻幀序列中的時間特征；

去噪單元，用于通過所述視頻去噪模型中的特征融合模塊將所述第一空間特征以及所述時空特征進行融合，獲得所述待去噪視頻幀的噪聲殘差圖，并通過所述噪聲殘差圖對所述待去噪視頻幀進行去噪，獲得所述待去噪視頻幀的恢復幀。

6.根據權利要求5所述的裝置，其特征在于，還包括訓練單元，所述訓練單元，包括：

獲取子單元，用于獲取訓練數據集，所述訓練數據集包含多個訓練數據，每個所述訓練數據包括原始視頻序列以及所述原始視頻序列的噪聲視頻序列，所述噪聲視頻序列包括噪聲視頻幀；所述原始視頻序列包括所述噪聲視頻幀相對應的干凈視頻幀；

訓練子單元，用于將每個所述訓練數據中的噪聲視頻序列輸入至初始視頻去噪模型，獲得該噪聲視頻序列的噪聲視頻幀的測試恢復幀，并依據所述初始視頻去噪模型的損失函數、所述測試恢復幀以及該噪聲視頻幀對應的干凈視頻幀，訓練所述初始視頻去噪模型；

執行子單元，用于在所述初始視頻去噪模型的滿足預設的訓練完成條件的情況下，將已滿足所述訓練完成條件的所述初始視頻去噪模型作為視頻去噪模型。