[發明專利]視頻去噪方法、裝置、設備及存儲介質

有效

• 申請號: 202110278601.9
• 申請日: 2021-03-16
• 公開（公告）號: CN112686828B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 張凱皓;羅文寒;劉威
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;H04N5/217
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

1.一種視頻去噪方法，其特征在于，所述方法包括：

獲取視頻，所述視頻的視頻幀序列中存在持續噪點元素，所述持續噪點元素是在至少兩幀視頻幀上連續出現的噪點元素；

提取所述視頻幀序列中的視頻幀的空間特征，所述空間特征用于表征所述持續噪點元素在一幀視頻幀中的空間位置，所述空間特征與所述持續噪點元素的深度信息相關；

根據相鄰的所述視頻幀的空間特征，提取所述視頻幀的時間特征；

將所述空間特征和所述時間特征進行融合，得到所述視頻幀序列對應的融合后的時空特征；

基于所述融合后的時空特征對所述視頻幀序列進行去噪處理，得到處理后的視頻。

2.根據權利要求1所述的方法，其特征在于，所述方法由神經網絡模型執行，所述神經網絡模型包括第一卷積神經網絡；

所述提取所述視頻幀序列中的視頻幀的空間特征，包括：

調用所述第一卷積神經網絡對所述視頻幀進行下采樣處理，得到尺寸縮小的視頻幀；

從所述尺寸縮小的視頻幀中提取至少兩個維度的特征；

將所述至少兩個維度的特征進行連接，得到所述尺寸縮小的視頻幀對應的第一空間特征；

對所述尺寸縮小的視頻幀進行上采樣處理，得到尺寸放大的視頻幀，所述尺寸放大的視頻幀對應有第二空間特征；

將所述第一空間特征和所述第二空間特征進行融合，得到所述視頻幀對應的空間特征。

3.根據權利要求 1所述的方法，其特征在于，所述視頻幀包括：當前視頻幀、位于所述當前視頻幀之前的在前視頻幀以及位于所述當前視頻幀之后的在后視頻幀；

所述根據相鄰的所述視頻幀的空間特征，提取所述視頻幀的時間特征，包括：

基于所述當前視頻幀的空間特征、所述在前視頻幀的空間特征以及所述在后視頻幀的空間特征，提取所述當前視頻幀對應的時間特征。

4.根據權利要求3所述的方法，其特征在于，所述方法由神經網絡模型執行，所述神經網絡模型包括雙向長短記憶網絡和第二卷積神經網絡；

所述基于所述當前視頻幀的空間特征、所述在前視頻幀的空間特征以及所述在后視頻幀的空間特征，提取所述當前視頻幀對應的時間特征，包括：

調用所述雙向長短記憶網絡對所述當前視頻幀對應的空間特征、所述在前視頻幀對應的空間特征和所述在前視頻幀對應的狀態特征進行正向處理，得到所述當前視頻幀對應的第一狀態特征；

調用所述雙向長短記憶網絡對所述當前視頻幀對應的空間特征、所述在后視頻幀對應的空間特征和所述在后視頻幀對應的狀態特征進行反向處理，得到所述當前視頻幀對應的第二狀態特征；

調用所述第二卷積神經網絡對所述第一狀態特征和所述第二狀態特征進行處理，得到所述當前視頻幀對應的時間特征。

5.根據權利要求1所述的方法，其特征在于，所述方法由神經網絡模型執行，所述神經網絡模型包括第三卷積神經網絡和第四卷積神經網絡；

所述基于所述融合后的時空特征對所述視頻幀序列進行去噪處理，得到處理后的視頻，包括：

調用所述第三卷積神經網絡基于所述融合后的時空特征，對所述視頻中的視頻幀進行卷積處理，得到所述視頻幀對應的卷積矩陣；

調用所述第四卷積神經網絡對所述卷積矩陣進行殘差處理，得到所述去噪處理后的視頻幀；

根據所述去噪處理后的視頻幀，得到所述處理后的視頻。

6.根據權利要求1至5任一所述的方法，其特征在于，所述持續噪點元素包括天氣顆粒元素，所述天氣顆粒元素包括雨滴元素、雪花元素、冰雹元素、霧氣元素和霧霾元素中的至少一種。