[發明專利]一種基于掩碼的深度學習視頻去摩爾紋方法

在審

• 申請號: 202110014103.3
• 申請日: 2021-01-06
• 公開（公告）號: CN112598602A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 李茹;陳弘林;謝軍偉;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于掩碼的深度學習視頻去摩爾紋方法，其特征在于，包括以下步驟：

步驟S1:獲取高清圖像和摩爾紋圖像的成對圖像，并對數據進行增強，構建圖像數據集；

步驟S2:構建兩階段的U-Net網絡模型，并基于圖像數據集進行訓練，得到圖像消除摩爾紋模型；

步驟S3:將待處理視頻逐幀圖像輸入圖像消除摩爾紋模型，得到的消除了摩爾紋的圖像；

步驟S4:采用所述原始視頻圖像幀和上述經過去摩爾紋模型得到的消除了摩爾紋的圖像幀作為輸入，通過深度卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀，合成所述輸出的時域對齊的視頻圖像幀，得到最終時域一致的完整視頻。

2.根據權利要求1所述的基于掩碼的深度學習視頻去摩爾紋方法，其特征在于，所述數據增強包括對圖像進行裁剪和旋轉操作。

3.根據權利要求1所述的基于掩碼的深度學習視頻去摩爾紋方法，其特征在于，所述兩階段的U-Net網絡模型包括生成掩碼的模型和去摩爾紋網絡模型。

4.根據權利要求2所述的基于掩碼的深度學習視頻去摩爾紋方法，其特征在于，所述生成掩碼的模型包括編碼器部分和解碼器部分；

所述編碼器部分，將訓練集中的摩爾紋圖像輸入編碼器網絡執行特征提取階段，最終得到mask圖像，具體步驟詳情如下：

特征提取階段包含三大塊卷積層，三個卷積塊可以由以下公式表示是：

下采樣：

input＝conv_R{conv_R(I_moire)} (1)

F1＝conv_R{conv_R{DOWN(input)}} (2)

F2＝conv{conv_R{conv_R{DOWN(F1)}}} (3)

Im＝I_clear-I_moire (4)

其中，Im表示高清圖像與摩爾紋圖像的差值，conv_R表示一個卷積層加一個激活函數RELU，conv表示一個卷積層，DOWN表示下采樣，F表示特征提取階段得到的輸出結果，摩爾紋圖像經過不同程度的卷積學習了深層次的特征。

上采樣：

F3＝conv{conv_R{conv_R{UP(F2)+F1}}} (5)

I_mask＝conv_R{conv_R{UP(F3)+input}} (6)

解碼器部分由上采樣組成，下采樣經過學習以后再經過上采樣恢復為原圖大小，上采樣用反卷積實現，最后得到I_mask輸出圖像，trans表示反卷積；上采樣部分通過skipconnection將下采樣對應層的輸出與上采樣的輸入連接。

5.根據權利要求2所述的基于掩碼的深度學習視頻去摩爾紋方法，其特征在于，所述去摩爾紋網絡模型采用多分辨率去摩爾紋的網絡結構，構造一個自下而上的結構，將細特征融合到粗特征中，具體為：

下采樣：

input＝conv_R{conv_R{C(I_moire，I_mask)}} (7)

S1＝conv_R{conv_R{DOWN(input)}} (8)

S2＝conv_R{conv_R{DOWN(S1)}} (9)

S3＝conv{conv_R{conv_R{DOWN(S2)}}} (10)

上采樣：

S4＝conv{conv_R{conv_R{UP(S3)+S2}}} (11)

S5＝conv{conv_R{conv_R{UP(S4)+S1+S2}}} (12)

output＝conv_R{conv_R{UP(S5)+input+S2+S1}}} (13)

其中，S表示各個階段提取到的特征圖。