[發明專利]一種基于掩碼的深度學習視頻去摩爾紋方法

在審

• 申請號: 202110014103.3
• 申請日: 2021-01-06
• 公開（公告）號: CN112598602A
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 李茹;陳弘林;謝軍偉;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于掩碼的深度學習視頻去摩爾紋方法，包括以下步驟：步驟S1:獲取高清圖像和摩爾紋圖像的成對圖像，并對數據進行增強，構建圖像數據集；步驟S2:構建兩階段的U?Net網絡模型，并基于圖像數據集進行訓練，得到圖像消除摩爾紋模型；步驟S3:將待處理視頻逐幀圖像輸入圖像消除摩爾紋模型，得到的消除了摩爾紋的圖像；步驟S4:采用所述原始視頻圖像幀及消除了摩爾紋的圖像幀作為輸入，通過所述卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀，合并輸出的時域對齊的視頻圖像幀，最終得到時域一致的完整視頻。發明可以更簡單地實現時域一致性，并得到去摩爾紋效果更好的視頻。

技術領域

本發明屬于計算機視覺領域，具體涉及一種基于掩碼的深度學習視頻去摩爾紋方法。

背景技術

摩爾紋是兩個空間頻率接近時產生的干擾圖案，該干擾圖案是不規則的條紋，摩爾紋圖像。由于其形狀不規則、顏色各異、頻率分布范圍廣，因此很難被去除。目前去除摩爾紋方法主要有兩種，一種是傳統方法，Liu提出一種低祗和稀疏矩陣分解方法來去除高頻圖像上的摩爾紋圖案，這種利用摩爾紋圖像的頻率和空間特性進行處理只能去除高頻摩爾紋，一些低頻摩爾紋難以被去除并且容易造成圖像過平滑，細節模糊。另一種方法是采用神經網絡進行有監督的學習，通過學習摩爾紋圖像和干凈圖像之間的映射關系，最終實現輸出干凈的圖像。隨著Sun等人提出采用卷積神經網絡去除摩爾紋，去摩爾紋領域開始廣泛使用深度學習的方法，而Gao等人提出的多尺度特征框架增強語義信息，但是他們提出的方法網絡結構不強，特征表達能力弱，無法充分提取輸入圖像的特征。Bolin等人提出基于深度卷積網絡的去摩爾紋方法可以有效去除大部分摩爾紋，但是他們僅使用低分辨率作為輸入，且只能在單個頻帶上處理摩爾紋。現有的各種嘗試雖取得一定的效果，但是無法很好的運用在實際工程中。

目前很多圖像算法在處理單個圖像的時候表現優異的效果，但將其直接用于視頻往往會遇到時域不一致的問題，導致視頻中出現閃爍的現象。為了提高時域的一致性，大多數研究者針對不同視頻處理任務設計了專用的算法改善時域一致性。如Lei提出的方案針對視頻上色，而Shocher所提出的方案針對視頻超分，不具備通用性。Bonneel等人提出通過最小化輸出和處理后的視頻在梯度域上的距離以及兩個連續輸出幀之間的距離來改善這一問題，但這是建立在輸出和處理后的視頻在梯度域上是相似的，而這在現實情況下時不可能的。此外，有很多學者嘗試使用卷積神經網絡改善時域不一致問題，但隨著訓練的進行其性能會逐漸降低。

發明內容

有鑒于此，本發明的目的在于提供一種基于掩碼的深度學習視頻去摩爾紋方法，可以更簡單地實現時域一致性，并得到去摩爾紋效果更好的視頻。

為實現上述目的，本發明采用如下技術方案：

一種基于掩碼的深度學習視頻去摩爾紋方法，包括以下步驟：

步驟S1:獲取高清圖像和摩爾紋圖像的成對圖像，并對數據進行增強，構建圖像數據集；

步驟S2:構建兩階段的U-Net網絡模型，并基于圖像數據集進行訓練，得到圖像消除摩爾紋模型；

步驟S3:將待處理視頻逐幀圖像輸入圖像消除摩爾紋模型，得到的消除了摩爾紋的圖像；

步驟S4:將原始視頻圖像幀和經過圖像消除摩爾紋模型得到的消除了摩爾紋的視頻圖像幀作為輸入，通過所述的卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀，最后合成輸出的時域對齊的視頻圖像幀，得到時域一致的完整視頻。

進一步的，所述數據增強包括對圖像進行裁剪和旋轉操作。

進一步的，所述兩階段的U-Net網絡模型包括生成掩碼的模型和去摩爾紋網絡模型。

進一步的，所述生成掩碼的模型包括編碼器部分和解碼器部分；

所述編碼器部分，將訓練集中的摩爾紋圖像輸入編碼器網絡執行特征提取階段，最終得到mask圖像，具體步驟詳情如下：