[發明專利]一種基于神經網絡的通用視頻時域對齊方法

在審

• 申請號: 202110169802.5
• 申請日: 2021-02-08
• 公開（公告）號: CN112819743A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 陳弘林;李茹;謝軍偉;童同;高欽泉;羅鳴
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明提供了一種基于神經網絡的通用視頻時域對齊方法，包括步驟：采集當前視頻所有的原視頻圖像幀；將原視頻圖像幀經由一圖像處理神經網絡模型處理后得到處理圖像幀；構建可以用于對齊視頻圖像幀間時域的深度卷積神經網絡；采用所述原視頻圖像幀及所述處理圖像幀作為輸入，通過所述深度卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀；合成所述輸出的時域對齊的視頻圖像幀，得到最終時域對齊的完整視頻。本發明解決了由直接應用圖像處理模型到視頻任務產生的視頻時域不一致問題的問題，具有用一個通用算法解決多種不同視頻任務的時域不一致問題的優點。

技術領域

本發明涉及視頻圖像處理技術領域，特別是一種基于神經網絡的通用視頻時域對齊方法。

背景技術

近年來，隨著計算機視覺領域的飛速發展，各種基于神經網絡的圖像處理任務均取得了重大突破，許多圖像處理算法已在單個圖像處理任務中表現了出色的性能。如圖像去噪任務，通過精心設計的神經網絡，可以由一張充滿噪聲的圖像生成無噪聲的清晰圖像，達到極好的視覺效果。在現實應用中，視頻場景更符合實際的需求，現今大多數視頻任務的處理方式為將視頻抽成若干圖像幀，然后逐幀用圖像處理神經網絡模型進行處理，最終再將處理后的圖像幀合成，得到處理后的視頻。這種處理方式得到的視頻質量普遍較差，是由于逐幀處理的方式導致生成的視頻圖像幀間的時域參差不齊，進而容易導致視頻閃爍、視頻細節不連貫等問題，影響視頻的整體視覺效果。

為了確保視頻時域的一致性，有研究人員針對不同的視頻處理任務設計了專用算法，例如視頻上色，視頻去噪和視頻增強。盡管特定任務的視頻處理算法可以一定程度上改善特定任務處理所得視頻的時域一致性，但是無法將類似的策略直接應用到其他任務上，具有很大的局限性，針對不同的視頻處理任務需要設計不同的處理算法也提高了實際應用中的研發成本及實現成本。

發明內容

有鑒于此，本發明的目的是提出一種基于神經網絡的通用視頻時域對齊方法，解決了由直接應用圖像處理模型到視頻任務產生的視頻時域不一致問題的問題，具有用一個通用算法解決多種不同視頻任務的時域不一致問題的優點。

本發明采用以下方案實現：一種基于神經網絡的通用視頻時域對齊方法，具體包括以下步驟：

采集當前視頻所有的原視頻圖像幀；

將原視頻圖像幀經由一圖像處理神經網絡模型處理后得到處理圖像幀；

構建可以用于對齊視頻圖像幀間時域的深度卷積神經網絡；

采用所述原視頻圖像幀及所述處理圖像幀作為輸入，通過所述深度卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀；

合成所述輸出的時域對齊的視頻圖像幀，得到最終時域對齊的完整視頻。

進一步地，所述圖像處理神經網絡模型包括圖像增強模型、圖像去噪模型、圖像去霧模型、圖像上色模型。

進一步地，所述用于對齊視頻圖像幀間時域的深度卷積神經網絡為整合了ConvLSTM卷積長短期記憶單元層的U-Net圖像變換網絡。

進一步地，所述U-Net圖像變換網絡為編碼器-解碼器架構，包含四次下采樣及四次上采樣操作，形成一個U型結構；進行第四次下采樣操作后，接入一個ConvLSTM卷積長短期記憶單元層，然后再進行上采樣操作。

進一步地，所述ConvLSTM卷積長短期記憶單元層包括遺忘門、輸入門、輸出門，所述遺忘門根據當前的輸入和上一時刻的輸出決定哪一部分需要被遺忘；輸入門根據當前的輸入和上一刻的輸出決定哪些信息加入到前一刻的狀態中生成新的狀態輸出門根據最新的狀態上一時刻的輸出和當前的輸入來決定該時刻的輸出

進一步地，所述采用所述原視頻圖像幀及所述處理圖像幀作為輸入，通過所述深度卷積神經網絡，獲得輸出的時域對齊的視頻圖像幀具體為：