[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法

在審

• 申請?zhí)枺?/td>: 202110169802.5
• 申請日: 2021-02-08
• 公開（公告）號: CN112819743A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設(shè)計）人: 陳弘林;李茹;謝軍偉;童同;高欽泉;羅鳴
• 申請（專利權(quán)）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 錢莉;蔡學(xué)俊

1.一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，包括以下步驟：

采集當(dāng)前視頻所有的原視頻圖像幀；

將原視頻圖像幀經(jīng)由一圖像處理神經(jīng)網(wǎng)絡(luò)模型處理后得到處理圖像幀；

構(gòu)建可以用于對齊視頻圖像幀間時域的深度卷積神經(jīng)網(wǎng)絡(luò)；

采用所述原視頻圖像幀及所述處理圖像幀作為輸入，通過所述深度卷積神經(jīng)網(wǎng)絡(luò)，獲得輸出的時域?qū)R的視頻圖像幀；

合成所述輸出的時域?qū)R的視頻圖像幀，得到最終時域?qū)R的完整視頻。

2.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，所述圖像處理神經(jīng)網(wǎng)絡(luò)模型包括圖像增強模型、圖像去噪模型、圖像去霧模型、圖像上色模型。

3.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，所述用于對齊視頻圖像幀間時域的深度卷積神經(jīng)網(wǎng)絡(luò)為整合了ConvLSTM卷積長短期記憶單元層的U-Net圖像變換網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，所述U-Net圖像變換網(wǎng)絡(luò)為編碼器-解碼器架構(gòu)，包含四次下采樣及四次上采樣操作，形成一個U型結(jié)構(gòu)；進行第四次下采樣操作后，接入一個ConvLSTM卷積長短期記憶單元層，然后再進行上采樣操作。

5.根據(jù)權(quán)利要求3所述的一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，所述ConvLSTM卷積長短期記憶單元層包括遺忘門、輸入門、輸出門，所述遺忘門根據(jù)當(dāng)前的輸入和上一時刻的輸出決定哪一部分需要被遺忘；輸入門根據(jù)當(dāng)前的輸入和上一刻的輸出決定哪些信息加入到前一刻的狀態(tài)中生成新的狀態(tài)輸出門根據(jù)最新的狀態(tài)上一時刻的輸出和當(dāng)前的輸入來決定該時刻的輸出

6.根據(jù)權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)的通用視頻時域?qū)R方法，其特征在于，所述采用所述原視頻圖像幀及所述處理圖像幀作為輸入，通過所述深度卷積神經(jīng)網(wǎng)絡(luò)，獲得輸出的時域?qū)R的視頻圖像幀具體為：

當(dāng)t為第一幀時，設(shè)定t-1＝t，t-2＝t；當(dāng)t為第二幀時，設(shè)定t-1＝t；當(dāng)t為最后一幀時，設(shè)定t+1＝t；

對于第t原視頻圖像幀，同時取第t-1原視頻圖像幀、第t-1處理圖像幀、第t原視頻圖像幀和第t處理圖像幀作為輸入，通過所述深度卷積神經(jīng)網(wǎng)絡(luò)得到初步時域穩(wěn)定的第t對齊圖像幀；計算所述第t處理圖像幀及所述第t對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)；

對于第t-1原視頻圖像幀，同時取第t-2原視頻圖像幀、第t-2處理圖像幀、第t-1原視頻圖像幀和第t-1處理圖像幀作為輸入，通過所述深度卷積神經(jīng)網(wǎng)絡(luò)得到初步時域穩(wěn)定的第t-1對齊圖像幀，計算所述第t-1處理圖像幀及所述第t-1對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)；

對于第t+1原視頻圖像幀，同時取第t原視頻圖像幀、第t處理圖像幀、第t+1原視頻圖像幀和第t+1處理圖像幀作為輸入，通過所述深度卷積神經(jīng)網(wǎng)絡(luò)得到初步時域穩(wěn)定的第t+1對齊圖像幀，計算所述第t+1處理圖像幀及所述第t+1對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)；

將所述計算得到的第t-1處理圖像幀及第t-1對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)、第t處理圖像幀及第t對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)和第t+1處理圖像幀及第t+1對齊圖像幀的監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)以1：1：1的比例進行相加得到最終用于優(yōu)化處理第t原視頻圖像幀的所述深度卷積神經(jīng)網(wǎng)絡(luò)的總監(jiān)督學(xué)習(xí)訓(xùn)練函數(shù)。