[發明專利]基于卷積神經網絡的視頻插幀方法

在審

• 申請號: 202011364443.0
• 申請日: 2020-11-27
• 公開（公告）號: CN112533026A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 羅斌;賀大林;穆力越;常云鵬;劉軍
• 申請（專利權）人: 西安藍極醫療電子科技有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402;G06N3/04;G06N3/08
• 代理公司: 西安智邦專利商標代理有限公司 61211
• 代理人: 王少文

1.基于卷積神經網絡的視頻插幀方法，其特征在于，包括以下步驟：

1)獲取視頻連續幀：

從真實視頻幀中選取相關聯的前后幀，并進行歸一化，然后輸入到卷積神經網絡中；

2)提取視頻運動信息并恢復視頻空間：

卷積神經網絡前半部分編碼模塊對歸一化處理后的前后幀進行降采樣處理，提取前后幀視頻間運動信息；然后卷積神經網絡后半部分解碼模塊對降采樣處理后的視頻間運動信息進行上采樣處理，恢復視頻空間維度并補償細節；

同時，卷積神經網絡中間部分，采取skip-connection的方式將網絡底層的信息傳輸到深層網絡中，進行視頻插幀特征的提取和輸出；

3)輸出多個中間幀：

將步驟2中進行上采樣處理后的信息以及視頻插幀特征，輸入雙向LSTM卷積層，循環輸出至少一個中間視頻幀；

4)計算光流的均方誤差：

通過預訓練的FlowNet分別計算步驟3中的中間視頻幀光流和真實視頻幀光流；然后計算中間視頻幀光流與真實視頻幀光流之間的均方誤差；

5)優化插幀：

將步驟4中的均方誤差作為視頻非均勻插幀計算的優化目標函數，使FlowNet參與網絡優化中梯度后向傳播過程，實現視頻插幀的優化。

2.根據權利要求1所述基于卷積神經網絡的視頻插幀方法，其特征在于：所述步驟2中，卷積神經網絡前半部分編碼模塊對歸一化處理后的前后幀進行兩次降采樣處理；卷積神經網絡后半部分解碼模塊對降采樣處理后的視頻間運動信息進行兩次上采樣處理。

3.根據權利要求1所述基于卷積神經網絡的視頻插幀方法，其特征在于：所述卷積神經網絡為編解碼U-Net模塊，且編碼模塊為3層卷積模塊。

4.根據權利要求1或2或3所述基于卷積神經網絡的視頻插幀方法，其特征在于：在進行上采樣和降采樣之前，分別使用稠密連接網絡進行卷積特征提取。

5.根據權利要求4所述基于卷積神經網絡的視頻插幀方法，其特征在于：所述上采樣采用sub-pixel算法；所述降采樣采用Conv-LSTM算法。

6.根據權利要求5所述基于卷積神經網絡的視頻插幀方法，其特征在于：步驟2中，卷積神經網絡中間部分，通過skip-connection連接，將網絡底層的信息傳輸到深層網絡中。

7.根據權利要求6所述基于卷積神經網絡的視頻插幀方法，其特征在于：步驟2還包括使用帶有stride的卷積算法將采樣從視頻空間擴大網絡視野場。