[發(fā)明專利]全知型視頻超分辨率網絡、視頻超分辨率重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110549356.0
• 申請日: 2021-05-20
• 公開（公告）號: CN113344780A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設計）人: 王中元;易鵬;江奎;王光成
• 申請（專利權）人: 武漢大學
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種全知型視頻超分辨率網絡，其特征在于：由先驅網絡和后繼網絡兩個子網絡組成；

根據先驅網絡和后繼網絡的處理方向，全知型視頻超分辨率網絡分為局部全知型視頻超分辨率網絡和全局全知型視頻超分辨率網絡；

所述局部全知型視頻超分辨率網絡的先驅網絡和后繼網絡的處理方向是相同的，均為前向；所述局部全知型視頻超分辨率網絡的先驅網絡的處理過程為：

其中，表示上一時刻、當前時刻和下一時刻的低分辨率視頻幀，為上一時刻的隱狀態(tài)，Net_p表示先驅網絡，為當前時刻的隱狀態(tài)，為當前時刻先驅網絡產生的超分辨率視頻幀結構信息；

所述全局全知型視頻超分辨率網絡的先驅網絡和后繼網絡的處理方向是相反的，其中先驅網絡的方向是后向，后繼網絡則是前向；全局全知型視頻超分辨率網絡的先驅網絡的處理過程為：

所述后繼網絡的處理過程為：

其中是當前時刻和下一時刻的先驅網絡產生的隱狀態(tài)，而則是后繼網絡本身產生的上一時刻的隱狀態(tài)，Net_s表示后繼網絡，為當前時刻的隱狀態(tài)，而則是當前時刻后繼網絡產生的超分辨率視頻幀細節(jié)信息。

2.一種視頻超分辨率重建方法，其特征在于，包括以下步驟：

步驟1：選取若干視頻數據作為訓練樣本，從每個視頻幀中相同的位置截取圖像作為高分辨率學習目標，將其下采樣r倍，得到低分辨率圖像，作為全知型視頻超分辨率網絡的輸入；

步驟2：若全知型視頻超分辨率網絡為局部全知型視頻超分辨率網絡，則將低分辨率幀依前向輸入先驅網絡，生成所有低分辨率幀對應的隱狀態(tài)和高分辨率結構信息；

若全知型視頻超分辨率網絡為全局全知型視頻超分辨率網絡，則將低分辨率幀依后向輸入先驅網絡，生成所有低分辨率幀對應的隱狀態(tài)和高分辨率結構信息；

步驟3：將低分辨率幀，以及步驟2中得到的隱狀態(tài)依前向輸入后繼網絡，進一步生成隱狀態(tài)和高分辨率細節(jié)信息；

步驟4：將步驟2和步驟3中生成的高分辨率結構信息和細節(jié)信息相加，得到最終重建的高分辨率視頻幀。

3.根據權利要求2所述的視頻超分辨率重建方法，其特征在于，步驟4中，將先驅網絡和后繼網絡產生的超分辨率視頻幀相加，得到最終的超分辨率視頻幀輸出為：

其中，為最終的超分辨率視頻幀輸出，表示后繼網絡生成的高分辨率視頻幀細節(jié)信息，表示先驅網絡生成的高分辨率視頻幀結構信息。

4.根據權利要求2或3所述的視頻超分辨率重建方法，其特征在于：構建損失函數分別約束先驅網絡和全知型視頻超分辨率網絡，優(yōu)化全知型視頻超分辨率網絡的性能；

構建損失函數為：

式中，表示真實的高分辨率視頻幀，表示最終生成的超分辨率視頻幀，而表示先驅網絡生成的高分辨率視頻幀結構信息；T為幀數，ε為一個較小的常數；而α為權重，用于調節(jié)先驅網絡的比重。

5.一種視頻超分辨率重建系統(tǒng)，其特征在于，包括以下模塊：

模塊1，用于選取若干視頻數據作為訓練樣本，從每個視頻幀中相同的位置截取圖像作為高分辨率學習目標，將其下采樣r倍，得到低分辨率圖像，作為全知型視頻超分辨率網絡的輸入；

模塊2，用于若全知型視頻超分辨率網絡為局部全知型視頻超分辨率網絡，則將低分辨率幀依前向輸入先驅網絡，生成所有低分辨率幀對應的隱狀態(tài)和高分辨率結構信息；

若全知型視頻超分辨率網絡為全局全知型視頻超分辨率網絡，則將低分辨率幀依后向輸入先驅網絡，生成所有低分辨率幀對應的隱狀態(tài)和高分辨率結構信息；

模塊3，用于將低分辨率幀，以及模塊2中得到的隱狀態(tài)依前向輸入后繼網絡，進一步生成隱狀態(tài)和高分辨率細節(jié)信息；

模塊4，用于將模塊2和模塊3中生成的高分辨率結構信息和細節(jié)信息相加，得到最終重建的高分辨率視頻幀。