[發明專利]視頻時空超分模型構建方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202210344917.8
• 申請日: 2022-03-31
• 公開（公告）號: CN114692765A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 王正;胡夢順;聶志祥;江奎;肖晶
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/40;G06V10/80;G06V10/82
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 羅成

本申請涉及一種視頻時空超分模型構建方法、裝置、設備及可讀存儲介質，由于本申請中先基于特征時間插值網絡生成中間幀的初始低分辨率特征圖，然后再通過向上投影模塊和向下投影模塊進行時間視頻超分和空間視頻超分的任務的相互學習，促進時間信息和空間信息完全被利用，消除跨空間誤差，同時圖像重構模塊將相互迭代學習的多個低分辨率特征圖和高分辨率特征圖進行重構，生成最終的高分辨率視頻幀和低分辨率視頻幀，進而實現真實圖像的重構，并提高了視頻時空超分的效率。

技術領域

本申請涉及圖像處理技術領域，特別涉及一種視頻時空超分模型構建方法、裝置、設備及可讀存儲介質。

背景技術

視頻圖像的處理一直備受計算機視覺界研究者的關注，是計算機視覺領域中一個重要的研究方向，其核心內容是視頻圖像修復、壓縮和超分等工作；而視頻時空超分辨率目的是根據給定的低分辨率和低幀率視頻重建高分辨率和高幀率的逼真視頻，此類問題不僅涉及視頻中間幀的合成，還包括了視頻幀的超分辨率，其是由兩個子任務結合的問題，是一項極具挑戰的研究方向。

目前在電影制作方面，高速攝像機和高分辨率攝像機已經被廣泛的使用，用來捕捉更為細致和清晰的畫面，提高電影的視覺效果，但是，由于其對硬件設備要求較高、系統價格昂貴等原因并沒有在其他領域得到廣泛應用。相對而言，目前基于深度學習的視頻時空超分工作僅僅需要一些低幀率和低分辨的視頻序列，就可以得到不錯的高分辨率和高幀率視頻，使得視頻序列的時空超分工作在人力資源慢動作生成、電影制作、高清電視升級等領域具有的廣泛應用。

其中，視頻超分任務的目標是通過時間對齊和聚合多個輸入幀的信息，將低分辨率視頻超分為高分辨率的視頻；而視頻插幀旨在根據連續輸入幀生成中間幀。現有的對視頻進行時空超分的任務大部分很多都是將時空超分成兩階段(即先視頻超分后視頻插幀，或先視頻插幀后視頻超分)進行處理，比如，先基于視頻插幀生成一個真實的中間視頻幀，然后基于該真實的中間視頻幀進行超分處理得到真實圖像，然而這種兩階段的處理方式只是將視頻插幀任務和視頻超分任務做了一個簡單地加法，無法充分的利用兩個子任務中相互促進的信息，以致影響到最終的時空超分結果，且簡單的將視頻時空超分分成兩個階段處理的方式所耗費的時間是非常大的，存在效率低的問題。

發明內容

本申請提供一種視頻時空超分模型構建方法、裝置、設備及可讀存儲介質，以解決相關技術中存在的無法充分利用視頻插幀任務和視頻超分任務之間的相互作用以及視頻時空超分效率低的問題。

第一方面，提供了一種視頻時空超分模型構建方法，包括以下步驟：

獲取視頻幀訓練集，所述視頻幀訓練集包括連續的第一視頻幀、第二視頻幀、第三視頻幀以及與每幀視頻幀對應的原始低分辨率視頻幀和原始高分辨率視頻幀；

對第一視頻幀的原始低分辨率視頻幀和第三視頻幀的原始高分辨率視頻幀進行圖像特征提取，得到第一視頻幀的原始低分辨率視頻幀對應的第一初始低分辨率特征圖、第三視頻幀的原始低分辨率視頻幀對應的第三初始低分辨率特征圖；

基于特征時間插值網絡對第一初始低分辨率特征圖和第三初始低分辨率特征圖進行對齊插幀處理，得到第二視頻幀對應的第二初始低分辨率特征圖；

基于第一初始低分辨率特征圖、第二初始低分辨率特征圖、第三初始低分辨率特征圖以及視頻幀訓練集對卷積神經網絡模型進行訓練，生成視頻時空超分模型；

其中，卷積神經網絡模型包括向上投影模塊、向下投影模塊和圖像重構模塊，向上投影模塊用于重建高分辨率特征序列，向下投影模塊用于重建低分辨率特征序列，圖像重構模塊用于基于向上投影模塊和向下投影模塊之間相互迭代作用的結果進行圖像重構。

一些實施例中，所述向上投影模塊具體用于：

對所述第一初始低分辨率特征圖、所述第二初始低分辨率特征圖和所述第三初始低分辨率特征圖形成的第一低分辨率特征序列進行融合殘差處理和上采樣處理，得到第一高分辨率特征序列；