[發明專利]視頻流的超分辨率重建方法及裝置

有效

• 申請號: 202010143575.4
• 申請日: 2020-03-04
• 公開（公告）號: CN111489292B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 韓睿;郭若杉;李晨;莊重;李瑞玲;劉壯
• 申請（專利權）人: 北京集朗半導體科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/20
• 代理公司: 北京成創同維知識產權代理有限公司 11449
• 代理人: 蔡純

本發明公開了一種視頻流的超分辨率重建方法及裝置，方法包括：將視頻流中的目標視頻幀圖像劃分為多個圖像塊，檢測圖像塊的運動狀態；統計目標視頻幀圖像中運動狀態為靜止狀態或者運動緩慢的圖像塊所占的比例；根據比例確定重建幀率，根據重建幀率確定各個待重建視頻幀圖像；基于預設的超分辨率網絡模型，對各個待重建視頻幀圖像進行超分辨率重建，得到各個待重建視頻幀圖像的超分辨率重建結果；采用預設的縮放算法對視頻流逐幀進行放大，得到視頻流各個視頻幀圖像的放大結果；將各個待重建視頻幀圖像的超分辨率重建結果以及各個視頻幀圖像的放大結果進行融合，得到視頻流的超分辨率重建結果。該方式實現了視頻流的超分辨率重建。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種視頻流的超分辨率重建方法及裝置。

背景技術

超分辨率算法是指由低分辨率圖像恢復出高分辨率圖像。高分辨率圖像的像素密度更高，可以提供更多的細節。單幅圖像的超分辨率算法主要分為三類：基于插值的方法、基于重建的方法和基于學習的方法。

目前，比較熱門的是基于學習的方法中的基于深度神經網絡的方法。基于深度神經網絡的超分辨率方法中，主要采用的是CNN(Convolutional?Neural?Network，卷積神經網絡)。如輸入圖像分辨率為MxN，經過CNN處理后，得到s倍放大的圖像。從3層的超分辨率重建卷積神經網絡到20層的VDSR，再到100層左右的EDSR。隨著神經網絡不斷加深，計算量越來越大。

但是，發明人在實現本發明的過程中發現，現有技術針對于視頻流的各個視頻幀圖像采用單一的技術進行超分辨率重建，這種處理方式效果較差或難以達到實時性的要求。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的視頻流的超分辨率重建方法及裝置。

根據本發明的一個方面，提供了一種視頻流的超分辨率重建方法，包括：

將視頻流中的目標視頻幀圖像劃分為多個圖像塊，針對于任一圖像塊，檢測該圖像塊的運動狀態；

統計目標視頻幀圖像中滿足預設條件的圖像塊所占的比例；其中，滿足預設條件的圖像塊包括：運動狀態為靜止狀態或者運動緩慢的圖像塊；

根據滿足預設條件的圖像塊所占的比例確定重建幀率，根據重建幀率確定各個待重建視頻幀圖像；

基于預設的超分辨率網絡模型，對各個待重建視頻幀圖像進行超分辨率重建，得到各個待重建視頻幀圖像的超分辨率重建結果；

采用預設的縮放算法對視頻流逐幀進行放大，得到視頻流各個視頻幀圖像的放大結果；

將各個待重建視頻幀圖像的超分辨率重建結果以及各個視頻幀圖像的放大結果進行融合，得到視頻流的超分辨率重建結果。

可選地，基于預設的超分辨率網絡模型，對各個待重建視頻幀圖像進行超分辨率重建，得到各個待重建視頻幀圖像的超分辨率重建結果進一步包括：

針對任一待重建視頻幀圖像，檢測該待重建視頻幀圖像中各個圖像塊的運動狀態以及紋理豐富程度；

根據各個圖像塊的運動狀態以及紋理豐富程度確定目標圖像塊，其中，目標圖像塊包括：運動狀態為靜止狀態或運動緩慢并且紋理豐富的圖像塊；

基于預設的第一超分辨率網絡模型，對該待重建視頻幀圖像中的目標圖像塊進行重建，得到目標圖像塊的超分辨率重建結果；

基于預設的第二超分辨率網絡模型，對該待重建視頻幀圖像中的其他圖像塊進行重建，得到其他圖像塊的超分辨率重建結果。

可選地，基于預設的第一超分辨率網絡模型，對該待重建視頻幀圖像中的目標圖像塊進行重建進一步包括：